【數(shù)據(jù)挖掘】003擴(kuò)展包與Pyhton環(huán)境

標(biāo)準(zhǔn)庫(kù)

Python的標(biāo)準(zhǔn)庫(kù)是其核心的擴(kuò)展

  • 操作系統(tǒng)接口
  • 文件操作
  • 輸入輸出流
  • 文本處理等功能

常用的兩個(gè)方法

dir()  # 查看模塊中所包含的工具
help()  # 展示模塊中所有的方法的說(shuō)明

六大模塊

模塊名稱(chēng)                  模塊簡(jiǎn)介                               應(yīng)用場(chǎng)景
數(shù)學(xué)模塊(math)            包含很多科學(xué)計(jì)算方法,                  在數(shù)據(jù)挖掘中踏幻,經(jīng)常要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化枪孩,求統(tǒng)計(jì)值等
                         如平方根醇疼、對(duì)數(shù)計(jì)算烙肺、三角函數(shù)等等         處理钦勘,math 模塊基本上包含了所有的基本操作

日期時(shí)間模塊(datetime)    主要用于處理時(shí)間類(lèi)型的數(shù)據(jù)示血,如            數(shù)據(jù)通常都會(huì)帶有時(shí)間戳棋傍,有時(shí),時(shí)間也是一種重要的特征矾芙。
                         時(shí)間數(shù)據(jù)格式化舍沙、時(shí)間的獲取近上、時(shí)間數(shù)據(jù)      如新聞中剔宪,有新聞的發(fā)生時(shí)間、發(fā)布時(shí)間等壹无,此時(shí)就會(huì)用到該
                         與字符串的轉(zhuǎn)換等等                      模塊

隨機(jī)模塊(random)          主要可以進(jìn)行隨機(jī)數(shù)的生成葱绒,隨機(jī)選取        在進(jìn)行數(shù)據(jù)采樣、數(shù)據(jù)生成時(shí)經(jīng)常用到這些隨機(jī)方法

文件操作模塊(file)        主要提供了文件操作斗锭,包括文件的讀取         數(shù)據(jù)挖掘的樣本通常都會(huì)被存放在文件中地淀,所以文件操作    
                         和寫(xiě)入等,在處理本地?cái)?shù)據(jù)時(shí)岖是,通常都         也是基本技能之一
                         會(huì)用到這些操作

正則匹配模塊(re)          可以使用正則表達(dá)式來(lái)進(jìn)行字符串的匹配帮毁、      在處理文本數(shù)據(jù)時(shí)实苞,經(jīng)常需要用到正則匹配來(lái)進(jìn)行文本的檢索
                         檢測(cè)等, 其編寫(xiě)方式可以在網(wǎng)上搜索

系統(tǒng)接口模塊(sys)         主要實(shí)現(xiàn)了與操作系統(tǒng)交互的一些功能烈疚,        系統(tǒng)接口模塊主要是為了獲取系統(tǒng)的各種數(shù)據(jù)
                         如獲取當(dāng)前操作系統(tǒng)的情況黔牵、設(shè)置編碼格式
                        等,編寫(xiě)完整的程序通常都會(huì)用到

第三方庫(kù)

  • 基礎(chǔ)模塊

      名稱(chēng)          含義
      Numpy         Python 語(yǔ)言擴(kuò)展程序庫(kù)爷肝,支持大量的維度數(shù)組與矩陣運(yùn)算
      SciPy         集成了數(shù)學(xué)猾浦、科學(xué)和工程的計(jì)算包,它用于有效計(jì)算 Numpy 矩陣灯抛,使 Numpy 和 SciPy 協(xié)同工作
      Matplotlib    專(zhuān)門(mén)用來(lái)繪圖的工具包金赦,可以使用它進(jìn)行數(shù)據(jù)可視化
      pandas        數(shù)據(jù)分析工具包,它給予 Numpy 構(gòu)建对嚼,納入了大量的庫(kù)和標(biāo)準(zhǔn)數(shù)據(jù)模型
    
  • 機(jī)器學(xué)習(xí)

      名稱(chēng)            含義
      scikit-learn    基于 SciPy 進(jìn)行延伸的機(jī)器學(xué)習(xí)工具包夹抗,包含大量的機(jī)器學(xué)習(xí)算法模型,有 6 種大基本功能:分類(lèi)纵竖、回歸兔朦、聚類(lèi)、數(shù)據(jù)降維磨确、模型選擇和數(shù)據(jù)預(yù)處理
      OpenCV          非常龐大的圖像處理庫(kù)沽甥,實(shí)現(xiàn)了非常多的圖像和視頻處理方法,如圖像視頻加載乏奥、基礎(chǔ)特征獲取摆舟、邊緣檢測(cè)等,處理圖像通常都需要其支持邓了。
      NLTK            比較傳統(tǒng)的自然語(yǔ)言處理模塊恨诱,自帶很多語(yǔ)料,以及全面的傳統(tǒng)自然語(yǔ)言處理算法骗炉,比如字符串處理照宝、卡方檢驗(yàn)等,非常適合自然語(yǔ)言入門(mén)使用句葵。
      Gensim          包含了淺層詞嵌入的文本處理模塊厕鹃,以及常用的自然語(yǔ)言處理相關(guān)方法,如 TF-IDF乍丈、word2vec 等模型剂碴。
    
  • 深度學(xué)習(xí)平臺(tái)

      名稱(chēng)            開(kāi)發(fā)平臺(tái)        優(yōu)點(diǎn)
      TensorFlow     谷歌            相對(duì)成熟、應(yīng)用廣泛轻专、服務(wù)全面忆矛、提供學(xué)習(xí)視頻和其認(rèn)證計(jì)劃。
      PyTorch        Facebook        支持更加快速地構(gòu)建項(xiàng)目请垛。
      PaddlePaddle   百度            中文文檔全面催训,對(duì)于漢語(yǔ)的相關(guān)模型比較豐富洽议。
    

包的安裝

  • 使用 pip 安裝擴(kuò)展包
    使用pip可以對(duì) Python 擴(kuò)展包進(jìn)行查找、下載漫拭、安裝绞铃、卸載等等

    pip --version  # 查看pip是否已經(jīng)存在
    pip install -U pip  # 升級(jí) pip 到最新版
    

    用 pip 安裝擴(kuò)展包,以安裝 Tensorflow 為例子

    pip install tensorflow  # 安裝最新版的 tensorflow 模塊
    pip install tensorflow==1.14  # 安裝版本為 1.14 的 tensorflow 模塊
    pip install tensorflow>=1.14  # 安裝 1.14 版本以上的 tensorflow 模塊      
    

    用 pip 卸載某個(gè)模塊

    pip uninstall tensorflow
    

    在 pip 庫(kù)中搜索某個(gè)模塊

    pip search tensorflow
    

    用 pip 顯示已經(jīng)安裝的包

    pip list
    

    【切換鏡像源】

    pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple  # 這是一段代碼
    

    【用 pip 更新配置文件嫂侍,修改默認(rèn)源】

    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple  # 這是一段代碼
    

    【常用鏡像源】

    鏡像名稱(chēng)              網(wǎng)站地址
    阿里云                https://mirrors.aliyun.com/pypi/simple/
    中國(guó)科技大學(xué)           https://pypi.mirrors.ustc.edu.cn/simple/
    清華大學(xué)              https://pypi.tuna.tsinghua.edu.cn/simple/
    豆瓣                  http://pypi.douban.com/simple/
    華中理工大學(xué)           http://pypi.hustunique.com/simple/
    山東理工大學(xué)           http://pypi.sdutlinux.org/simple/
    

Anaconda

  • Anaconda是 包管理器儿捧, 也是 環(huán)境管理器, 更是 Python的編輯器
  • Anaconda致力于為用戶提供更便捷的方式來(lái)使用Python挑宠,進(jìn)行數(shù)據(jù)科學(xué)計(jì)算和機(jī)器學(xué)習(xí)
  • 目前的開(kāi)源軟件庫(kù) sklearn菲盾、TensorFlowSciPy 都支持 Anaconda

為什么使用 Anaconda ?

  • 依賴(lài)包安裝方便
  • 多平臺(tái)支持
  • 多環(huán)境切換

Anaconda 的安裝各淀?

http://www.reibang.com/p/d465788f6df0

環(huán)境的創(chuàng)建懒鉴?

http://www.reibang.com/p/82f0263e3120

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市碎浇,隨后出現(xiàn)的幾起案子临谱,更是在濱河造成了極大的恐慌,老刑警劉巖奴璃,帶你破解...
    沈念sama閱讀 216,372評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件悉默,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡苟穆,警方通過(guò)查閱死者的電腦和手機(jī)抄课,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)雳旅,“玉大人跟磨,你說(shuō)我怎么就攤上這事≡苡” “怎么了抵拘?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,415評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)型豁。 經(jīng)常有香客問(wèn)我僵蛛,道長(zhǎng),這世上最難降的妖魔是什么偷遗? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,157評(píng)論 1 292
  • 正文 為了忘掉前任墩瞳,我火速辦了婚禮驼壶,結(jié)果婚禮上氏豌,老公的妹妹穿的比我還像新娘。我一直安慰自己热凹,他們只是感情好泵喘,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布泪电。 她就那樣靜靜地躺著,像睡著了一般纪铺。 火紅的嫁衣襯著肌膚如雪相速。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,125評(píng)論 1 297
  • 那天鲜锚,我揣著相機(jī)與錄音突诬,去河邊找鬼。 笑死芜繁,一個(gè)胖子當(dāng)著我的面吹牛旺隙,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播骏令,決...
    沈念sama閱讀 40,028評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼蔬捷,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了榔袋?” 一聲冷哼從身側(cè)響起周拐,我...
    開(kāi)封第一講書(shū)人閱讀 38,887評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎凰兑,沒(méi)想到半個(gè)月后妥粟,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,310評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡吏够,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評(píng)論 2 332
  • 正文 我和宋清朗相戀三年罕容,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片稿饰。...
    茶點(diǎn)故事閱讀 39,690評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡锦秒,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出喉镰,到底是詐尸還是另有隱情旅择,我是刑警寧澤,帶...
    沈念sama閱讀 35,411評(píng)論 5 343
  • 正文 年R本政府宣布侣姆,位于F島的核電站生真,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏捺宗。R本人自食惡果不足惜柱蟀,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評(píng)論 3 325
  • 文/蒙蒙 一媳溺、第九天 我趴在偏房一處隱蔽的房頂上張望进每。 院中可真熱鬧夕土,春花似錦芯侥、人聲如沸澎埠。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)踊东。三九已至,卻和暖如春胞四,著一層夾襖步出監(jiān)牢的瞬間恬汁,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,812評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工辜伟, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留氓侧,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,693評(píng)論 2 368
  • 正文 我出身青樓导狡,卻偏偏與公主長(zhǎng)得像甘苍,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子烘豌,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評(píng)論 2 353