小猿圈分享-數(shù)據(jù)分析工具

我們很多人學(xué)習(xí)python是為了開發(fā),但是也有的人的是為了數(shù)據(jù)分析,今天小猿圈就給大家分享一些數(shù)據(jù)分析的工具们妥,希望能幫助到大家,讓大家的數(shù)據(jù)分析更便捷勉吻。

處理較大监婶、較復(fù)雜的類excel數(shù)據(jù)

[if !supportLists]·???????[endif]Pandas?-處理tabular(類似Excel)數(shù)據(jù)的通用工具套件

[if !supportLists]·???????[endif]SQLite?– Tabular數(shù)據(jù)庫格式,能夠處理大規(guī)模數(shù)據(jù)集齿桃,同時也能在桌面環(huán)境運行惑惶。

[if !supportLists]·???????[endif]PostgreSQL?–企業(yè)級數(shù)據(jù)庫系統(tǒng)

處理空間、地理數(shù)據(jù):

PostGIS?– Postgres的地理空間數(shù)據(jù)類型擴展

Carto?– 地理空間數(shù)據(jù)的商業(yè)數(shù)據(jù)挖掘工具

Mapbox?– 商業(yè)地圖繪制工具短纵,同時也是一個web地圖系統(tǒng)带污。

Leaflet?– 基于網(wǎng)絡(luò)資源和本地數(shù)據(jù)開發(fā)活動web地圖的代碼庫

qGIS?– 適用于幾乎所有地理空間和地圖繪制的圖形化GIS工具

處理非常規(guī)數(shù)據(jù):

[if !supportLists]·???????[endif]RethinkDB?–處理實時數(shù)據(jù)流非常棒的數(shù)據(jù)庫,正在從商業(yè)轉(zhuǎn)開源香到,小心使用鱼冀。

[if !supportLists]·???????[endif]MongoDB?–處理大規(guī)模非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的流行數(shù)據(jù)庫,應(yīng)用于生產(chǎn)環(huán)境需要加小心悠就。

[if !supportLists]·???????[endif]CouchDB?–與MongoDB有些類似但不盡相同雷绢。

[if !supportLists]·???????[endif]Cassandra?–圖譜和關(guān)系數(shù)據(jù)庫

為大規(guī)模數(shù)據(jù)集創(chuàng)建性能代碼:

[if !supportLists]·???????[endif]Pandas?– Python下一個開源數(shù)據(jù)分析的庫,它提供的數(shù)據(jù)結(jié)構(gòu)DataFrame極大的簡化了數(shù)據(jù)分析過程中一些繁瑣操作。

[if !supportLists]·???????[endif]Apache Spark?– 一個通用的高性能數(shù)據(jù)處理系統(tǒng)

[if !supportLists]·???????[endif]SciPy and Numpy?-可編寫腳本的基于C的數(shù)值算法理卑,能在緊湊的,底層機器數(shù)據(jù)架構(gòu)上運行翘紊。

[if !supportLists]·???????[endif]Cython?–使用用C編譯器的Python編譯器,用來提升Python性能藐唠。

[if !supportLists]·???????[endif]PyOpenCL?–在圖形顯卡上進行數(shù)值計算和統(tǒng)計處理帆疟。

數(shù)據(jù)清洗工具

[if !supportLists]·???????[endif]ODO?– 在不同數(shù)據(jù)格式間進行轉(zhuǎn)換的Python庫。

[if !supportLists]·???????[endif]OpenRefine?–擁有圖形用戶界面的數(shù)據(jù)發(fā)現(xiàn)和清洗工具

[if !supportLists]·???????[endif]Pandas?–數(shù)據(jù)科學(xué)任務(wù)中用來處理tabular數(shù)據(jù)的通用Python工具集

[if !supportLists]·???????[endif]Scrapy?– Python開發(fā)的一個快速,高層次的屏幕抓取和web抓取框架宇立,用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)踪宠。

[if !supportLists]·???????[endif]BeautifulSoup?– 與Scrapy類似但不盡相同

[if !supportLists]·???????[endif]Scrubadub?–去除個人身份信息

[if !supportLists]·???????[endif]Arrow?– 幫你輕松駕馭日期和時間戳的Python庫

[if !supportLists]·???????[endif]DataCleaner?–剔除臟數(shù)據(jù)的Python庫

[if !supportLists]·???????[endif]Dora?– 與DataCleaner功能類似的Python庫。

數(shù)據(jù)可視化工具

[if !supportLists]·???????[endif]Processing?–交互式開發(fā)交互式可視化內(nèi)容.?推薦讀本:VisualizingData

[if !supportLists]·???????[endif]D3?– 在web上開發(fā)可視化交互

[if !supportLists]·???????[endif]C3?– 來自D3的圖表.

[if !supportLists]·???????[endif]Bokeh?– 與D3類似, 但基于Python.

[if !supportLists]·???????[endif]matplotlib?–最早的Python數(shù)據(jù)可視化工具集妈嘹。

[if !supportLists]·???????[endif]Leaflet?–一個為開發(fā)移動設(shè)備友好的互動地圖的開源 JavaScript 庫柳琢。

[if !supportLists]·???????[endif]MapBox?-詳見地圖工具集。

[if !supportLists]·???????[endif]qGIS?– 詳見地圖工具集润脸。

[if !supportLists]·???????[endif]VTK?– 在醫(yī)療柬脸、??和物理研究領(lǐng)域常用的重型可視化工具包。

數(shù)據(jù)挖掘和機器學(xué)習(xí)工具

[if !supportLists]·???????[endif]Weka?– 一個機器學(xué)習(xí)和數(shù)據(jù)挖掘工具包毙驯,這里有一本免費可讀的參考書

[if !supportLists]·???????[endif]SciKitLearn?–基于Python的機器學(xué)習(xí)和數(shù)據(jù)挖掘工具套件倒堕。

[if !supportLists]·???????[endif]Orange?–另一個基于Python的數(shù)據(jù)挖掘工具套件,同樣擁有圖形用戶界面爆价。

[if !supportLists]·???????[endif]TensorFlow?– Google開源的多維度圖譜數(shù)學(xué)建模工具垦巴。

分享媳搪、協(xié)作以及知識管理工具

[if !supportLists]·???????[endif]Django?-基于Python的web框架

[if !supportLists]·???????[endif]Django REST Framework?– 為Django網(wǎng)站創(chuàng)建REST APIs

[if !supportLists]·???????[endif]IRODS?– 企業(yè)級數(shù)據(jù)存儲和管理,包括元數(shù)據(jù)管理和基于規(guī)則的數(shù)據(jù)處理骤宣。

[if !supportLists]·???????[endif]Cassandra (useful for metadata and relationship storage)?– 一個存儲和查詢元數(shù)據(jù)經(jīng)常用到的開源分布式數(shù)據(jù)管理系統(tǒng)

[if !supportLists]·???????[endif]GitLab?-GitHub的開源替代品秦爆,可搭建私人服務(wù)器。

[if !supportLists]·???????[endif]ReciPy?–

[if !supportLists]·???????[endif]Prov?–Python implementation of the W3C provenance model

[if !supportLists]·???????[endif]Kanren (部署基于元數(shù)據(jù)和數(shù)據(jù)源信息的業(yè)務(wù)邏輯非常有用)?– 一個描述性Python邏輯編程系統(tǒng)憔披,非常適合科學(xué)元數(shù)據(jù)的查詢和基于規(guī)則的處理等限。

[if !supportLists]·???????[endif]好了今天的分享就是這么多,希望能夠幫助到大家活逆,這些工具涉及到了我們數(shù)據(jù)分析師的每個工作內(nèi)容,希望可以讓我們復(fù)雜的工作變得更加便捷更加靈活拗胜,覺得不錯的話要推薦給身邊的朋友哦蔗候,記得收藏加關(guān)注。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末埂软,一起剝皮案震驚了整個濱河市锈遥,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌勘畔,老刑警劉巖所灸,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異炫七,居然都是意外死亡爬立,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進店門万哪,熙熙樓的掌柜王于貴愁眉苦臉地迎上來侠驯,“玉大人,你說我怎么就攤上這事奕巍∫鞑撸” “怎么了?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵的止,是天一觀的道長檩坚。 經(jīng)常有香客問我,道長诅福,這世上最難降的妖魔是什么匾委? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任,我火速辦了婚禮氓润,結(jié)果婚禮上剩檀,老公的妹妹穿的比我還像新娘。我一直安慰自己旺芽,他們只是感情好沪猴,可當我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布辐啄。 她就那樣靜靜地躺著,像睡著了一般运嗜。 火紅的嫁衣襯著肌膚如雪壶辜。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天担租,我揣著相機與錄音砸民,去河邊找鬼。 笑死奋救,一個胖子當著我的面吹牛岭参,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播尝艘,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼演侯,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了背亥?” 一聲冷哼從身側(cè)響起秒际,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎狡汉,沒想到半個月后娄徊,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡盾戴,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年寄锐,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片尖啡。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡锐峭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出可婶,到底是詐尸還是另有隱情沿癞,我是刑警寧澤,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布矛渴,位于F島的核電站椎扬,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏具温。R本人自食惡果不足惜蚕涤,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望铣猩。 院中可真熱鬧揖铜,春花似錦达皿、人聲如沸贿肩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽色解。三九已至,卻和暖如春述吸,著一層夾襖步出監(jiān)牢的瞬間萧恕,已是汗流浹背肠阱。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工屹徘, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人簿煌。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓姨伟,卻偏偏與公主長得像,于是被迫代替她去往敵國和親夺荒。 傳聞我的和親對象是個殘疾皇子良蒸,可洞房花燭夜當晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML標準剿吻。 注意:講述HT...
    kismetajun閱讀 27,518評論 1 45
  • Python語言特性 1 Python的函數(shù)參數(shù)傳遞 看兩個如下例子串纺,分析運行結(jié)果: 代碼一: a = 1 def...
    時光清淺03閱讀 493評論 0 0
  • 前段時間鳞疲,我在糾結(jié)一個問題蠕蚜,我是讀普高還是中專? 操著家鄉(xiāng)話的班主任把職中夸的天花亂墜腺毫,說實話挣柬,我猶豫了邪蛔。 職中方...
    明客閱讀 183評論 0 0
  • 姓名:游向國 公司:海南蔚藍時代實業(yè)有限公司 組別:上海第361期感動一組 【知~學(xué)習(xí)】 《六項精進》大綱1遍 共...
    莜面山藥蛋閱讀 99評論 0 0
  • 一定要幸福吖閱讀 84評論 0 0