我們很多人學(xué)習(xí)python是為了開發(fā),但是也有的人的是為了數(shù)據(jù)分析,今天小猿圈就給大家分享一些數(shù)據(jù)分析的工具们妥,希望能幫助到大家,讓大家的數(shù)據(jù)分析更便捷勉吻。
處理較大监婶、較復(fù)雜的類excel數(shù)據(jù)
[if !supportLists]·???????[endif]Pandas?-處理tabular(類似Excel)數(shù)據(jù)的通用工具套件
[if !supportLists]·???????[endif]SQLite?– Tabular數(shù)據(jù)庫格式,能夠處理大規(guī)模數(shù)據(jù)集齿桃,同時也能在桌面環(huán)境運行惑惶。
[if !supportLists]·???????[endif]PostgreSQL?–企業(yè)級數(shù)據(jù)庫系統(tǒng)
處理空間、地理數(shù)據(jù):
PostGIS?– Postgres的地理空間數(shù)據(jù)類型擴展
Carto?– 地理空間數(shù)據(jù)的商業(yè)數(shù)據(jù)挖掘工具
Mapbox?– 商業(yè)地圖繪制工具短纵,同時也是一個web地圖系統(tǒng)带污。
Leaflet?– 基于網(wǎng)絡(luò)資源和本地數(shù)據(jù)開發(fā)活動web地圖的代碼庫
qGIS?– 適用于幾乎所有地理空間和地圖繪制的圖形化GIS工具
處理非常規(guī)數(shù)據(jù):
[if !supportLists]·???????[endif]RethinkDB?–處理實時數(shù)據(jù)流非常棒的數(shù)據(jù)庫,正在從商業(yè)轉(zhuǎn)開源香到,小心使用鱼冀。
[if !supportLists]·???????[endif]MongoDB?–處理大規(guī)模非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的流行數(shù)據(jù)庫,應(yīng)用于生產(chǎn)環(huán)境需要加小心悠就。
[if !supportLists]·???????[endif]CouchDB?–與MongoDB有些類似但不盡相同雷绢。
[if !supportLists]·???????[endif]Cassandra?–圖譜和關(guān)系數(shù)據(jù)庫
為大規(guī)模數(shù)據(jù)集創(chuàng)建性能代碼:
[if !supportLists]·???????[endif]Pandas?– Python下一個開源數(shù)據(jù)分析的庫,它提供的數(shù)據(jù)結(jié)構(gòu)DataFrame極大的簡化了數(shù)據(jù)分析過程中一些繁瑣操作。
[if !supportLists]·???????[endif]Apache Spark?– 一個通用的高性能數(shù)據(jù)處理系統(tǒng)
[if !supportLists]·???????[endif]SciPy and Numpy?-可編寫腳本的基于C的數(shù)值算法理卑,能在緊湊的,底層機器數(shù)據(jù)架構(gòu)上運行翘紊。
[if !supportLists]·???????[endif]Cython?–使用用C編譯器的Python編譯器,用來提升Python性能藐唠。
[if !supportLists]·???????[endif]PyOpenCL?–在圖形顯卡上進行數(shù)值計算和統(tǒng)計處理帆疟。
數(shù)據(jù)清洗工具
[if !supportLists]·???????[endif]ODO?– 在不同數(shù)據(jù)格式間進行轉(zhuǎn)換的Python庫。
[if !supportLists]·???????[endif]OpenRefine?–擁有圖形用戶界面的數(shù)據(jù)發(fā)現(xiàn)和清洗工具
[if !supportLists]·???????[endif]Pandas?–數(shù)據(jù)科學(xué)任務(wù)中用來處理tabular數(shù)據(jù)的通用Python工具集
[if !supportLists]·???????[endif]Scrapy?– Python開發(fā)的一個快速,高層次的屏幕抓取和web抓取框架宇立,用于抓取web站點并從頁面中提取結(jié)構(gòu)化的數(shù)據(jù)踪宠。
[if !supportLists]·???????[endif]BeautifulSoup?– 與Scrapy類似但不盡相同
[if !supportLists]·???????[endif]Scrubadub?–去除個人身份信息
[if !supportLists]·???????[endif]Arrow?– 幫你輕松駕馭日期和時間戳的Python庫
[if !supportLists]·???????[endif]DataCleaner?–剔除臟數(shù)據(jù)的Python庫
[if !supportLists]·???????[endif]Dora?– 與DataCleaner功能類似的Python庫。
數(shù)據(jù)可視化工具
[if !supportLists]·???????[endif]Processing?–交互式開發(fā)交互式可視化內(nèi)容.?推薦讀本:VisualizingData
[if !supportLists]·???????[endif]D3?– 在web上開發(fā)可視化交互
[if !supportLists]·???????[endif]C3?– 來自D3的圖表.
[if !supportLists]·???????[endif]Bokeh?– 與D3類似, 但基于Python.
[if !supportLists]·???????[endif]matplotlib?–最早的Python數(shù)據(jù)可視化工具集妈嘹。
[if !supportLists]·???????[endif]Leaflet?–一個為開發(fā)移動設(shè)備友好的互動地圖的開源 JavaScript 庫柳琢。
[if !supportLists]·???????[endif]MapBox?-詳見地圖工具集。
[if !supportLists]·???????[endif]qGIS?– 詳見地圖工具集润脸。
[if !supportLists]·???????[endif]VTK?– 在醫(yī)療柬脸、??和物理研究領(lǐng)域常用的重型可視化工具包。
數(shù)據(jù)挖掘和機器學(xué)習(xí)工具
[if !supportLists]·???????[endif]Weka?– 一個機器學(xué)習(xí)和數(shù)據(jù)挖掘工具包毙驯,這里有一本免費可讀的參考書
[if !supportLists]·???????[endif]SciKitLearn?–基于Python的機器學(xué)習(xí)和數(shù)據(jù)挖掘工具套件倒堕。
[if !supportLists]·???????[endif]Orange?–另一個基于Python的數(shù)據(jù)挖掘工具套件,同樣擁有圖形用戶界面爆价。
[if !supportLists]·???????[endif]TensorFlow?– Google開源的多維度圖譜數(shù)學(xué)建模工具垦巴。
分享媳搪、協(xié)作以及知識管理工具
[if !supportLists]·???????[endif]Django?-基于Python的web框架
[if !supportLists]·???????[endif]Django REST Framework?– 為Django網(wǎng)站創(chuàng)建REST APIs
[if !supportLists]·???????[endif]IRODS?– 企業(yè)級數(shù)據(jù)存儲和管理,包括元數(shù)據(jù)管理和基于規(guī)則的數(shù)據(jù)處理骤宣。
[if !supportLists]·???????[endif]Cassandra (useful for metadata and relationship storage)?– 一個存儲和查詢元數(shù)據(jù)經(jīng)常用到的開源分布式數(shù)據(jù)管理系統(tǒng)
[if !supportLists]·???????[endif]GitLab?-GitHub的開源替代品秦爆,可搭建私人服務(wù)器。
[if !supportLists]·???????[endif]ReciPy?–
[if !supportLists]·???????[endif]Prov?–Python implementation of the W3C provenance model
[if !supportLists]·???????[endif]Kanren (部署基于元數(shù)據(jù)和數(shù)據(jù)源信息的業(yè)務(wù)邏輯非常有用)?– 一個描述性Python邏輯編程系統(tǒng)憔披,非常適合科學(xué)元數(shù)據(jù)的查詢和基于規(guī)則的處理等限。
[if !supportLists]·???????[endif]好了今天的分享就是這么多,希望能夠幫助到大家活逆,這些工具涉及到了我們數(shù)據(jù)分析師的每個工作內(nèi)容,希望可以讓我們復(fù)雜的工作變得更加便捷更加靈活拗胜,覺得不錯的話要推薦給身邊的朋友哦蔗候,記得收藏加關(guān)注。