大數(shù)據(jù)日益成為研究行業(yè)的重要研究目標(biāo)齿穗，面對其高數(shù)據(jù)量、多維度與異構(gòu)化的特點(diǎn)饺律，以及分析方法思路的擴(kuò)展窃页，傳統(tǒng)統(tǒng)計(jì)工具已經(jīng)難以應(yīng)對。工欲善其事复濒，必先利其器脖卖。眾多新的軟件分析工具作為深入大數(shù)據(jù)洞察研究的重要助力，也成為數(shù)據(jù)科學(xué)家所必須掌握的知識(shí)技能巧颈。
為了幫你節(jié)省時(shí)間并且讓你第一次使用就能挑選出正確的工具胚嘲，我們搜集和整理了數(shù)據(jù)提取、數(shù)據(jù)存儲(chǔ)洛二、數(shù)據(jù)清洗馋劈、數(shù)據(jù)挖掘、數(shù)據(jù)分析和數(shù)據(jù)集成方面的我們最愛用的工具晾嘶。
傳統(tǒng)數(shù)據(jù)分析所用工具
1妓雾、Excel作為電子表格軟件，適合簡單統(tǒng)計(jì)（分組/求和等）需求垒迂，由于其方便好用械姻，功能也能滿足很多場景需要，所以實(shí)際成為研究人員最常用的軟件工具机断。其缺點(diǎn)在于功能單一楷拳，且可處理數(shù)據(jù)規(guī)模小绣夺。這兩年Excel在大數(shù)據(jù)方面（如地理可視化和網(wǎng)絡(luò)關(guān)系分析）上也作出了一些增強(qiáng)，但應(yīng)用能力有限欢揖。
2陶耍、SPSS（SPSS Statistics)和SAS作為商業(yè)統(tǒng)計(jì)軟件，提供研究常用的經(jīng)典統(tǒng)計(jì)分析（如回歸她混、方差烈钞、因子、多變量分析等）處理坤按。SPSS輕量毯欣、易于使用，但功能相對較少臭脓，適合常規(guī)基本統(tǒng)計(jì)分析
3酗钞、SAS功能豐富而強(qiáng)大（包括繪圖能力），且支持編程擴(kuò)展其分析能力来累，適合復(fù)雜與高要求的統(tǒng)計(jì)性分析算吩。
數(shù)據(jù)存儲(chǔ)和管理所用工具
Hadoop現(xiàn)在幾乎已經(jīng)等同于大數(shù)據(jù)。它是存儲(chǔ)在計(jì)算機(jī)集群中的超大數(shù)據(jù)集的一個(gè)開源的分布式的基礎(chǔ)架構(gòu)佃扼。你可以隨意增大或減小你的數(shù)據(jù)量而不用擔(dān)心硬件故障偎巢。Hadoop提供了對任何種類的海量數(shù)據(jù)的存儲(chǔ)、強(qiáng)大的處理能力和幾乎無限的并行工作能力兼耀。
Hadoop并不適合數(shù)據(jù)初學(xué)者压昼。要想充分發(fā)揮Hadoop的能力，你需要了解Java瘤运。學(xué)習(xí)Java可能耗時(shí)窍霞，但是Hadoop絕對值得你付出，因?yàn)榇罅康墓竞图夹g(shù)都依賴于它甚至和它融為了一體拯坟。
數(shù)據(jù)清洗所用工具
在你進(jìn)行數(shù)據(jù)挖掘之前但金，應(yīng)該先對你的數(shù)據(jù)進(jìn)行清洗。OpenRefine現(xiàn)在是一款用來專門清洗混亂數(shù)據(jù)的開源工具郁季。從而使你能夠輕松和快速的探索有一定程度非結(jié)構(gòu)化的大數(shù)據(jù)集冷溃。
數(shù)據(jù)挖掘所用工具
數(shù)據(jù)挖掘作為大數(shù)據(jù)應(yīng)用的重要領(lǐng)域，在傳統(tǒng)統(tǒng)計(jì)分析基礎(chǔ)上梦裂，更強(qiáng)調(diào)提供機(jī)器學(xué)習(xí)的方法似枕，關(guān)注高維空間下復(fù)雜數(shù)據(jù)關(guān)聯(lián)關(guān)系和推演能力。代表是SPSS Modeler年柠，SPSS Modeler的統(tǒng)計(jì)功能相對有限,主要是提供面向商業(yè)挖掘的機(jī)器學(xué)習(xí)算法（決策樹凿歼、神經(jīng)元網(wǎng)絡(luò)、分類、聚類和預(yù)測等）的實(shí)現(xiàn)答憔。同時(shí)味赃，其數(shù)據(jù)預(yù)處理和結(jié)果輔助分析方面也相當(dāng)方便，這一點(diǎn)尤其適合商業(yè)環(huán)境下的快速挖掘虐拓。不過就處理能力而言心俗，實(shí)際感覺難以應(yīng)對億級以上的數(shù)據(jù)規(guī)模。
大數(shù)據(jù)常用的編程語言
1侯嘀、R語言是用來進(jìn)行統(tǒng)計(jì)分析和繪圖的一種語言。如果上述的數(shù)據(jù)挖掘和統(tǒng)計(jì)軟件無法滿足你的需求的話谱轨，那么R語言一定會(huì)有所幫助戒幔。實(shí)際上如果你要成為一個(gè)數(shù)據(jù)科學(xué)家，了解R語言是一項(xiàng)必備技能土童。
2诗茎、Python語言——最大的優(yōu)勢是在文本處理以及大數(shù)據(jù)量處理場景，且易于開發(fā)献汗。在相關(guān)分析領(lǐng)域敢订，Python代替R的勢頭越來越明顯。
在你的數(shù)據(jù)生涯中學(xué)會(huì)單一工具很難一招鮮吃遍天“粘裕現(xiàn)在的工具雖然使用起來越來越簡便楚午，功能也越來越強(qiáng)大，但是有的時(shí)候還是自己編程更好一些尿招。即使你不是一個(gè)專業(yè)程序員矾柜，理解這些語言的基本工作原理對諸多的工具的運(yùn)行和使用方法的理解也是大有裨益。此外就谜，數(shù)據(jù)分析員要發(fā)揮自身對業(yè)務(wù)的深入理解怪蔑，從數(shù)據(jù)結(jié)果中洞察發(fā)現(xiàn)有深度的結(jié)果，這才是最有價(jià)值的丧荐。
以上便是對大數(shù)據(jù)常用工具的相關(guān)知識(shí)介紹缆瓣，如果您還存在疑惑或是想要了解更多，可關(guān)注西線學(xué)院虹统。
