一塔鳍、基于大數(shù)據(jù)的數(shù)據(jù)分析方法
基于大數(shù)據(jù)的數(shù)據(jù)分析方法的理論基礎(chǔ)是數(shù)據(jù)挖掘和分布式計算原理。大數(shù)據(jù)具有海量蔬墩、快速环戈、多樣化和有價值四個方面的重要特征愤钾，其海量特性使得數(shù)據(jù)分析是不可能用單臺機(jī)器完成而是需要多臺機(jī)器同時運(yùn)算，也就是所謂的分布式運(yùn)算绅项。在大數(shù)據(jù)時代赁咙，大數(shù)據(jù)技術(shù)需要解決兩個難題：一是海量數(shù)據(jù)在多臺機(jī)器上的存儲今野；二是解決如何對多臺機(jī)器上存儲的數(shù)據(jù)進(jìn)行計算分析牙寞。大數(shù)據(jù)技術(shù)的基本原理還是聚類饺鹃、分類、主題推薦等數(shù)據(jù)挖掘算法的內(nèi)容间雀，在基于大數(shù)據(jù)的數(shù)據(jù)分析方法中悔详，有很多方法都是對原有算法的改進(jìn)，將原來單機(jī)實現(xiàn)的算法改成多臺機(jī)器的分布式計算雷蹂。簡單地說，基于大數(shù)據(jù)的數(shù)據(jù)分析方法就是分析工具不一樣的數(shù)據(jù)分析方法杯道，有的也加入了數(shù)理統(tǒng)計的思想匪煌。
二责蝠、大數(shù)據(jù)分析常用工具一覽
1．Hadoop大數(shù)據(jù)生態(tài)平臺
Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是Hadoop是以一種可靠萎庭、高效霜医、可伸縮的方式進(jìn)行處理的。Hadoop是可靠的驳规，因為它假設(shè)計算元素和存儲會失敗肴敛，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理吗购。Hadoop是高效的医男，因為它以并行的方式工作，通過并行處理加快處理速度捻勉。Hadoop還是可伸縮的镀梭，能夠處理PB級數(shù)據(jù)。此外踱启，Hadoop依賴于社區(qū)服務(wù)器报账，因此它的成本比較低，任何人都可以使用埠偿。
2．Spark透罢，大數(shù)據(jù)分析的“瑞士軍刀”
Spark也是Apache基金會的開源項目，它由加州大學(xué)伯克利分校的實驗室開發(fā)冠蒋，是另外一種重要的分布式計算系統(tǒng)羽圃。它在Hadoop的基礎(chǔ)上進(jìn)行了一些架構(gòu)上的改良。Spark與Hadoop最大的不同點(diǎn)在于浊服，Hadoop使用硬盤來存儲數(shù)據(jù)统屈，而Spark使用內(nèi)存來存儲數(shù)據(jù)，因此Spark可以提供超過Hadoop100倍的運(yùn)算速度牙躺。但是愁憔，由于內(nèi)存斷電后數(shù)據(jù)會丟失，Spark不能用于處理需要長期保存的數(shù)據(jù)孽拷。目前Spark完成了大部分的數(shù)據(jù)挖掘算法由單機(jī)到分布式的改造吨掌，并提供了較方便的數(shù)據(jù)分析可視化界面。
3．Storm脓恕，實時大數(shù)據(jù)處理工具
Storm是Twitter主推的分布式計算系統(tǒng)膜宋，它由BackType團(tuán)隊開發(fā)，是Apache基金會的孵化項目炼幔。它在Hadoop的基礎(chǔ)上提供了實時運(yùn)算的特性秋茫，可以實時地處理大數(shù)據(jù)流。不同于Hadoop和Spark乃秀，Storm不進(jìn)行數(shù)據(jù)的收集和存儲工作肛著，它直接通過網(wǎng)絡(luò)實時地接收數(shù)據(jù)并且實時地處理數(shù)據(jù)圆兵，然后直接通過網(wǎng)絡(luò)實時地傳回結(jié)果。
最后要感謝這個優(yōu)秀的平臺枢贿，可以讓我們相互交流殉农，如果想進(jìn)一步學(xué)習(xí)交流，可以加群460570824局荚，希望大家可以一起學(xué)習(xí)進(jìn)步超凳！
rB??f8????????
