Hadoop歷史
雛形開始于2002年的Apache的Nutch，Nutch是一個(gè)開源Java 實(shí)現(xiàn)的搜索引擎浩淘。它提供了我們運(yùn)行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬蟲组哩。
隨后在2003年Google發(fā)表了一篇技術(shù)學(xué)術(shù)論文谷歌文件系統(tǒng)（GFS）漫贞。GFS也就是google File System，google公司為了存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的專用文件系統(tǒng)闽坡。
2004年Nutch創(chuàng)始人Doug Cutting基于Google的GFS論文實(shí)現(xiàn)了分布式文件存儲(chǔ)系統(tǒng)名為NDFS栽惶。
2004年Google又發(fā)表了一篇技術(shù)學(xué)術(shù)論文MapReduce愁溜。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行分析運(yùn)算外厂。
2005年Doug Cutting又基于MapReduce冕象，在Nutch搜索引擎實(shí)現(xiàn)了該功能。
2006年汁蝶，Yahoo雇用了Doug Cutting渐扮，Doug Cutting將NDFS和MapReduce升級(jí)命名為Hadoop，Yahoo開建了一個(gè)獨(dú)立的團(tuán)隊(duì)給Goug Cutting專門研究發(fā)展Hadoop掖棉。
不得不說(shuō)Google和Yahoo對(duì)Hadoop的貢獻(xiàn)功不可沒(méi)墓律。
Hadoop核心
Hadoop的核心就是HDFS和MapReduce，而兩者只是理論基礎(chǔ)幔亥，不是具體可使用的高級(jí)應(yīng)用耻讽，Hadoop旗下有很多經(jīng)典子項(xiàng)目，比如HBase帕棉、Hive等针肥，這些都是基于HDFS和MapReduce發(fā)展出來(lái)的。要想了解Hadoop香伴，就必須知道HDFS和MapReduce是什么慰枕。
HDFS
HDFS（Hadoop Distributed File System，Hadoop分布式文件系統(tǒng)）瞒窒，它是一個(gè)高度容錯(cuò)性的系統(tǒng)捺僻，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)崇裁，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序匕坯。
HDFS的設(shè)計(jì)特點(diǎn)是：
1、大數(shù)據(jù)文件拔稳，非常適合上T級(jí)別的大文件或者一堆大數(shù)據(jù)文件的存儲(chǔ)葛峻，如果文件只有幾個(gè)G甚至更小就沒(méi)啥意思了。
2巴比、文件分塊存儲(chǔ)术奖，HDFS會(huì)將一個(gè)完整的大文件平均分塊存儲(chǔ)到不同計(jì)算器上，它的意義在于讀取文件時(shí)可以同時(shí)從多個(gè)主機(jī)取不同區(qū)塊的文件轻绞，多主機(jī)讀取比單主機(jī)讀取效率要高得多得都采记。
3、流式數(shù)據(jù)訪問(wèn)政勃，一次寫入多次讀寫唧龄，這種模式跟傳統(tǒng)文件不同，它不支持動(dòng)態(tài)改變文件內(nèi)容奸远，而是要求讓文件一次寫入就不做變化既棺，要變化也只能在文件末添加內(nèi)容讽挟。
4、廉價(jià)硬件丸冕，HDFS可以應(yīng)用在普通PC機(jī)上耽梅，這種機(jī)制能夠讓給一些公司用幾十臺(tái)廉價(jià)的計(jì)算機(jī)就可以撐起一個(gè)大數(shù)據(jù)集群。
5胖烛、硬件故障眼姐，HDFS認(rèn)為所有計(jì)算機(jī)都可能會(huì)出問(wèn)題，為了防止某個(gè)主機(jī)失效讀取不到該主機(jī)的塊文件佩番，它將同一個(gè)文件塊副本分配到其它某幾個(gè)主機(jī)上妥凳，如果其中一臺(tái)主機(jī)失效，可以迅速找另一塊副本取文件答捕。
HDFS的關(guān)鍵元素：
Block：將一個(gè)文件進(jìn)行分塊逝钥，通常是64M。
NameNode：保存整個(gè)文件系統(tǒng)的目錄信息拱镐、文件信息及分塊信息艘款，這是由唯一一臺(tái)主機(jī)專門保存，當(dāng)然這臺(tái)主機(jī)如果出錯(cuò)沃琅，NameNode就失效了哗咆。在Hadoop2.*開始支持activity-standy模式----如果主NameNode失效，啟動(dòng)備用主機(jī)運(yùn)行NameNode益眉。
DataNode：分布在廉價(jià)的計(jì)算機(jī)上晌柬，用于存儲(chǔ)Block塊文件。
MapReduce
通俗說(shuō)MapReduce是一套從海量·源數(shù)據(jù)提取分析元素最后返回結(jié)果集的編程模型，將文件分布式存儲(chǔ)到硬盤是第一步展鸡，而從海量數(shù)據(jù)中提取分析我們需要的內(nèi)容就是MapReduce做的事了屿衅。
下面以一個(gè)計(jì)算海量數(shù)據(jù)最大值為例：一個(gè)銀行有上億儲(chǔ)戶，銀行希望找到存儲(chǔ)金額最高的金額是多少莹弊，按照傳統(tǒng)的計(jì)算方式涤久，我們會(huì)這樣：
Long moneys[] ...
Long max = 0L;
for(int i=0;i<moneys.length;i++){
if(moneys[i]>max){
max = moneys[i];
}
}
如果計(jì)算的數(shù)組長(zhǎng)度少的話，這樣實(shí)現(xiàn)是不會(huì)有問(wèn)題的忍弛，還是面對(duì)海量數(shù)據(jù)的時(shí)候就會(huì)有問(wèn)題响迂。
MapReduce會(huì)這樣做：首先數(shù)字是分布存儲(chǔ)在不同塊中的，以某幾個(gè)塊為一個(gè)Map细疚，計(jì)算出Map中最大的值蔗彤，然后將每個(gè)Map中的最大值做Reduce操作，Reduce再取最大值給用戶。
MapReduce的基本原理就是：將大的數(shù)據(jù)分析分成小塊逐個(gè)分析，最后再將提取出來(lái)的數(shù)據(jù)匯總分析来氧，最終獲得我們想要的內(nèi)容诫给。當(dāng)然怎么分塊分析，怎么做Reduce操作非常復(fù)雜啦扬，Hadoop已經(jīng)提供了數(shù)據(jù)分析的實(shí)現(xiàn)中狂，我們只需要編寫簡(jiǎn)單的需求命令即可達(dá)成我們想要的數(shù)據(jù)。
總結(jié)
總的來(lái)說(shuō)Hadoop適合應(yīng)用于大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析的應(yīng)用扑毡，適合于服務(wù)器幾千臺(tái)到幾萬(wàn)臺(tái)的集群運(yùn)行胃榕，支持PB級(jí)的存儲(chǔ)容量。
Hadoop典型應(yīng)用有：搜索瞄摊、日志處理勋又、推薦系統(tǒng)、數(shù)據(jù)分析换帜、視頻圖像分析楔壤、數(shù)據(jù)保存等。
但要知道惯驼，Hadoop的使用范圍遠(yuǎn)小于SQL或Python之類的腳本語(yǔ)言蹲嚣，所以不要盲目使用Hadoop，看完這篇試讀文章祟牲，我知道Hadoop不適用于我們的項(xiàng)目隙畜。不過(guò)Hadoop作為大數(shù)據(jù)的熱門詞，我覺得一個(gè)狂熱的編程愛好者值得去學(xué)習(xí)了解说贝，或許你下一個(gè)歸宿就需要Hadoop人才禾蚕，不是嗎。
