隨著全球經(jīng)濟(jì)的不斷發(fā)展声功，大數(shù)據(jù)時(shí)代早已悄悄到來，而Hadoop又是大數(shù)據(jù)環(huán)境的基礎(chǔ)，想入門大數(shù)據(jù)行業(yè)首先需要了解Hadoop的知識(shí)。2017年年初apache發(fā)行了Hadoop3.0济竹，也意味著一直有一群人在對(duì)Hadoop不斷的做優(yōu)化，不僅如此霎槐，各個(gè)Hadoop的商業(yè)版本也有好多公司正在使用送浊，這也印證了它的商業(yè)價(jià)值。

讀者可以通過閱讀“一文讀懂Hadoop”系列文章丘跌，對(duì)Hadoop技術(shù)有個(gè)全面的了解袭景，它涵蓋了Hadoop官網(wǎng)的所有知識(shí)點(diǎn)，并且通俗易懂闭树，英文不好的讀者完全可以通過閱讀此篇文章了解Hadoop耸棒。

1.簡(jiǎn)介

1.1 Hadoop概述

Hadoop是一個(gè)高可靠性、高擴(kuò)展性的分布式計(jì)算的開源軟件报辱。是一個(gè)能夠允許大量數(shù)據(jù)在計(jì)算機(jī)集群中使用簡(jiǎn)單的編程模型進(jìn)行分布式處理的框架与殃。其設(shè)計(jì)的規(guī)模可從單一的服務(wù)器到上千臺(tái)機(jī)器上碍现，每一個(gè)均可提供局部運(yùn)算和存儲(chǔ)功能幅疼。而不是依靠于硬件以支持高效性。

Hadoop的創(chuàng)始人是Doug cutting昼接，在Yahoo就職期間開發(fā)了Hadoop項(xiàng)目衣屏，主要原因是此人對(duì)搜索引擎的研究比較感興趣，當(dāng)時(shí)用的技術(shù)是lucene與nutch辩棒。

1.2 Lucene&Nutch

Lucene

是一個(gè)開源的全文檢索引擎工具包，它不是一個(gè)完整的全文搜索引擎膨疏，而是一個(gè)全文檢索引擎的一個(gè)架構(gòu)一睁，提供了完整的查詢引擎與搜索引擎，部分文本分析引擎佃却，lucene的目的是為軟件開發(fā)人員提供一個(gè)簡(jiǎn)單易用的工具包者吁，以方便在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索功能，或者以此為基礎(chǔ)饲帅，建立完整的全文檢索引擎复凳。

Nutch

Nutch是一個(gè)開源java實(shí)現(xiàn)的搜索引擎,它提供了我們自己運(yùn)行搜索引擎所需的全部工具,包括全文檢索與web爬蟲。

1.3 Hadoop的產(chǎn)生

Doug cutting在用lucene與nutch的時(shí)候遇到了數(shù)據(jù)與計(jì)算難題灶泵。主要有兩方面的問題育八，一方面爬取的大量頁(yè)面如何存儲(chǔ)，另一方面就是搜索算法還有待優(yōu)化赦邻，因此他用了2年的時(shí)間實(shí)現(xiàn)了DFS與MapReduce髓棋，一個(gè)微縮版的Nutch，2005年hadoop作為lucene的子項(xiàng)目的nutch的一部分，正式引入Apache基金會(huì)按声。2006年3月份MapReduce和Nutch Distributed File System(NDFS)分別被納入Hadoop項(xiàng)目膳犹。

1.4 Hadoop項(xiàng)目的思想來源

Hadoop項(xiàng)目的思想來源于谷歌的3篇論文

GFS->HDFS

Map-Reduce->Map-Reduce

Bigtable->Hbase

1.5 Hadoop的組成

Hadoop Distributed File System (HDFS)分布式文件系統(tǒng)

一個(gè)提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)的分布式文件系統(tǒng)。

Hadoop YARN

一個(gè)對(duì)作業(yè)進(jìn)行調(diào)度和對(duì)集群資源管理的框架签则。

Hadoop MapReduce

以yarn為基礎(chǔ)的大型數(shù)據(jù)集并行處理系統(tǒng)须床。

2. 三種運(yùn)行模式

2.1單機(jī)（本地）模式

這種模式在一臺(tái)單機(jī)上運(yùn)行，沒有分布式文件系統(tǒng)渐裂，而是直接讀寫本地操作系統(tǒng)的文件系統(tǒng)豺旬。在單機(jī)模式（standalone）中不會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè)JVM上芯义。這里同樣沒有DFS哈垢，使用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce程序扛拨，這也是最少使用的一個(gè)模式耘分。

2.2偽分布式模式

這種模式在一臺(tái)單機(jī)上運(yùn)行，但用不同的Java進(jìn)程模仿分布式運(yùn)行中的各類節(jié)點(diǎn)绑警，偽分布式（Pseudo）適用于開發(fā)和測(cè)試環(huán)境求泰，在這個(gè)模式中，所有守護(hù)進(jìn)程都在同一臺(tái)機(jī)器上運(yùn)行计盒。

2.3完全分布式模式

這種模式通常被用于生產(chǎn)環(huán)境渴频，使用N臺(tái)主機(jī)組成一個(gè)Hadoop集群，Hadoop守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上北启。這里會(huì)存在Namenode運(yùn)行的主機(jī)卜朗，Datanode運(yùn)行的主機(jī)，以及resourcemanager運(yùn)行的主機(jī)等咕村。在分布式環(huán)境下场钉，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。

3. 命令指南

3.1概述

所有Hadoop命令和子項(xiàng)目都遵循相同的基本結(jié)構(gòu)：

用法：shellcommand [SHELL_OPTIONS] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

3.2 shell選項(xiàng)

所有shell命令都將接受一組公共選項(xiàng)懈涛。對(duì)于某些命令逛万，將忽略這些選項(xiàng)。例如批钠，對(duì)僅在單個(gè)主機(jī)上執(zhí)行的命令傳遞?--hostnames將被忽略宇植。

3.3通用選項(xiàng)

許多子命令遵循一組常用的配置選項(xiàng)來更改其行為：

3.4 hadoop通用命令

所有這些命令都是從hadoop?shell命令執(zhí)行的。

3.4.1用戶命令

對(duì)hadoop集群的用戶有用的命令埋心。

Archive

Hadoop檔案是一個(gè)特殊格式的檔案指郁，一個(gè)hadoop檔案映射到文件系統(tǒng)的一個(gè)目錄，hadoop檔案的擴(kuò)展名是.har拷呆，hadoop Archive目錄包含元數(shù)據(jù)文件（?_index?和?_masterindex）和數(shù)據(jù)文件（part-*）坡氯，這個(gè)_index文件包含了所有文件的名稱和他對(duì)應(yīng)part文件的位置。

checknative

此命令檢查Hadoop本地代碼的可用性。

classpath

打印獲取Hadoop jar和所需庫(kù)所需的類路徑箫柳。如果無參數(shù)調(diào)用手形，則打印由命令腳本設(shè)置的類路徑，這可能在類路徑條目中包含通配符悯恍。其他選項(xiàng)在通配符擴(kuò)展后打印類路徑或?qū)㈩惵窂綄懭雑ar文件的清單库糠。后者在不能使用通配符且擴(kuò)展的類路徑超過支持的最大命令行長(zhǎng)度的環(huán)境中非常有用。

credential

該命令在憑證提供者內(nèi)部管理憑證及密碼涮毫。Hadoop的CredentialProvider API支持應(yīng)用程序拆分瞬欧，并且要求拆分后的應(yīng)用 如何儲(chǔ)存所需的密碼。為了指明一個(gè)Provider的位置和類型罢防，需要在core-site.xml添加hadoop.security.credential.provider. path配置項(xiàng)艘虎，或者通過指令中-provider命令選項(xiàng)進(jìn)行設(shè)置。Provider路徑是一串以逗號(hào)分割的URL字符串咒吐。這些字符串會(huì)說明Provider的類型和位置野建。

distch

一次更改許多文件的所有權(quán)和權(quán)限。

distcp

遞歸的拷貝文件或者目錄恬叹。

dtutil

在憑據(jù)文件中獲取和管理hadoop委托令牌的實(shí)用程序候生。它旨在替換更簡(jiǎn)單的命令fetchdt。有多個(gè)子命令绽昼，每個(gè)都有自己的標(biāo)志和選項(xiàng)唯鸭。對(duì)于寫出文件的每個(gè)子命令，-format選項(xiàng)將指定要使用的內(nèi)部格式硅确。java是與fetchdt匹配的舊格式目溉。默認(rèn)值為protobuf。對(duì)于連接到服務(wù)的每個(gè)子命令菱农，提供方便標(biāo)志以指定用于認(rèn)證的kerberos主體名稱和keytab文件缭付。

fs

和hdfs腳本的dfs類似。

gridmix

Hadoop Gridmix是針對(duì)hadoop系統(tǒng)的基準(zhǔn)測(cè)試程序大莫。它具備評(píng)測(cè)大規(guī)模數(shù)據(jù)處理系統(tǒng)所需的各個(gè)功能模塊，包括：產(chǎn)生數(shù)據(jù)官份，生成并提交作業(yè)只厘，統(tǒng)計(jì)作業(yè)完成時(shí)間等。

jar

運(yùn)行一個(gè)jar文件舅巷。

jnipath

打印計(jì)算java.library.path羔味。

kerbname

通過auth_to_local規(guī)則將命名主體轉(zhuǎn)換為Hadoop用戶名。

key

通過KeyProvider管理密鑰钠右。

kms

運(yùn)行KMS赋元，密鑰管理服務(wù)器。

trace

查看和修改Hadoop跟蹤設(shè)置。

version

打印版本搁凸。

classname

運(yùn)行名為classname的類媚值。類必須是包的一部分。

envvars

顯示Hadoop環(huán)境變量护糖。

3.4.2管理命令

daemonlog

獲取/設(shè)置由守護(hù)程序中的限定類名稱標(biāo)識(shí)的日志的日志級(jí)別褥芒。默認(rèn)情況下，該命令發(fā)送HTTP請(qǐng)求嫡良，但可以通過使用參數(shù)-protocol https發(fā)送HTTPS請(qǐng)求來覆蓋此請(qǐng)求锰扶。

3.4.3文件

etc/hadoop/hadoop-env.sh

此文件存儲(chǔ)所有Hadoop shell命令使用的全局設(shè)置。

etc/hadoop-user-functions.sh

此文件允許高級(jí)用戶覆蓋某些shell功能寝受。

?/ .hadooprc

這存儲(chǔ)了個(gè)人用戶的個(gè)人環(huán)境坷牛。它在hadoop-env.sh和hadoop-user-functions.sh文件之后處理，并且可以包含相同的設(shè)置很澄。

4. UNIX shell指南

4.1重要的最終用戶環(huán)境變量

Apache Hadoop有許多控制軟件各個(gè)方面的環(huán)境變量京闰。（請(qǐng)參閱hadoop-env.sh和相關(guān)文件。）其中一些環(huán)境變量專用于幫助最終用戶管理其運(yùn)行時(shí)痴怨。

4.1.1 HADOOP_CLIENT_OPTS

此環(huán)境變量用于所有最終用戶忙干，非守護(hù)程序操作。它可以用于通過系統(tǒng)屬性定義設(shè)置任何Java選項(xiàng)以及任何Apache Hadoop選項(xiàng)浪藻。

4.1.2 (command)_(subcommand)_OPTS

也可以在每個(gè)子命令的基礎(chǔ)上設(shè)置選項(xiàng)捐迫。這允許為特定情況創(chuàng)建特殊選項(xiàng)。模式的第一部分是正在使用的命令爱葵，但是都是大寫的施戴。命令的第二部分是正在使用的子命令。然后最后跟著字符串_OPT萌丈。

4.1.3 HADOOP_CLASSPATH

Apache Hadoop腳本能夠通過設(shè)置此環(huán)境變量將更多內(nèi)容注入正在運(yùn)行的命令的類路徑中赞哗。它是目錄、文件或通配符位置的冒號(hào)分隔列表辆雾。

4.1.4變量的自動(dòng)設(shè)置

如果用戶有一組通用的設(shè)置肪笋，可以將它們放在$ {HOME}/.hadoop-env文件中。始終讀取此文件以初始化并覆蓋用戶可能想要自定義的任何變量度迂。它使用bash語(yǔ)法藤乙，類似于.bashrc文件。

4.2管理員環(huán)境

除了各種XML文件之外惭墓，管理員還有兩個(gè)關(guān)鍵功能可以在使用Unix Shell時(shí)配置坛梁。

4.2.1 (command)_(subcommand)_OPTS

最重要的是控制守護(hù)進(jìn)程如何工作的一系列_OPTS變量。這些變量應(yīng)包含這些守護(hù)程序的所有相關(guān)設(shè)置腊凶。

4.2.2 (command)_(subcommand)_USER

Apache Hadoop提供了一種方法來執(zhí)行用戶檢查每個(gè)子命令划咐。雖然這種方法很容易規(guī)避拴念，不應(yīng)被視為安全特征，但它確實(shí)提供了防止事故的機(jī)制褐缠。例如政鼠，設(shè)置HDFS_NAMENODE_USER = hdfs將使hdfs namenode和hdfs –daemon start namenode命令通過檢查USER環(huán)境變量來驗(yàn)證運(yùn)行命令的用戶是否為hdfs用戶。這也適用于非守護(hù)進(jìn)程送丰。在允許執(zhí)行hadoop distcp命令之前缔俄，設(shè)置HADOOP_DISTCP_USER = jane將驗(yàn)證USER是否設(shè)置為jane。

4.3開發(fā)者和高級(jí)管理員環(huán)境

4.3.1 Shell Profiles

Apache Hadoop允許第三方通過各種可插拔接口輕松添加新功能器躏。這包括一個(gè)shell代碼子系統(tǒng)俐载，可以方便地將必要的內(nèi)容注入基本安裝。這個(gè)功能的核心是shell配置文件的概念登失。Shell配置文件是可以執(zhí)行諸如向類路徑添加jar遏佣，配置Java系統(tǒng)屬性等等的shell代碼片段。

4.3.2 Shell API

Apache Hadoop的shell代碼具有一個(gè)函數(shù)庫(kù)揽浙，供管理員和開發(fā)人員使用以幫助他們的配置和高級(jí)特性管理状婶。

4.3.3用戶級(jí)API訪問

除了.hadoop-env，它允許單個(gè)用戶重寫hadoop-env.sh馅巷，用戶的也可以使用.hadooprc膛虫。這是在配置Apache Hadoop shell環(huán)境后調(diào)用的，并允許完整的shell API函數(shù)調(diào)用钓猬。

4.3.4動(dòng)態(tài)子命令

利用Shell API稍刀，第三方可以將其自己的子命令添加到主Hadoop shell腳本（hadoop，hdfs敞曹，mapred账月，yarn）。在執(zhí)行子命令之前澳迫，主腳本將檢查是否存在（scriptname）_subcommand_（子命令）函數(shù)局齿。該函數(shù)將參數(shù)設(shè)置為所有剩余的命令行參數(shù)。

5. 應(yīng)用場(chǎng)景

美國(guó)著名科技博客GigaOM的專欄作家Derrick Harris跟蹤云計(jì)算和Hadoop技術(shù)已有多年時(shí)間橄登，在一篇文章中總結(jié)了10個(gè)Hadoop的應(yīng)用場(chǎng)景抓歼，下面分享給大家：

在線旅游：目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版，其中SearchBI網(wǎng)站曾經(jīng)報(bào)道過的Expedia也在其中拢锹。

移動(dòng)數(shù)據(jù)：Cloudera運(yùn)營(yíng)總監(jiān)稱谣妻，美國(guó)有70%的智能手機(jī)數(shù)據(jù)服務(wù)背后都是由Hadoop來支撐的，也就是說面褐，包括數(shù)據(jù)的存儲(chǔ)以及無線運(yùn)營(yíng)商的數(shù)據(jù)處理等拌禾，都是在利用Hadoop技術(shù)取胎。

電子商務(wù)：這一場(chǎng)景應(yīng)該是非常確定的展哭，eBay就是最大的實(shí)踐者之一湃窍。國(guó)內(nèi)的電商在Hadoop技術(shù)上也是儲(chǔ)備頗為雄厚的。

能源開采：美國(guó)Chevron公司是全美第二大石油公司匪傍，他們的IT部門主管介紹了Chevron使用Hadoop的經(jīng)驗(yàn)您市，他們利用Hadoop進(jìn)行數(shù)據(jù)的收集和處理，其中這些數(shù)據(jù)是海洋的地震數(shù)據(jù)役衡，以便于他們找到油礦的位置茵休。

節(jié)能：另外一家能源服務(wù)商Opower也在使用Hadoop，為消費(fèi)者提供節(jié)約電費(fèi)的服務(wù)手蝎，其中對(duì)用戶電費(fèi)單進(jìn)行了預(yù)測(cè)分析榕莺。

基礎(chǔ)架構(gòu)管理：這是一個(gè)非常基礎(chǔ)的應(yīng)用場(chǎng)景棵介，用戶可以用Hadoop從服務(wù)器钉鸯、交換機(jī)以及其他的設(shè)備中收集并分析數(shù)據(jù)。

圖像處理：創(chuàng)業(yè)公司Skybox Imaging使用Hadoop來存儲(chǔ)并處理圖片數(shù)據(jù)邮辽，從衛(wèi)星中拍攝的高清圖像中探測(cè)地理變化唠雕。

詐騙檢測(cè)：這個(gè)場(chǎng)景用戶接觸的比較少，一般金融服務(wù)或者政府機(jī)構(gòu)會(huì)用到吨述。利用Hadoop來存儲(chǔ)所有的客戶交易數(shù)據(jù)岩睁，包括一些非結(jié)構(gòu)化的數(shù)據(jù)，能夠幫助機(jī)構(gòu)發(fā)現(xiàn)客戶的異炒г疲活動(dòng)捕儒，預(yù)防欺詐行為。

IT安全：除企業(yè)IT基礎(chǔ)機(jī)構(gòu)的管理之外灵再，Hadoop還可以用來處理機(jī)器生成數(shù)據(jù)以便甄別來自惡意軟件或者網(wǎng)絡(luò)中的攻擊肋层。

醫(yī)療保健：醫(yī)療行業(yè)也會(huì)用到Hadoop，像IBM的Watson就會(huì)使用Hadoop集群作為其服務(wù)的基礎(chǔ)翎迁，包括語(yǔ)義分析等高級(jí)分析技術(shù)等栋猖。醫(yī)療機(jī)構(gòu)可以利用語(yǔ)義分析為患者提供醫(yī)護(hù)人員，并協(xié)助醫(yī)生更好地為患者進(jìn)行診斷汪榔。

主要的場(chǎng)景分類如下：

大數(shù)據(jù)量存儲(chǔ)：分布式存儲(chǔ)（各種云盤蒲拉，百度、360還有云平臺(tái)均有hadoop應(yīng)用）

日志處理：Hadoop擅長(zhǎng)這個(gè)

海量計(jì)算：并行計(jì)算

ETL：數(shù)據(jù)抽取到oracle痴腌、mysql雌团、DB2、mongdb及主流數(shù)據(jù)庫(kù)

使用HBase做數(shù)據(jù)分析：用擴(kuò)展性應(yīng)對(duì)大量讀寫操作—Facebook構(gòu)建了基于HBase的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)

機(jī)器學(xué)習(xí)：比如Apache Mahout項(xiàng)目（常見領(lǐng)域：協(xié)作篩選士聪、集群锦援、歸類）

搜索引擎：hadoop + lucene實(shí)現(xiàn)

數(shù)據(jù)挖掘：目前比較流行的廣告推薦

大量地從文件中順序讀。HDFS對(duì)順序讀進(jìn)行了優(yōu)化剥悟，代價(jià)是對(duì)于隨機(jī)的訪問負(fù)載較高灵寺。

用戶行為特征建模

個(gè)性化廣告推薦

智能儀器推薦

6. 資源推薦

6.1?網(wǎng)站

我推薦給大家的是HADOOP官網(wǎng)：http://hadoop.apache.org/曼库，因?yàn)楣倬W(wǎng)是一項(xiàng)技術(shù)的第一手信息來源，并且可以最全面及最直接的了解此技術(shù)略板，如果有英文不好的毁枯，可以使用谷歌的網(wǎng)頁(yè)翻譯，正確率在90%以上叮称，對(duì)于學(xué)習(xí)一項(xiàng)技術(shù)來說种玛，還是可以的∪块埽或者大家可以訪問http://hadoop.apache.org/docs/r1.0.4/cn/?這個(gè)網(wǎng)址赂韵，看一下1.0的中文版,雖然現(xiàn)在已經(jīng)到3.0了,但是對(duì)于對(duì)MAPREDUCE的理解，幫助還是很大的挠蛉。

6.2?書籍

《HADOOP權(quán)威指南》

這本書很全面的介紹了hadoop右锨，本書是將作者Tom White的英文原版書籍進(jìn)行了翻譯，作者從2006年起就開始為hadoop做貢獻(xiàn)碌秸，是hadoop開發(fā)社區(qū)受人尊敬的資深成員绍移，精通hadoop技術(shù)的若干領(lǐng)域， 由他寫出的hadoop書籍讥电，通俗易懂蹂窖，適合入門hadoop。

《hadoop技術(shù)內(nèi)幕》

之所以給大家推薦《hadoop技術(shù)內(nèi)幕》是因?yàn)榇藭淖髡呤嵌鞒啥鞯校荋adoop領(lǐng)域資深的實(shí)踐者瞬测，他將hadoop的技術(shù)分成3部分：MapReduce、HDFS纠炮、YARN月趟，每部分都進(jìn)行了詳細(xì)的闡述。

6.3?網(wǎng)課

極客學(xué)院網(wǎng)課

筆者將所有網(wǎng)上的視頻與網(wǎng)課瀏覽了一遍恢口，大部分的視頻都有些老孝宗。極客學(xué)院的網(wǎng)課值得推薦。

http://www.jikexueyuan.com/course/hadoop/

尚學(xué)堂hadoop視頻分享

鑒于網(wǎng)上的視頻資料大多都有些老耕肩，筆者將在尚學(xué)堂學(xué)習(xí)的視頻分享給大家因妇。

http://pan.baidu.com/s/1qYkDqZq

6.4?社區(qū)

hadoop技術(shù)社區(qū)

這個(gè)社區(qū)中涵蓋了有關(guān)hadoop的資訊、博客猿诸、論壇疏虫、hadoop資料下載驴一、及hadoop的有關(guān)的活動(dòng)燎竖。

http://hadoop.csdn.net/

7. 進(jìn)一步學(xué)習(xí)

7.1論文歸納

如下是Google大數(shù)據(jù)三篇著名論文的中文版,是比較權(quán)威的論文資料彰居。在這里分享給讀者。

Google File System中文版

http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88\_1.0.pdf

Google Bigtable中文版

http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable%E4%B8%AD%E6%96%87%E7%89%88\_1.0.pdf

Google MapReduce中文版

http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce%E4%B8%AD%E6%96%87%E7%89%88\_1.0.pdf

7.2?優(yōu)秀博文

董的博文

筆者之所以首先推薦“董的博客”是由于他是hadoop技術(shù)內(nèi)幕的作者、資深Hadoop技術(shù)實(shí)踐者和研究者谷炸，曾參與商用Hadoop原型研發(fā)删顶，以及分布式日志系統(tǒng)、全網(wǎng)圖片搜索引擎淑廊、Hadoop調(diào)度器等項(xiàng)目的設(shè)計(jì)與研發(fā)。對(duì)hadoop有自己獨(dú)到的見解特咆。網(wǎng)址為：http://dongxicheng.org/

bigdata_player的博文

如果有剛?cè)腴Thadoop的讀者,可以讀一下bigdata_player的三篇博文：

“Hadoop?基礎(chǔ)知識(shí)---之HDFS篇”季惩， 網(wǎng)址為：http://blog.csdn.net/bigdata\_player/article/details/51932437

“Hadoop?基礎(chǔ)知識(shí)---之MapReduce篇”，網(wǎng)址為：http://blog.csdn.net/bigdata\_player/article/details/52050400

“Hadoop基礎(chǔ)知識(shí)---之YARN原理簡(jiǎn)述”腻格，網(wǎng)址為：http://blog.csdn.net/bigdata\_player/article/details/52057176

既認(rèn)準(zhǔn)這條路画拾，又何必在意要走多久的博文

在初學(xué)hadoop的時(shí)候，免不了要去官網(wǎng)下載hadoop的安裝包菜职，而下載下來的安裝包無法直接使用青抛，需要手動(dòng)去編譯。讀者可以參照此博文來編譯hadoop的包酬核。網(wǎng)址為：http://blog.csdn.net/linlinv3/article/details/49358217

本期獨(dú)家內(nèi)容“一文讀懂Hadoop”系列文章將根據(jù)先介紹Hadoop蜜另，繼而分別詳細(xì)介紹HDFS、MAPREDUCE嫡意、YARN的所有知識(shí)點(diǎn)的框架举瑰，分為四期內(nèi)容在接下來的幾天中推送。敬請(qǐng)關(guān)注后續(xù)內(nèi)容蔬螟。

宋瑩此迅，數(shù)據(jù)派研究部志愿者，北京中軟融鑫ETL工程師旧巾。喜愛數(shù)學(xué)和計(jì)算機(jī)耸序，酷愛大數(shù)據(jù)分析、大數(shù)據(jù)挖掘鲁猩、機(jī)器學(xué)習(xí)坎怪。