前言

Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要丐枉，Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ)，對(duì)Hadoop基礎(chǔ)知識(shí)的掌握的扎實(shí)程度凉翻，會(huì)決定在大數(shù)據(jù)技術(shù)道路上走多遠(yuǎn)默赂。

這是一篇入門(mén)文章，Hadoop的學(xué)習(xí)方法很多蛾娶，網(wǎng)上也有很多學(xué)習(xí)路線圖灯谣。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來(lái)介紹Hadoop2.x的架構(gòu)組成茫叭、各模塊協(xié)同工作原理酬屉、技術(shù)細(xì)節(jié)。安裝不是目的揍愁，通過(guò)安裝認(rèn)識(shí)Hadoop才是目的呐萨。

第一部分：Linux環(huán)境安裝

Hadoop是運(yùn)行在Linux，雖然借助工具也可以運(yùn)行在Windows上莽囤，但是建議還是運(yùn)行在Linux系統(tǒng)上谬擦，第一部分介紹Linux環(huán)境的安裝、配置朽缎、Java JDK安裝等惨远。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用于本地開(kāi)發(fā)調(diào)試，或者快速安裝體驗(yàn)Hadoop话肖，這部分做簡(jiǎn)單的介紹北秽。

第三部分：Hadoop偽分布式模式安裝

學(xué)習(xí)Hadoop一般是在偽分布式模式下進(jìn)行。這種模式是在一臺(tái)機(jī)器上各個(gè)進(jìn)程上運(yùn)行Hadoop的各個(gè)模塊最筒，偽分布式的意思是雖然各個(gè)模塊是在各個(gè)進(jìn)程上分開(kāi)運(yùn)行的贺氓，但是只是運(yùn)行在一個(gè)操作系統(tǒng)上的，并不是真正的分布式床蜘。

第四部分：完全分布式安裝

完全分布式模式才是生產(chǎn)環(huán)境采用的模式辙培，Hadoop運(yùn)行在服務(wù)器集群上蔑水，生產(chǎn)環(huán)境一般都會(huì)做HA，以實(shí)現(xiàn)高可用扬蕊。

第一部分：Linux環(huán)境安裝

第一步搀别、配置Vmware NAT網(wǎng)絡(luò)

一、Vmware網(wǎng)絡(luò)模式介紹

參考：http://blog.csdn.net/collection4u/article/details/14127671

二尾抑、NAT模式配置

NAT是網(wǎng)絡(luò)地址轉(zhuǎn)換歇父，是在宿主機(jī)和虛擬機(jī)之間增加一個(gè)地址轉(zhuǎn)換服務(wù)，負(fù)責(zé)外部和虛擬機(jī)之間的通訊轉(zhuǎn)接和IP轉(zhuǎn)換再愈。

我們部署Hadoop集群庶骄，這里選擇NAT模式，各個(gè)虛擬機(jī)通過(guò)NAT使用宿主機(jī)的IP來(lái)訪問(wèn)外網(wǎng)践磅。

我們的要求是集群中的各個(gè)虛擬機(jī)有固定的IP、可以訪問(wèn)外網(wǎng)灸异，所以進(jìn)行如下設(shè)置：

1府适、 Vmware安裝后，默認(rèn)的NAT設(shè)置如下：

1

2肺樟、 默認(rèn)的設(shè)置是啟動(dòng)DHCP服務(wù)的檐春，NAT會(huì)自動(dòng)給虛擬機(jī)分配IP，但是我們需要將各個(gè)機(jī)器的IP固定下來(lái)么伯，所以要取消這個(gè)默認(rèn)設(shè)置疟暖。

3、 為機(jī)器設(shè)置一個(gè)子網(wǎng)網(wǎng)段田柔，默認(rèn)是192.168.136網(wǎng)段俐巴，我們這里設(shè)置為100網(wǎng)段，將來(lái)各個(gè)虛擬機(jī)Ip就為 192.168.100.*硬爆。

4欣舵、 點(diǎn)擊NAT設(shè)置按鈕，打開(kāi)對(duì)話框缀磕，可以修改網(wǎng)關(guān)地址和DNS地址缘圈。這里我們?yōu)镹AT指定DNS地址。

2

5袜蚕、 網(wǎng)關(guān)地址為當(dāng)前網(wǎng)段里的.2地址糟把，好像是固定的，我們不做修改牲剃，先記住網(wǎng)關(guān)地址就好了遣疯，后面會(huì)用到。

第二步颠黎、安裝Linux操作系統(tǒng)

三另锋、Vmware上安裝Linux系統(tǒng)

1滞项、 文件菜單選擇新建虛擬機(jī)

2、 選擇經(jīng)典類型安裝夭坪，下一步文判。

3、 選擇稍后安裝操作系統(tǒng)室梅，下一步戏仓。

4、 選擇Linux系統(tǒng)亡鼠，版本選擇CentOS 64位赏殃。

3

5、 命名虛擬機(jī)间涵，給虛擬機(jī)起個(gè)名字仁热，將來(lái)顯示在Vmware左側(cè)。并選擇Linux系統(tǒng)保存在宿主機(jī)的哪個(gè)目錄下勾哩，應(yīng)該一個(gè)虛擬機(jī)保存在一個(gè)目錄下抗蠢，不能多個(gè)虛擬機(jī)使用一個(gè)目錄。

4

6思劳、 指定磁盤(pán)容量迅矛，是指定分給Linux虛擬機(jī)多大的硬盤(pán)，默認(rèn)20G就可以潜叛，下一步秽褒。

7、 點(diǎn)擊自定義硬件威兜，可以查看销斟、修改虛擬機(jī)的硬件配置，這里我們不做修改椒舵。

8票堵、 點(diǎn)擊完成后，就創(chuàng)建了一個(gè)虛擬機(jī)逮栅，但是此時(shí)的虛擬機(jī)還是一個(gè)空殼悴势，沒(méi)有操作系統(tǒng)，接下來(lái)安裝操作系統(tǒng)措伐。

9特纤、 點(diǎn)擊編輯虛擬機(jī)設(shè)置，找到DVD侥加，指定操作系統(tǒng)ISO文件所在位置捧存。

5

10、 點(diǎn)擊開(kāi)啟此虛擬機(jī)，選擇第一個(gè)回車開(kāi)始安裝操作系統(tǒng)

11昔穴、 設(shè)置root密碼镰官。

12、 先不添加普通用戶吗货，其他用默認(rèn)的泳唠，就把Linux安裝完畢了。

四宙搬、設(shè)置網(wǎng)絡(luò)

因?yàn)閂mware的NAT設(shè)置中關(guān)閉了DHCP自動(dòng)分配IP功能笨腥，所以Linux還沒(méi)有IP，需要我們?cè)O(shè)置網(wǎng)絡(luò)各個(gè)參數(shù)勇垛。

1脖母、 用root進(jìn)入，右擊右上角的網(wǎng)絡(luò)連接圖標(biāo)闲孤，選擇修改連接谆级。

2、 配置IP讼积、子網(wǎng)掩碼哨苛、網(wǎng)關(guān)（和NAT設(shè)置的一樣）、DNS等參數(shù)币砂，因?yàn)镹AT里設(shè)置網(wǎng)段為100.*，所以這臺(tái)機(jī)器可以設(shè)置為192.168.100.10網(wǎng)關(guān)和NAT一致玻侥，為192.168.100.2

6

3决摧、 用ping來(lái)檢查是否可以連接外網(wǎng)，如下圖凑兰，已經(jīng)連接成功掌桩。

7

五、修改Hostname

1姑食、 臨時(shí)修改hostname

[root@localhost Desktop]#hostnamebigdata-senior01.chybinmy.com

這種修改方式波岛，系統(tǒng)重啟后就會(huì)失效。

2音半、 永久修改hostname

想永久修改则拷，應(yīng)該修改配置文件 /etc/sysconfig/network。

命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network

打開(kāi)文件后曹鸠，

NETWORKING=yes#使用網(wǎng)絡(luò)HOSTNAME=bigdata-senior01.chybinmy.com#設(shè)置主機(jī)名

六煌茬、配置Host

命令：[root@bigdata-senior01 ~] vim /etc/hosts添加hosts:192.168.100.10 bigdata-senior01.chybinmy.com

七、關(guān)閉防火墻

學(xué)習(xí)環(huán)境可以直接把防火墻關(guān)閉掉彻桃。

(1) 用root用戶登錄后坛善，執(zhí)行查看防火墻狀態(tài)。

[root@bigdata-senior01 hadoop]# service iptables status

(2) 用[root@bigdata-senior01 hadoop]# service iptables stop關(guān)閉防火墻，這個(gè)是臨時(shí)關(guān)閉防火墻眠屎。

[root@bigdata-senior01 hadoop-2.5.0]#serviceiptablesstopiptables:SettingchainstopolicyACCEPT:filter[? OK? ]iptables:Flushingfirewallrules:[? OK? ]iptables:Unloadingmodules:[? OK? ]

(3) 如果要永久關(guān)閉防火墻用剔交。

[root@bigdata-senior01 hadoop]# chkconfig iptables off

關(guān)閉，這種需要重啟才能生效改衩。

八岖常、關(guān)閉selinux

selinux是Linux一個(gè)子安全機(jī)制，學(xué)習(xí)環(huán)境可以將它禁用燎字。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:#? ? enforcing - SELinux security policy is enforced.#? ? permissive - SELinux prints warnings instead of enforcing.#? ? disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:#? ? targeted - Targeted processes are protected,#? ? mls - Multi Level Security protection.SELINUXTYPE=targeted

8

第三步腥椒、安裝JDK

九、安裝Java JDK

1候衍、 查看是否已經(jīng)安裝了java JDK笼蛛。

[root@bigdata-senior01 Desktop]# java –version

注意：Hadoop機(jī)器上的JDK，最好是Oracle的Java JDK蛉鹿，不然會(huì)有一些問(wèn)題滨砍，比如可能沒(méi)有JPS命令。

如果安裝了其他版本的JDK妖异，卸載掉惋戏。

2、 安裝java JDK

(1) 去下載Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz

(2) 將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

(3) 添加環(huán)境變量

設(shè)置JDK的環(huán)境變量 JAVA_HOME他膳。需要修改配置文件/etc/profile响逢，追加

exportJAVA_HOME="/opt/modules/jdk1.7.0_67"exportPATH=$JAVA_HOME/bin:$PATH

修改完畢后，執(zhí)行 source /etc/profile

(4)安裝后再次執(zhí)行 java –version,可以看見(jiàn)已經(jīng)安裝完成棕孙。

[root@bigdata-senior01 /]#java-versionjavaversion"1.7.0_67"Java(TM)SERuntimeEnvironment(build1.7.0_67-b01)JavaHotSpot(TM) 64-BitServerVM(build24.65-b04,mixedmode)

第二部分：Hadoop本地模式安裝

第四步舔亭、Hadoop部署模式

Hadoop部署模式有：本地模式、偽分布模式蟀俊、完全分布式模式钦铺。

區(qū)分的依據(jù)是NameNode、DataNode肢预、ResourceManager矛洞、NodeManager等模塊運(yùn)行在幾個(gè)JVM進(jìn)程、幾個(gè)機(jī)器烫映。

模式名稱各個(gè)模塊占用的JVM進(jìn)程數(shù)各個(gè)模塊運(yùn)行在幾個(gè)機(jī)器數(shù)上

本地模式1個(gè)1個(gè)

偽分布式模式N個(gè)1個(gè)

完全分布式模式N個(gè)N個(gè)

第五步沼本、本地模式部署

十、本地模式介紹

本地模式是最簡(jiǎn)單的模式锭沟，所有模塊都運(yùn)行與一個(gè)JVM進(jìn)程中擅威，使用的本地文件系統(tǒng)，而不是HDFS冈钦，本地模式主要是用于本地開(kāi)發(fā)過(guò)程中的運(yùn)行調(diào)試用郊丛。下載hadoop安裝包后不用任何設(shè)置李请，默認(rèn)的就是本地模式。

十一厉熟、解壓hadoop后就是直接可以使用

1导盅、 創(chuàng)建一個(gè)存放本地模式hadoop的目錄

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone

2、 解壓hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz? -C /opt/modules/hadoopstandalone/

3揍瑟、 確保JAVA_HOME環(huán)境變量已經(jīng)配置好

[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.7.0_67

十二白翻、運(yùn)行MapReduce程序，驗(yàn)證

我們這里用hadoop自帶的wordcount例子來(lái)在本地模式下測(cè)試跑mapreduce绢片。

1滤馍、 準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input

hadoop mapreduce hive

hbase spark storm

sqoop hadoop hive

spark hadoop

2、 運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

9

這里可以看到j(luò)ob ID中有l(wèi)ocal字樣底循，說(shuō)明是運(yùn)行在本地模式下的巢株。

3、 查看輸出文件

本地模式下熙涤，mapreduce的輸出是輸出到本地阁苞。

[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2total4-rw-r--r--1hadoop hadoop60Jul712:50part-r-00000-rw-r--r--1hadoop hadoop0Jul712:50_SUCCESS

輸出目錄中有_SUCCESS文件說(shuō)明JOB運(yùn)行成功，part-r-00000是輸出結(jié)果文件祠挫。

第三部分：Hadoop偽分布式模式安裝

第六步那槽、偽分布式Hadoop部署過(guò)程

十三、Hadoop所用的用戶設(shè)置

1等舔、 創(chuàng)建一個(gè)名字為hadoop的普通用戶

[root@bigdata-senior01 ~]# useradd hadoop[root@bigdata-senior01 ~]# passwd hadoop

2骚灸、 給hadoop用戶sudo權(quán)限

[root@bigdata-senior01 ~]# vim /etc/sudoers

設(shè)置權(quán)限，學(xué)習(xí)環(huán)境可以將hadoop用戶的權(quán)限設(shè)置的大一些慌植，但是生產(chǎn)環(huán)境一定要注意普通用戶的權(quán)限限制甚牲。

root? ? ALL=(ALL)? ? ? ALL

hadoop ALL=(root) NOPASSWD:ALL

注意：如果root用戶無(wú)權(quán)修改sudoers文件，先手動(dòng)為root用戶添加寫(xiě)權(quán)限涤浇。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers

3、 切換到hadoop用戶

[root@bigdata-senior01 ~]# su - hadoop[hadoop@bigdata-senior01 ~]$

4魔慷、 創(chuàng)建存放hadoop文件的目錄

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules

5只锭、 將hadoop文件夾的所有者指定為hadoop用戶

如果存放hadoop的目錄的所有者不是hadoop，之后hadoop運(yùn)行中可能會(huì)有權(quán)限問(wèn)題院尔，那么就講所有者改為hadoop蜻展。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules

十四、解壓Hadoop目錄文件

1邀摆、 復(fù)制hadoop-2.5.0.tar.gz到/opt/modules目錄下纵顾。

2、 解壓hadoop-2.5.0.tar.gz

[hadoop@bigdata-senior01 ~]# cd /opt/modules[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz

十五栋盹、配置Hadoop

1施逾、 配置Hadoop環(huán)境變量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile

追加配置：

exportHADOOP_HOME="/opt/modules/hadoop-2.5.0"exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

執(zhí)行：source /etc/profile 使得配置生效

驗(yàn)證HADOOP_HOME參數(shù)：

[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME/opt/modules/hadoop-2.5.0

2、 配置 hadoop-env.sh、mapred-env.sh汉额、yarn-env.sh文件的JAVA_HOME參數(shù)

[hadoop@bigdata-senior01 ~]$ sudo vim? ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

修改JAVA_HOME參數(shù)為：exportJAVA_HOME="/opt/modules/jdk1.7.0_67"

3愕秫、 配置core-site.xml

10

配置hostname糕韧，host，關(guān)閉防火墻的方法參見(jiàn)第一部分

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

（1） fs.defaultFS參數(shù)配置的是HDFS的地址。

fs.defaultFShdfs://bigdata-senior01.chybinmy.com:8020

（2）hadoop.tmp.dir配置的是Hadoop臨時(shí)目錄茉稠，比如HDFS的NameNode數(shù)據(jù)默認(rèn)都存放這個(gè)目錄下，查看*-default.xml等默認(rèn)配置文件何陆，就可以看到很多依賴${hadoop.tmp.dir}的配置率触。

默認(rèn)的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時(shí)有個(gè)問(wèn)題就是NameNode會(huì)將HDFS的元數(shù)據(jù)存儲(chǔ)在這個(gè)/tmp目錄下，如果操作系統(tǒng)重啟了虫埂，系統(tǒng)會(huì)清空/tmp目錄下的東西祥山，導(dǎo)致NameNode元數(shù)據(jù)丟失，是個(gè)非常嚴(yán)重的問(wèn)題告丢，所有我們應(yīng)該修改這個(gè)路徑枪蘑。

創(chuàng)建臨時(shí)目錄：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp

將臨時(shí)目錄的所有者修改為hadoop

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –Rhadoop:hadoop /opt/data/tmp

修改hadoop.tmp.dir

hadoop.tmp.dir/opt/data/tmp

十六、配置岖免、格式化岳颇、啟動(dòng)HDFS

1、 配置hdfs-site.xml

11

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

dfs.replication1

dfs.replication配置的是HDFS存儲(chǔ)時(shí)的備份數(shù)量颅湘，因?yàn)檫@里是偽分布式環(huán)境只有一個(gè)節(jié)點(diǎn)话侧，所以這里設(shè)置為1。

2闯参、 格式化HDFS

12

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format

格式化是對(duì)HDFS這個(gè)分布式文件系統(tǒng)中的DataNode進(jìn)行分塊瞻鹏，統(tǒng)計(jì)所有分塊后的初始元數(shù)據(jù)的存儲(chǔ)在NameNode中。

格式化后鹿寨，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data/tmp目錄）指定的目錄下是否有了dfs目錄新博，如果有，說(shuō)明格式化成功脚草。

注意：

格式化時(shí)赫悄，這里注意hadoop.tmp.dir目錄的權(quán)限問(wèn)題，應(yīng)該hadoop普通用戶有讀寫(xiě)權(quán)限才行馏慨，可以將/opt/data的所有者改為hadoop埂淮。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data

查看NameNode格式化后的目錄。

? [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current

13

fsimage是NameNode元數(shù)據(jù)在內(nèi)存滿了后写隶，持久化保存到的文件倔撞。

fsimage*.md5是校驗(yàn)文件，用于校驗(yàn)fsimage的完整性慕趴。

seen_txid是hadoop的版本

vession文件里保存：

namespaceID：NameNode的唯一ID痪蝇。

clusterID:集群ID鄙陡，NameNode和DataNode的集群ID應(yīng)該一致，表明是一個(gè)集群霹俺。

#Mon Jul 04 17:25:50 CST 2016namespaceID=2101579007clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4cTime=0storageType=NAME_NODEblockpoolID=BP-1641019026-127.0.0.1-1467624350057layoutVersion=-57

3柔吼、 啟動(dòng)NameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenodestarting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

14

4、 啟動(dòng)DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanodestarting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

15

5丙唧、 啟動(dòng)SecondaryNameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenodestarting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

16

6愈魏、 JPS命令查看是否已經(jīng)啟動(dòng)成功，有結(jié)果就是啟動(dòng)成功了想际。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps3034NameNode3233Jps3193SecondaryNameNode3110DataNode

17

7培漏、 HDFS上測(cè)試創(chuàng)建目錄、上傳胡本、下載文件

HDFS上創(chuàng)建目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上傳本地文件到HDFS上

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

讀取HDFS上的文件內(nèi)容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

18

從HDFS上下載文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

19

十七牌柄、配置、啟動(dòng)YARN

1侧甫、 配置mapred-site.xml

默認(rèn)沒(méi)有mapred-site.xml文件珊佣，但是有個(gè)mapred-site.xml.template配置模板文件。復(fù)制模板生成mapred-site.xml披粟。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

添加配置如下：

mapreduce.framework.nameyarn

指定mapreduce運(yùn)行在yarn框架上咒锻。

20

2、 配置yarn-site.xml

添加配置如下：

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamebigdata-senior01.chybinmy.com

yarn.nodemanager.aux-services配置了yarn的默認(rèn)混洗方式守屉，選擇為mapreduce的默認(rèn)混洗算法惑艇。

yarn.resourcemanager.hostname指定了Resourcemanager運(yùn)行在哪個(gè)節(jié)點(diǎn)上。

21

3拇泛、 啟動(dòng)Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

22

4滨巴、 啟動(dòng)nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

23

5、 查看是否啟動(dòng)成功

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps3034NameNode4439NodeManager4197ResourceManager4543Jps3193SecondaryNameNode3110DataNode

可以看到ResourceManager俺叭、NodeManager已經(jīng)啟動(dòng)成功了恭取。

24

6、 YARN的Web頁(yè)面

YARN的Web客戶端端口號(hào)是8088熄守，通過(guò)http://192.168.100.10:8088/可以查看蜈垮。

25

十八、運(yùn)行MapReduce Job

在Hadoop的share目錄里柠横，自帶了一些jar包窃款，里面帶有一些mapreduce實(shí)例小例子课兄，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar牍氛，可以運(yùn)行這些例子體驗(yàn)剛搭建好的Hadoop平臺(tái)，我們這里來(lái)運(yùn)行最經(jīng)典的WordCount實(shí)例烟阐。

1搬俊、 創(chuàng)建測(cè)試用的Input文件

創(chuàng)建輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input

創(chuàng)建原始文件:

在本地/opt/data目錄創(chuàng)建一個(gè)文件wc.input,內(nèi)容如下紊扬。

26

將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

27

2、 運(yùn)行WordCount MapReduce Job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

28

3唉擂、 查看輸出結(jié)果目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output-rw-r--r--1hadoop supergroup02016-07-0505:12/wordcountdemo/output/_SUCCESS-rw-r--r--1hadoop supergroup602016-07-0505:12/wordcountdemo/output/part-r-00000

29

output目錄中有兩個(gè)文件餐屎，_SUCCESS文件是空文件，有這個(gè)文件說(shuō)明Job執(zhí)行成功玩祟。

part-r-00000文件是結(jié)果文件腹缩，其中-r-說(shuō)明這個(gè)文件是Reduce階段產(chǎn)生的結(jié)果，mapreduce程序執(zhí)行時(shí)空扎，可以沒(méi)有reduce階段藏鹊，但是肯定會(huì)有map階段，如果沒(méi)有reduce階段這個(gè)地方有是-m-转锈。

一個(gè)reduce會(huì)產(chǎn)生一個(gè)part-r-開(kāi)頭的文件盘寡。

查看輸出文件內(nèi)容。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000hadoop3hbase1hive2mapreduce1spark2sqoop1storm1

結(jié)果是按照鍵值排好序的撮慨。

十九竿痰、停止Hadoop

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenodestopping namenode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanodestopping datanode[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanagerstopping resourcemanager[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanagerstopping nodemanager

30

二十、 Hadoop各個(gè)功能模塊的理解

1砌溺、 HDFS模塊

HDFS負(fù)責(zé)大數(shù)據(jù)的存儲(chǔ)影涉，通過(guò)將大文件分塊后進(jìn)行分布式存儲(chǔ)方式，突破了服務(wù)器硬盤(pán)大小的限制抚吠，解決了單臺(tái)機(jī)器無(wú)法存儲(chǔ)大文件的問(wèn)題常潮，HDFS是個(gè)相對(duì)獨(dú)立的模塊，可以為YARN提供服務(wù)楷力，也可以為HBase等其他模塊提供服務(wù)喊式。

2、 YARN模塊

YARN是一個(gè)通用的資源協(xié)同和任務(wù)調(diào)度框架萧朝，是為了解決Hadoop1.x中MapReduce里NameNode負(fù)載太大和其他問(wèn)題而創(chuàng)建的一個(gè)框架岔留。

YARN是個(gè)通用框架，不止可以運(yùn)行MapReduce检柬，還可以運(yùn)行Spark献联、Storm等其他計(jì)算框架。

3何址、 MapReduce模塊

MapReduce是一個(gè)計(jì)算框架里逆，它給出了一種數(shù)據(jù)處理的方式，即通過(guò)Map階段用爪、Reduce階段來(lái)分布式地流式處理數(shù)據(jù)原押。它只適用于大數(shù)據(jù)的離線處理，對(duì)實(shí)時(shí)性要求很高的應(yīng)用不適用偎血。

第七步诸衔、開(kāi)啟歷史服務(wù)

二十一盯漂、歷史服務(wù)介紹

Hadoop開(kāi)啟歷史服務(wù)可以在web頁(yè)面上查看Yarn上執(zhí)行job情況的詳細(xì)信息”颗可以通過(guò)歷史服務(wù)器查看已經(jīng)運(yùn)行完的Mapreduce作業(yè)記錄就缆，比如用了多少個(gè)Map、用了多少個(gè)Reduce谒亦、作業(yè)提交時(shí)間竭宰、作業(yè)啟動(dòng)時(shí)間、作業(yè)完成時(shí)間等信息份招。

二十二羞延、開(kāi)啟歷史服務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、

開(kāi)啟后脾还，可以通過(guò)Web頁(yè)面查看歷史服務(wù)器：

http://bigdata-senior01.chybinmy.com:19888/

二十三伴箩、Web查看job執(zhí)行歷史

1、 運(yùn)行一個(gè)mapreduce任務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1

2鄙漏、 job執(zhí)行中

31

3嗤谚、 查看job歷史

32

33

歷史服務(wù)器的Web端口默認(rèn)是19888，可以查看Web界面怔蚌。

但是在上面所顯示的某一個(gè)Job任務(wù)頁(yè)面的最下面巩步，Map和Reduce個(gè)數(shù)的鏈接上，點(diǎn)擊進(jìn)入Map的詳細(xì)信息頁(yè)面桦踊，再查看某一個(gè)Map或者Reduce的詳細(xì)日志是看不到的椅野，是因?yàn)闆](méi)有開(kāi)啟日志聚集服務(wù)。

二十四籍胯、開(kāi)啟日志聚集

4竟闪、 日志聚集介紹

MapReduce是在各個(gè)機(jī)器上運(yùn)行的，在運(yùn)行過(guò)程中產(chǎn)生的日志存在于各個(gè)機(jī)器上杖狼，為了能夠統(tǒng)一查看各個(gè)機(jī)器的運(yùn)行日志炼蛤，將日志集中存放在HDFS上，這個(gè)過(guò)程就是日志聚集蝶涩。

5理朋、 開(kāi)啟日志聚集

配置日志聚集功能：

Hadoop默認(rèn)是不啟用日志聚集的。在yarn-site.xml文件里配置啟用日志聚集绿聘。

yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds106800

yarn.log-aggregation-enable:是否啟用日志聚集功能嗽上。

yarn.log-aggregation.retain-seconds：設(shè)置日志保留時(shí)間，單位是秒熄攘。

將配置文件分發(fā)到其他節(jié)點(diǎn)：

[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

重啟Yarn進(jìn)程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh

重啟HistoryServer進(jìn)程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

6兽愤、 測(cè)試日志聚集

運(yùn)行一個(gè)demo MapReduce，使之產(chǎn)生日志：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1

查看日志：

運(yùn)行Job后，就可以在歷史服務(wù)器Web頁(yè)面查看各個(gè)Map和Reduce的日志了烹看。

第四部分：完全分布式安裝

第八步、完全布式環(huán)境部署Hadoop

完全分部式是真正利用多臺(tái)Linux主機(jī)來(lái)進(jìn)行部署Hadoop洛史，對(duì)Linux機(jī)器集群進(jìn)行規(guī)劃惯殊，使得Hadoop各個(gè)模塊分別部署在不同的多臺(tái)機(jī)器上。

二十五也殖、環(huán)境準(zhǔn)備

1土思、 克隆虛擬機(jī)

Vmware左側(cè)選中要克隆的機(jī)器，這里對(duì)原有的BigData01機(jī)器進(jìn)行克隆忆嗜，虛擬機(jī)菜單中己儒，選中管理菜單下的克隆命令。

選擇“創(chuàng)建完整克隆”捆毫，虛擬機(jī)名稱為BigData02闪湾，選擇虛擬機(jī)文件保存路徑，進(jìn)行克隆绩卤。

再次克隆一個(gè)名為BigData03的虛擬機(jī)途样。

2、 配置網(wǎng)絡(luò)

修改網(wǎng)卡名稱：

在BigData02和BigData03機(jī)器上編輯網(wǎng)卡信息濒憋。執(zhí)行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令何暇。因?yàn)槭菑腂igData01機(jī)器克隆來(lái)的，所以會(huì)保留BigData01的網(wǎng)卡eth0凛驮，并且再添加一個(gè)網(wǎng)卡eth1裆站。并且eth0的Mac地址和BigData01的地址是一樣的，Mac地址不允許相同黔夭，所以要?jiǎng)h除eth0宏胯，只保留eth1網(wǎng)卡，并且要將eth1改名為eth0本姥。將修改后的eth0的mac地址復(fù)制下來(lái)胳嘲，修改network-scripts文件中的HWADDR屬性。

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

34

修改網(wǎng)絡(luò)參數(shù)：

BigData02機(jī)器IP改為192.168.100.12

BigData03機(jī)器IP改為192.168.100.13

3扣草、 配置Hostname

BigData02配置hostname為 bigdata-senior02.chybinmy.com

BigData03配置hostname為 bigdata-senior03.chybinmy.com

4了牛、 配置hosts

BigData01、BigData02辰妙、BigData03三臺(tái)機(jī)器hosts都配置為：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts192.168.100.10bigdata-senior01.chybinmy.com192.168.100.12bigdata-senior02.chybinmy.com192.168.100.13bigdata-senior03.chybinmy.com

5鹰祸、 配置Windows上的SSH客戶端

在本地Windows中的SSH客戶端上添加對(duì)BigData02、BigData03機(jī)器的SSH鏈接密浑。

二十六蛙婴、服務(wù)器功能規(guī)劃

bigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com

NameNodeResourceManage

DataNodeDataNodeDataNode

NodeManagerNodeManagerNodeManager

HistoryServerSecondaryNameNode

二十七、在第一臺(tái)機(jī)器上安裝新的Hadoop

為了和之前BigData01機(jī)器上安裝偽分布式Hadoop區(qū)分開(kāi)來(lái)尔破，我們將BigData01上的Hadoop服務(wù)都停止掉街图，然后在一個(gè)新的目錄/opt/modules/app下安裝另外一個(gè)Hadoop浇衬。

我們采用先在第一臺(tái)機(jī)器上解壓、配置Hadoop餐济，然后再分發(fā)到其他兩臺(tái)機(jī)器上的方式來(lái)安裝集群耘擂。

6、 解壓Hadoop目錄：

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/

7絮姆、 配置Hadoop JDK路徑修改hadoop-env.sh醉冤、mapred-env.sh、yarn-env.sh文件中的JDK路徑：

exportJAVA_HOME="/opt/modules/jdk1.7.0_67"

8篙悯、 配置core-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

fs.defaultFShdfs://bigdata-senior01.chybinmy.com:8020hadoop.tmp.dir/opt/modules/app/hadoop-2.5.0/data/tmp

fs.defaultFS為NameNode的地址蚁阳。

hadoop.tmp.dir為hadoop臨時(shí)目錄的地址，默認(rèn)情況下鸽照，NameNode和DataNode的數(shù)據(jù)文件都會(huì)存在這個(gè)目錄下的對(duì)應(yīng)子目錄下螺捐。應(yīng)該保證此目錄是存在的，如果不存在矮燎，先創(chuàng)建归粉。

9、 配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-addressbigdata-senior03.chybinmy.com:50090

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問(wèn)地址和端口號(hào)漏峰，因?yàn)樵谝?guī)劃中糠悼，我們將BigData03規(guī)劃為SecondaryNameNode服務(wù)器。

所以這里設(shè)置為：bigdata-senior03.chybinmy.com:50090

10浅乔、 配置slaves

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slavesbigdata-senior01.chybinmy.combigdata-senior02.chybinmy.combigdata-senior03.chybinmy.com

slaves文件是指定HDFS上有哪些DataNode節(jié)點(diǎn)倔喂。

11、 配置yarn-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamebigdata-senior02.chybinmy.comyarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds106800

根據(jù)規(guī)劃yarn.resourcemanager.hostname這個(gè)指定resourcemanager服務(wù)器指向bigdata-senior02.chybinmy.com靖苇。

yarn.log-aggregation-enable是配置是否啟用日志聚集功能席噩。

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長(zhǎng)時(shí)間。

12贤壁、 配置mapred-site.xml

從mapred-site.xml.template復(fù)制一個(gè)mapred-site.xml文件悼枢。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

mapreduce.framework.nameyarnmapreduce.jobhistory.addressbigdata-senior01.chybinmy.com:10020mapreduce.jobhistory.webapp.addressbigdata-senior01.chybinmy.com:19888

mapreduce.framework.name設(shè)置mapreduce任務(wù)運(yùn)行在yarn上。

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在BigData01機(jī)器上脾拆。

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁(yè)面地址和端口號(hào)馒索。

二十八、設(shè)置SSH無(wú)密碼登錄

Hadoop集群中的各個(gè)機(jī)器間會(huì)相互地通過(guò)SSH訪問(wèn)名船，每次訪問(wèn)都輸入密碼是不現(xiàn)實(shí)的绰上，所以要配置各個(gè)機(jī)器間的

SSH是無(wú)密碼登錄的。

1渠驼、 在BigData01上生成公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa

一路回車蜈块，都設(shè)置為默認(rèn)值，然后再當(dāng)前用戶的Home目錄下的.ssh目錄中會(huì)生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）。

2百揭、 分發(fā)公鑰

yum -y install openssh-server openssh-clients

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-idbigdata-senior01.chybinmy.com[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-idbigdata-senior02.chybinmy.com[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-idbigdata-senior03.chybinmy.com

3爽哎、 設(shè)置BigData02、BigData03到其他機(jī)器的無(wú)密鑰登錄

同樣的在BigData02器一、BigData03上生成公鑰和私鑰后课锌，將公鑰分發(fā)到三臺(tái)機(jī)器上。

二十九盹舞、分發(fā)Hadoop文件

1、 首先在其他兩臺(tái)機(jī)器上創(chuàng)建存放Hadoop的目錄

[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app

[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app

2隘庄、 通過(guò)Scp分發(fā)

Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔踢步，文件相當(dāng)大，建議在分發(fā)之前將這個(gè)目錄刪除掉丑掺，可以節(jié)省硬盤(pán)空間并能提高分發(fā)的速度获印。

doc目錄大小有1.6G。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc1.6G? ? /opt/modules/app/hadoop-2.5.0/share/doc[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app

三十街州、格式NameNode

在NameNode機(jī)器上執(zhí)行格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format

注意：

如果需要重新格式化NameNode,需要先將原來(lái)NameNode和DataNode下的文件全部刪除兼丰，不然會(huì)報(bào)錯(cuò)，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir唆缴、dfs.namenode.name.dir鳍征、dfs.datanode.data.dir屬性配置的。

hadoop.tmp.dir/opt/data/tmpdfs.namenode.name.dirfile://${hadoop.tmp.dir}/dfs/namedfs.datanode.data.dirfile://${hadoop.tmp.dir}/dfs/data

因?yàn)槊看胃袷交婊眨J(rèn)是創(chuàng)建一個(gè)集群ID艳丛，并寫(xiě)入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current），重新格式化時(shí)趟紊，默認(rèn)會(huì)生成一個(gè)新的集群ID,如果不刪除原來(lái)的目錄氮双，會(huì)導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID，不一致時(shí)會(huì)報(bào)錯(cuò)霎匈。

另一種方法是格式化時(shí)指定集群ID參數(shù)戴差，指定為舊的集群ID。

三十一铛嘱、啟動(dòng)集群

1暖释、 啟動(dòng)HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh

35

2、 啟動(dòng)YARN

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh

在BigData02上啟動(dòng)ResourceManager:

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager

36

3墨吓、 啟動(dòng)日志服務(wù)器

因?yàn)槲覀円?guī)劃的是在BigData03服務(wù)器上運(yùn)行MapReduce日志服務(wù)饭入，所以要在BigData03上啟動(dòng)。

[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserverstarting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda? ? ? ta-senior03.chybinmy.com.out

[hadoop@bigdata-senior03 ~]$ jps3570Jps3537JobHistoryServer3310SecondaryNameNode3213DataNode3392NodeManager

4肛真、 查看HDFS Web頁(yè)面

http://bigdata-senior01.chybinmy.com:50070/

5谐丢、 查看YARN Web 頁(yè)面

http://bigdata-senior02.chybinmy.com:8088/cluster

三十二、測(cè)試Job

我們這里用hadoop自帶的wordcount例子來(lái)在本地模式下測(cè)試跑mapreduce。

1乾忱、 準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input

hadoop mapreduce hive

hbase spark storm

sqoop hadoop hive

spark hadoop

2讥珍、 在HDFS創(chuàng)建輸入目錄input

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input

3、 將wc.input上傳到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

4窄瘟、 運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

37

5衷佃、 查看輸出文件

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /outputFound2items-rw-r--r--3hadoop supergroup02016-07-1416:36/output/_SUCCESS-rw-r--r--3hadoop supergroup602016-07-1416:36/output/part-r-00000