大數(shù)據(jù)集群搭建

第一部分：Linux環(huán)境安裝
Hadoop是運(yùn)行在Linux，雖然借助工具也可以運(yùn)行在Windows上忿等，但是建議還是運(yùn)行在Linux系統(tǒng)上栖忠，第一部分介紹Linux環(huán)境的安裝、配置贸街、Java JDK安裝等庵寞。
第二部分：Hadoop本地模式安裝
Hadoop本地模式只是用于本地開發(fā)調(diào)試，或者快速安裝體驗Hadoop薛匪，這部分做簡單的介紹捐川。
第三部分：Hadoop偽分布式模式安裝
學(xué)習(xí)Hadoop一般是在偽分布式模式下進(jìn)行。這種模式是在一臺機(jī)器上各個進(jìn)程上運(yùn)行Hadoop的各個模塊逸尖，偽分布式的意思是雖然各個模塊是在各個進(jìn)程上分開運(yùn)行的古沥，但是只是運(yùn)行在一個操作系統(tǒng)上的，并不是真正的分布式娇跟。
第四部分：完全分布式安裝
完全分布式模式才是生產(chǎn)環(huán)境采用的模式岩齿，Hadoop運(yùn)行在服務(wù)器集群上，生產(chǎn)環(huán)境一般都會做HA苞俘，以實現(xiàn)高可用盹沈。
第一步、配置Vmware NAT網(wǎng)絡(luò)
參考：http://blog.csdn.net/collection4u/article/details/14127671

第二步、安裝Linux操作系統(tǒng)
三、Vmware上安裝Linux系統(tǒng)

1鳖孤、文件菜單選擇新建虛擬機(jī)

2、選擇經(jīng)典類型安裝肃晚，下一步。

3仔戈、選擇稍后安裝操作系統(tǒng)陷揪，下一步惋鸥。

4、選擇Linux系統(tǒng)悍缠，版本選擇CentOS 64位卦绣。

image

5、命名虛擬機(jī)飞蚓，給虛擬機(jī)起個名字滤港，將來顯示在Vmware左側(cè)。并選擇Linux系統(tǒng)保存在宿主機(jī)的哪個目錄下趴拧，應(yīng)該一個虛擬機(jī)保存在一個目錄下溅漾，不能多個虛擬機(jī)使用一個目錄。

image

6著榴、指定磁盤容量添履，是指定分給Linux虛擬機(jī)多大的硬盤，默認(rèn)20G就可以脑又，下一步暮胧。
7、點擊自定義硬件问麸，可以查看往衷、修改虛擬機(jī)的硬件配置，這里我們不做修改严卖。

8席舍、點擊完成后，就創(chuàng)建了一個虛擬機(jī)哮笆，但是此時的虛擬機(jī)還是一個空殼来颤，沒有操作系統(tǒng)，接下來安裝操作系統(tǒng)稠肘。
9福铅、點擊編輯虛擬機(jī)設(shè)置，找到DVD启具，指定操作系統(tǒng)ISO文件所在位置本讥。

image

10珊泳、點擊開啟此虛擬機(jī)鲁冯，選擇第一個回車開始安裝操作系統(tǒng)。

image

11.設(shè)置root密碼

image

12色查、選擇Desktop薯演，這樣就會裝一個Xwindow。

image

13秧了、先不添加普通用戶跨扮，其他用默認(rèn)的，就把Linux安裝完畢了。
四衡创、設(shè)置網(wǎng)絡(luò)

因為Vmware的NAT設(shè)置中關(guān)閉了DHCP自動分配IP功能帝嗡，所以Linux還沒有IP，需要我們設(shè)置網(wǎng)絡(luò)各個參數(shù)璃氢。

1哟玷、用root進(jìn)入Xwindow，右擊右上角的網(wǎng)絡(luò)連接圖標(biāo)一也，選擇修改連接巢寡。

image

2、網(wǎng)絡(luò)連接里列出了當(dāng)前Linux里所有的網(wǎng)卡椰苟，這里只有一個網(wǎng)卡System eth0抑月，點擊編輯。

image

3舆蝴、配置IP谦絮、子網(wǎng)掩碼、網(wǎng)關(guān)（和NAT設(shè)置的一樣）须误、DNS等參數(shù)挨稿，因為NAT里設(shè)置網(wǎng)段為100.*，所以這臺機(jī)器可以設(shè)置為192.168.100.10網(wǎng)關(guān)和NAT一致京痢，為192.168.100.2

image

4奶甘、用ping來檢查是否可以連接外網(wǎng)，如下圖祭椰，已經(jīng)連接成功臭家。

image

五、修改Hostname
1方淤、永久修改hostname
命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network
打開文件后钉赁，

NETWORKING=yes  #使用網(wǎng)絡(luò)
HOSTNAME=bigdata-senior01.chybinmy.com  #設(shè)置主機(jī)名

六、配置Host

命令：[root@bigdata-senior01 ~] vim /etc/hosts
添加hosts: 192.168.100.10 bigdata-senior01.chybinmy.com

七携茂、關(guān)閉防火墻

學(xué)習(xí)環(huán)境可以直接把防火墻關(guān)閉掉你踩。
(1) 用root用戶登錄后，執(zhí)行查看防火墻狀態(tài)讳苦。

[root@bigdata-senior01 hadoop]# service iptables status

(2) 用[root@bigdata-senior01 hadoop]# service iptables stop關(guān)閉防火墻带膜，這個是臨時關(guān)閉防火墻。

[root@bigdata-senior01 hadoop-2.5.0]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]

(3) 如果要永久關(guān)閉防火墻用鸳谜。

[root@bigdata-senior01 hadoop]# chkconfig iptables off

關(guān)閉膝藕，這種需要重啟才能生效。
第三步咐扭、安裝JDK
1芭挽、查看是否已經(jīng)安裝了java JDK滑废。

[root@bigdata-senior01 Desktop]# java –version

注意：Hadoop機(jī)器上的JDK，最好是Oracle的Java JDK袜爪，不然會有一些問題蠕趁，比如可能沒有JPS命令。
如果安裝了其他版本的JDK辛馆，卸載掉妻导。
2、安裝java JDK
(1) 去下載Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz
(2) 將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

(3) 添加環(huán)境變量
設(shè)置JDK的環(huán)境變量 JAVA_HOME怀各。需要修改配置文件/etc/profile倔韭，追加

export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH

修改完畢后，執(zhí)行 source /etc/profile
(4)安裝后再次執(zhí)行 java –version,可以看見已經(jīng)安裝完成瓢对。

[root@bigdata-senior01 /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

第二部分：Hadoop本地模式安裝
第四步寿酌、Hadoop部署模式
Hadoop部署模式有：本地模式、偽分布模式硕蛹、完全分布式模式醇疼。
區(qū)分的依據(jù)是NameNode、DataNode法焰、ResourceManager秧荆、NodeManager等模塊運(yùn)行在幾個JVM進(jìn)程、幾個機(jī)器埃仪。

第五步乙濒、本地模式部署
十、本地模式介紹

本地模式是最簡單的模式卵蛉，所有模塊都運(yùn)行與一個JVM進(jìn)程中颁股，使用的本地文件系統(tǒng)，而不是HDFS傻丝，本地模式主要是用于本地開發(fā)過程中的運(yùn)行調(diào)試用甘有。下載hadoop安裝包后不用任何設(shè)置，默認(rèn)的就是本地模式葡缰。

十一亏掀、解壓hadoop后就是直接可以使用
1、創(chuàng)建一個存放本地模式hadoop的目錄

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone

2泛释、解壓hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/

3滤愕、確保JAVA_HOME環(huán)境變量已經(jīng)配置好

[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.7.0_67

十二、運(yùn)行MapReduce程序胁澳，驗證

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce该互。
1米者、準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2韭畸、運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

當(dāng)在輸出的看見job ID中有l(wèi)ocal字樣宇智，說明是運(yùn)行在本地模式下的。
3胰丁、查看輸出文件
本地模式下随橘，mapreduce的輸出是輸出到本地。

[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS

輸出目錄中有_SUCCESS文件說明JOB運(yùn)行成功锦庸，part-r-00000是輸出結(jié)果文件机蔗。
第三部分：Hadoop偽分布式模式安裝
第六步、偽分布式Hadoop部署過程

十五甘萧、配置Hadoop
1萝嘁、配置Hadoop環(huán)境變量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile

追加配置：

export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

執(zhí)行：source /etc/profile 使得配置生效
驗證HADOOP_HOME參數(shù)：

[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
/opt/modules/hadoop-2.5.0

2、配置 hadoop-env.sh扬卷、mapred-env.sh牙言、yarn-env.sh文件的JAVA_HOME參數(shù)

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

修改JAVA_HOME參數(shù)為：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

3、配置core-site.xml

image

配置hostname怪得，host咱枉，關(guān)閉防火墻的方法參見第一部分

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

創(chuàng)建臨時目錄：

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp

將臨時目錄的所有者修改為hadoop

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp

修改hadoop.tmp.dir

 <property>
   <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>

十六、配置徒恋、格式化蚕断、啟動HDFS

1、配置hdfs-site.xml

image

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

 <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

dfs.replication配置的是HDFS存儲時的備份數(shù)量入挣，因為這里是偽分布式環(huán)境只有一個節(jié)點亿乳，所以這里設(shè)置為1。
2径筏、格式化HDFS

image

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format

格式化是對HDFS這個分布式文件系統(tǒng)中的DataNode進(jìn)行分塊风皿，統(tǒng)計所有分塊后的初始元數(shù)據(jù)的存儲在NameNode中。
格式化后匠璧，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data/tmp目錄）指定的目錄下是否有了dfs目錄桐款，如果有，說明格式化成功夷恍。
注意：

1.格式化時魔眨，這里注意hadoop.tmp.dir目錄的權(quán)限問題，應(yīng)該hadoop普通用戶有讀寫權(quán)限才行酿雪，可以將/opt/data的所有者改為hadoop遏暴。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
2.查看NameNode格式化后的目錄。

 [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current

3指黎、啟動NameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

image

4朋凉、啟動DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

image

5、啟動SecondaryNameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

image

6醋安、 JPS命令查看是否已經(jīng)啟動成功杂彭，有結(jié)果就是啟動成功了墓毒。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode

7、 HDFS上測試創(chuàng)建目錄亲怠、上傳所计、下載文件

HDFS上創(chuàng)建目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上傳本地文件到HDFS上

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

讀取HDFS上的文件內(nèi)容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

image

從HDFS上下載文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

image

十七、配置团秽、啟動YARN

1主胧、配置mapred-site.xml

默認(rèn)沒有mapred-site.xml文件，但是有個mapred-site.xml.template配置模板文件习勤。復(fù)制模板生成mapred-site.xml踪栋。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

添加配置如下：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

指定mapreduce運(yùn)行在yarn框架上。

image

2图毕、配置yarn-site.xml
添加配置如下：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01(這里為自己的虛擬機(jī)名字)</value>
</property>

yarn.nodemanager.aux-services配置了yarn的默認(rèn)混洗方式己英，選擇為mapreduce的默認(rèn)混洗算法。

yarn.resourcemanager.hostname指定了Resourcemanager運(yùn)行在哪個節(jié)點上吴旋。

image

使用

[root@hadoop01 ~]$ start-dfs.sh

可以啟動HDFS的（namenode datanode secondarynamenode）

啟動YARN
使用

[root@hadoop02]$ start-yarn.sh

可以啟動YARN 的（nodemanager Resourcemanager）
完成后可使用JPS進(jìn)行查看

image

6损肛、 YARN的Web頁面

YARN的Web客戶端端口號是8088，通過http://192.168.100.10:8088/可以查看荣瑟。

image

enter image description here

十八治拿、運(yùn)行MapReduce Job
在Hadoop的share目錄里，自帶了一些jar包笆焰，里面帶有一些mapreduce實例小例子劫谅，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以運(yùn)行這些例子體驗剛搭建好的Hadoop平臺嚷掠，我們這里來運(yùn)行最經(jīng)典的WordCount實例捏检。
1、創(chuàng)建測試用的Input文件
創(chuàng)建輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input

創(chuàng)建原始文件:

在本地/opt/data目錄創(chuàng)建一個文件wc.input,內(nèi)容如下不皆。

image

將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

2贯城、運(yùn)行WordCount MapReduce Job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

3、查看輸出結(jié)果目錄

hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000

output目錄中有兩個文件霹娄，_SUCCESS文件是空文件能犯，有這個文件說明Job執(zhí)行成功。
part-r-00000文件是結(jié)果文件犬耻，其中-r-說明這個文件是Reduce階段產(chǎn)生的結(jié)果踩晶，mapreduce程序執(zhí)行時，可以沒有reduce階段枕磁，但是肯定會有map階段渡蜻，如果沒有reduce階段這個地方有是-m-。
一個reduce會產(chǎn)生一個part-r-開頭的文件。
查看輸出文件內(nèi)容茸苇。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   1

結(jié)果是按照鍵值排好序的排苍。

停止hadoop
停止（namenode datanode secondarynamenode）

stop -dfs.sh

停止YARN（resourcemanager nodemanager）

[root@hadoop02]$ stop-yarn.sh

二十、 Hadoop各個功能模塊的理解
1税弃、 HDFS模塊
HDFS負(fù)責(zé)大數(shù)據(jù)的存儲，通過將大文件分塊后進(jìn)行分布式存儲方式凑队，突破了服務(wù)器硬盤大小的限制则果，解決了單臺機(jī)器無法存儲大文件的問題，HDFS是個相對獨(dú)立的模塊漩氨，可以為YARN提供服務(wù)西壮，也可以為HBase等其他模塊提供服務(wù)。
2叫惊、 YARN模塊
YARN是一個通用的資源協(xié)同和任務(wù)調(diào)度框架款青，是為了解決Hadoop1.x中MapReduce里NameNode負(fù)載太大和其他問題而創(chuàng)建的一個框架。
YARN是個通用框架霍狰，不止可以運(yùn)行MapReduce抡草，還可以運(yùn)行Spark、Storm等其他計算框架蔗坯。
3康震、 MapReduce模塊
MapReduce是一個計算框架，它給出了一種數(shù)據(jù)處理的方式宾濒，即通過Map階段腿短、Reduce階段來分布式地流式處理數(shù)據(jù)。它只適用于大數(shù)據(jù)的離線處理绘梦，對實時性要求很高的應(yīng)用不適用橘忱。

第七步、開啟歷史服務(wù)
二十一卸奉、歷史服務(wù)介紹
Hadoop開啟歷史服務(wù)可以在web頁面上查看Yarn上執(zhí)行job情況的詳細(xì)信息钝诚。可以通過歷史服務(wù)器查看已經(jīng)運(yùn)行完的Mapreduce作業(yè)記錄榄棵，比如用了多少個Map敲长、用了多少個Reduce、作業(yè)提交時間秉继、作業(yè)啟動時間祈噪、作業(yè)完成時間等信息。

二十二尚辑、開啟歷史服務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver辑鲤、

開啟后，可以通過Web頁面查看歷史服務(wù)器：

http://bigdata-senior01.chybinmy.com:19888/

二十三杠茬、Web查看job執(zhí)行歷史
1月褥、運(yùn)行一個mapreduce任務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1

2弛随、 job執(zhí)行中

image

3、查看job歷史

image

歷史服務(wù)器的Web端口默認(rèn)是19888宁赤，可以查看Web界面舀透。

但是在上面所顯示的某一個Job任務(wù)頁面的最下面，Map和Reduce個數(shù)的鏈接上决左，點擊進(jìn)入Map的詳細(xì)信息頁面愕够，再查看某一個Map或者Reduce的詳細(xì)日志是看不到的，是因為沒有開啟日志聚集服務(wù)佛猛。
二十四惑芭、開啟日志聚集
4、日志聚集介紹
MapReduce是在各個機(jī)器上運(yùn)行的继找，在運(yùn)行過程中產(chǎn)生的日志存在于各個機(jī)器上遂跟，為了能夠統(tǒng)一查看各個機(jī)器的運(yùn)行日志，將日志集中存放在HDFS上婴渡，這個過程就是日志聚集幻锁。
5、開啟日志聚集
配置日志聚集功能：
Hadoop默認(rèn)是不啟用日志聚集的边臼。在yarn-site.xml文件里配置啟用日志聚集越败。
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>

yarn.log-aggregation-enable:是否啟用日志聚集功能。
yarn.log-aggregation.retain-seconds：設(shè)置日志保留時間硼瓣，單位是秒究飞。
將配置文件分發(fā)到其他節(jié)點：
[hadoop@bigdata-senior01 hadoop] $scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

重啟Yarn進(jìn)程：
[hadoop@bigdata-senior01 hadoop-2.5.0] $sbin/stop-yarn.sh [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh

重啟HistoryServer進(jìn)程：
[hadoop@bigdata-senior01 hadoop-2.5.0] $sbin/mr-jobhistory-daemon.sh stop historyserver [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

6、測試日志聚集
運(yùn)行一個demo MapReduce堂鲤，使之產(chǎn)生日志：
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1

查看日志：
運(yùn)行Job后亿傅，就可以在歷史服務(wù)器Web頁面查看各個Map和Reduce的日志了。
第四部分：完全分布式安裝
第八步瘟栖、完全布式環(huán)境部署Hadoop
完全分部式是真正利用多臺Linux主機(jī)來進(jìn)行部署Hadoop葵擎，對Linux機(jī)器集群進(jìn)行規(guī)劃，使得Hadoop各個模塊分別部署在不同的多臺機(jī)器上半哟。
二十五酬滤、環(huán)境準(zhǔn)備
1、克隆虛擬機(jī)

Vmware左側(cè)選中要克隆的機(jī)器寓涨，這里對原有的BigData01機(jī)器進(jìn)行克隆盯串，虛擬機(jī)菜單中，選中管理菜單下的克隆命令戒良。
選擇“創(chuàng)建完整克隆”体捏，虛擬機(jī)名稱為BigData02，選擇虛擬機(jī)文件保存路徑，進(jìn)行克隆几缭。
再次克隆一個名為BigData03的虛擬機(jī)河泳。

2、配置hostname

vi /etc/sysconfig/network

將自己的虛擬機(jī)的主機(jī)名添加進(jìn)去
配置hosts

vi /etc/hosts

BigData01年栓、BigData02拆挥、BigData03三臺機(jī)器hosts都配置為：主機(jī)的IP地址加名字

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts
192.168.100.10 bigdata-senior01.chybinmy.com
192.168.100.12 bigdata-senior02.chybinmy.com
192.168.100.13 bigdata-senior03.chybinmy.com

二十七、在第一臺機(jī)器上安裝新的Hadoop

為了和之前BigData01機(jī)器上安裝偽分布式Hadoop區(qū)分開來某抓，我們將BigData01上的Hadoop服務(wù)都停止掉纸兔，然后在一個新的目錄/opt/modules/app下安裝另外一個Hadoop。
我們采用先在第一臺機(jī)器上解壓搪缨、配置Hadoop食拜，然后再分發(fā)到其他兩臺機(jī)器上的方式來安裝集群鸵熟。

6副编、解壓Hadoop目錄：

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/

7、配置Hadoop JDK路徑修改hadoop-env.sh流强、mapred-env.sh痹届、yarn-env.sh文件中的JDK路徑：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

8、配置core-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
 </property>
</configuration>

fs.defaultFS為NameNode的地址打月。

hadoop.tmp.dir為hadoop臨時目錄的地址队腐，默認(rèn)情況下，NameNode和DataNode的數(shù)據(jù)文件都會存在這個目錄下的對應(yīng)子目錄下奏篙。應(yīng)該保證此目錄是存在的柴淘，如果不存在，先創(chuàng)建秘通。

9为严、配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>bigdata-senior03.chybinmy.com:50090</value>
 </property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，因為在規(guī)劃中肺稀，我們將BigData03規(guī)劃為SecondaryNameNode服務(wù)器第股。

所以這里設(shè)置為：bigdata-senior03.chybinmy.com:50090

10、配置slaves

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.chybinmy.com
bigdata-senior02.chybinmy.com
bigdata-senior03.chybinmy.com

slaves文件是指定HDFS上有哪些DataNode節(jié)點话原。

11夕吻、配置yarn-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02.chybinmy.com</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>

根據(jù)規(guī)劃yarn.resourcemanager.hostname這個指定resourcemanager服務(wù)器指向bigdata-senior02.chybinmy.com。

yarn.log-aggregation-enable是配置是否啟用日志聚集功能繁仁。

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長時間涉馅。

12、配置mapred-site.xml

從mapred-site.xml.template復(fù)制一個mapred-site.xml文件黄虱。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-senior01.chybinmy.com:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior01.chybinmy.com:19888</value>
    </property>
</configuration>

mapreduce.framework.name設(shè)置mapreduce任務(wù)運(yùn)行在yarn上控漠。

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在BigData01機(jī)器上。

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁面地址和端口號。

二十八盐捷、設(shè)置SSH無密碼登錄

Hadoop集群中的各個機(jī)器間會相互地通過SSH訪問偶翅，每次訪問都輸入密碼是不現(xiàn)實的，所以要配置各個機(jī)器間的

SSH是無密碼登錄的碉渡。

1聚谁、在BigData01上生成公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa

一路回車，都設(shè)置為默認(rèn)值滞诺，然后再當(dāng)前用戶的Home目錄下的.ssh目錄中會生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）形导。

2、分發(fā)公鑰

yum -y install openssh-server openssh-clients

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com

3习霹、設(shè)置BigData02朵耕、BigData03到其他機(jī)器的無密鑰登錄

同樣的在BigData02、BigData03上生成公鑰和私鑰后淋叶，將公鑰分發(fā)到三臺機(jī)器上阎曹。

二十九、分發(fā)Hadoop文件

1煞檩、首先在其他兩臺機(jī)器上創(chuàng)建存放Hadoop的目錄

[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app

2处嫌、通過Scp分發(fā)

Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔，文件相當(dāng)大斟湃，建議在分發(fā)之前將這個目錄刪除掉熏迹，可以節(jié)省硬盤空間并能提高分發(fā)的速度。

doc目錄大小有1.6G凝赛。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
1.6G    /opt/modules/app/hadoop-2.5.0/share/doc
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app

三十注暗、格式NameNode

在NameNode機(jī)器上執(zhí)行格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format

注意：

如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的文件全部刪除，不然會報錯墓猎，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir捆昏、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的陶衅。

<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/data/tmp</value>
  </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>

因為每次格式化屡立，默認(rèn)是創(chuàng)建一個集群ID，并寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current）搀军，重新格式化時膨俐，默認(rèn)會生成一個新的集群ID,如果不刪除原來的目錄，會導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID罩句，不一致時會報錯焚刺。

另一種方法是格式化時指定集群ID參數(shù)，指定為舊的集群ID门烂。

三十一乳愉、啟動集群

1兄淫、啟動HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh

image

2、啟動YARN

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh

在BigData02上啟動ResourceManager:

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager

image

3蔓姚、啟動日志服務(wù)器

因為我們規(guī)劃的是在BigData03服務(wù)器上運(yùn)行MapReduce日志服務(wù)捕虽，所以要在BigData03上啟動。

[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03.chybinmy.com.out

[hadoop@bigdata-senior03 ~]$ jps
3570 Jps
3537 JobHistoryServer
3310 SecondaryNameNode
3213 DataNode
3392 NodeManager

4坡脐、查看HDFS Web頁面

http://bigdata-senior01.chybinmy.com:50070/

5泄私、查看YARN Web 頁面

http://bigdata-senior02.chybinmy.com:8088/cluster

三十二、測試Job

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce备闲。

1晌端、準(zhǔn)備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2、在HDFS創(chuàng)建輸入目錄input

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input

3恬砂、將wc.input上傳到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

4咧纠、運(yùn)行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

image

5、查看輸出文件

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-00000

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末泻骤，一起剝皮案震驚了整個濱河市漆羔，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌瞪讼，老刑警劉巖钧椰，帶你破解...
沈念sama閱讀 222,590評論 6贊 517
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件粹断，死亡現(xiàn)場離奇詭異符欠，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)瓶埋，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 95,157評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門希柿，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人养筒，你說我怎么就攤上這事曾撤。” “怎么了晕粪？”我有些...
開封第一講書人閱讀 169,301評論 0贊 362
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵挤悉，是天一觀的道長。經(jīng)常有香客問我巫湘，道長装悲，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 60,078評論 1贊 300
?港島之戀（遺憾婚禮）
正文為了忘掉前任尚氛，我火速辦了婚禮诀诊，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘阅嘶。我一直安慰自己属瓣，他們只是感情好载迄，可當(dāng)我...
茶點故事閱讀 69,082評論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著抡蛙，像睡著了一般护昧。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上粗截，一...
開封第一講書人閱讀 52,682評論 1贊 312
城市分裂傳說
那天捏卓，我揣著相機(jī)與錄音，去河邊找鬼慈格。笑死暂刘，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的鳄虱。我是一名探鬼主播烙心，決...
沈念sama閱讀 41,155評論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼选泻！你這毒婦竟也來了冲粤？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 40,098評論 0贊 277
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤页眯，失蹤者是張志新（化名）和其女友劉穎梯捕，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體窝撵，經(jīng)...
沈念sama閱讀 46,638評論 1贊 319
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡傀顾，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 38,701評論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了碌奉。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片短曾。...
茶點故事閱讀 40,852評論 1贊 353
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖赐劣，靈堂內(nèi)的尸體忽然破棺而出嫉拐，到底是詐尸還是另有隱情，我是刑警寧澤魁兼，帶...
沈念sama閱讀 36,520評論 5贊 351
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布婉徘，位于F島的核電站，受9級特大地震影響咐汞，放射性物質(zhì)發(fā)生泄漏盖呼。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 42,181評論 3贊 335
男人毒藥：我在死后第九天來索命
文/蒙蒙一碉考、第九天我趴在偏房一處隱蔽的房頂上張望塌计。院中可真熱鬧，春花似錦侯谁、人聲如沸锌仅。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,674評論 0贊 25
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽热芹。三九已至贱傀，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間伊脓，已是汗流浹背府寒。一陣腳步聲響...
開封第一講書人閱讀 33,788評論 1贊 274
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留报腔，地道東北人株搔。一個月前我還...
沈念sama閱讀 49,279評論 3贊 379
代替公主和親
正文我出身青樓，卻偏偏與公主長得像纯蛾，于是被迫代替她去往敵國和親纤房。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 45,851評論 2贊 361

大數(shù)據(jù)集群搭建

十七、配置团秽、啟動YARN

推薦閱讀更多精彩內(nèi)容