0x00 ? ?準(zhǔn)備工作
hadoop-2.6.0.tar.gz以及zookeeper-3.4.8.tar.gz
Apache網(wǎng)站上提供的Hadoop包是32位的淮菠，關(guān)于如何在64位機(jī)器上如何重新編譯Hadoop，請參考我的上一篇文章：編譯Hadoop2.6.0
說明：Hadoop和Zookeeper的工作目錄分別為：
/opt/hadoop-2.6.0
/opt/zookeeper-3.4.8
下圖是關(guān)于Hadoop HDFS2.x HA整個架構(gòu)的描述：
關(guān)于Hadoop1.x和Hadoop2.x的異同荤堪，這里不再描述合陵，不懂的話請自行Google或參考Apache官方文檔。
0x01 ? ?安裝環(huán)境介紹
我們用5個節(jié)點來完成Hadoop2.6.0的分布式安裝澄阳。如下圖：
我們用1來表示每個節(jié)點所擁有的角色拥知。
NN: NameNode ? ?DN: DataNode ? ?JN: JournalNode ? ?ZK: Zookeeper
ZKFC: DFSZKFailoverController
RM: ResourceManager ? ?NM: NodeManager
0x02 ? ?安裝
--安裝前準(zhǔn)備
[1] 修改主機(jī)的hostname
修改hostname，只修改一處就行碎赢！[/etc/sysconfig/network]
這里糾正一下上一篇文章里提到的修改hostname的問題低剔。如果按照上次修改hostname的方法，到最后運(yùn)行Hadoop的時候揩抡，會遇到各種問題户侥。因此hostname這個地方還是非常重要的！
[2] 修改hosts文件(/etc/hosts)
添加以下記錄：
192.168.187.128? nn.athrob.com
192.168.187.129? snn.athrob.com
192.168.187.130? dn1.athrob.com
192.168.187.131? dn2.athrob.com
192.168.187.132? dn3.athrob.com
[3] JDK環(huán)境變量設(shè)置
這個不多說峦嗤，不會請百度或Google。
--文件配置
關(guān)于一些配置文件內(nèi)容的理解屋摔，可以參考hadoop的user guide烁设。
我們采用在一臺機(jī)器上修改好相應(yīng)的配置文件，然后遠(yuǎn)程拷貝到其他機(jī)器的方法來完成Hadoop2.6.0的完全分布式安裝钓试。
以下所有的配置装黑，均在Node1這個節(jié)點上配置，然后在遠(yuǎn)程拷貝到相應(yīng)的其他節(jié)點上去弓熏。
[1] 修改 hadoop-env.sh恋谭，yarn-env.sh中的JAVA_HOME
[2] 修改hdfs-site.xml，配置如下：
[3] 修改core-site.xml挽鞠，配置如下：
[4] 修改mapred-site.xml疚颊，配置如下：
[5]? 修改yarn-site.xml，配置如下：
[6] 修改slaves信认，配置如下：
--Zookeeper配置
從前面可以看到材义，Zookeeper節(jié)點在Node1,Node2,Node3上。因此我們也是在Node1上配置好之后嫁赏，再遠(yuǎn)程拷貝到Node2和Node3上其掂。
首先加上Zookeeper環(huán)境變量
export ZK_HOME=/opt/zookeeper-2.4.8
export PATH=$PATH:$ZK_HOME/bin
關(guān)于Zookeeper的配置內(nèi)容理解，可以參考zookeeper的guide潦蝇。
zookeeper的配置目錄為：zookeeper-3.4.8/conf
配置文件為：zoo.cfg
解壓好的zookeeper沒有zoo.cfg這個文件款熬，但是有zoo_sample.cfg深寥，因此我們復(fù)制它就OK。
cp zoo_sample.cfg zoo.cfg
注釋掉dataDir=/tmp/zookeeper
添加
dataDir=/opt/zookeeper
server.1=nn.athrob.com:2888:3888
server.2=snn.athrob.com:2888:3888
server.3=dn1.athrob.com:2888:3888
由于/opt/zookeeper這個文件夾不存在贤牛，因此惋鹅，我們要創(chuàng)建一個。
mkdir /opt/zookeeper
從zookeeper的文檔我們可以看到盔夜，在它的工作目錄下负饲，需要一個myid的文件，但是這個文件現(xiàn)在是沒有的喂链，因此我們要創(chuàng)建一個返十。
touch /opt/zookeeper/myid
文件內(nèi)容添加server的ID：1
因此，我們把zookeeper的配置文件從Node1拷貝到Node2椭微，Node3之后洞坑，也要對應(yīng)的修改myid文件中的內(nèi)容。
由于前面我們配置的是：
【server.2=snn.athrob.com:2888:3888 】 ? --對應(yīng)Node2】
【server.3=dn1.athrob.com:2888:3888 】 ? --對應(yīng)Node3】
所以，Node2中myid文件內(nèi)容是2；相應(yīng)的Node3中myid文件內(nèi)容就是3跛蛋。
--運(yùn)行
$在運(yùn)行之前问麸，我們需要吧Hadoop整個目錄從Node1拷貝到Node2,Node3,Node4,Node5.
scp -r hadoop-2.6.0 root@snn.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn1.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn2.athrob.com:/opt/
scp -r hadoop-2.6.0 root@dn3.athrob.com:/opt/
$以及拷貝Zookeeper和相應(yīng)的配置目錄
scp -r /opt/zookeeper-3.4.8 root@snn.athrob.com:/opt/
scp -r /opt/zookeeper-3.4.8 root@dn1.athrob.com:/opt/
注：拷貝zookeeper的安裝目錄
scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/
scp -r /opt/zookeeper/ root@snn.athrob.com:/opt/
注：拷貝zookeeper的dataDir，不要忘記在Node2,Node3上修改myid文件中的內(nèi)容猎唁！
$在Node1,Node2,Node3節(jié)點上啟動Zookeeper
zkServer.sh start
$在Node3,Node4,Node5節(jié)點上啟動JournalNode
/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start journalnode
$在Node1節(jié)點上格式化NameNode
/opt/hadoop-2.6.0/bin/hadoop namenode -format
$然后啟動該NameNode
/opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start namenode
$在沒有格式化NameNode的Node2節(jié)點上復(fù)制Node1節(jié)點的fsimage
/opt/hadoop-2.6.0/bin/hdfs namenode -bootstrapStandby
注：在執(zhí)行-bootstrapStandby之前請確保Node1節(jié)點上的NameNode已經(jīng)正常啟動！
$然后在其中一個NameNode節(jié)點（Node1或Node2）上初始化zkfc
/opt/hadoop-2.6.0/bin/hdfs zkfc -formatZK
如果沒有初始化zkfc，啟動完成后發(fā)現(xiàn)log日志里報這樣一個錯誤：
org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.Run with -formatZK flag to initialize ZooKeeper.
#############################################################
如果沒有任何問題的話监氢，hadoop就能順利啟動運(yùn)行了！
/opt/hadoop-2.6.0/sbin/start-dfs.sh
/opt/hadoop-2.6.0/sbin/start-yarn.sh
#############################################################
不足之處藤违，請批評指正浪腐。
如有問題，請私信聯(lián)系顿乒。
謝謝议街！
