一篱瞎、ZooKeeper秒殺和hadoop高可用
我也不知道為啥從8開(kāi)始！
8.1 HA概述
1）所謂HA（high available）滋饲，即高可用（7*24小時(shí)不中斷服務(wù)）桶现。
2）實(shí)現(xiàn)高可用最關(guān)鍵的策略是消除單點(diǎn)故障躲雅。HA嚴(yán)格來(lái)說(shuō)應(yīng)該分成各個(gè)組件的HA機(jī)制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前骡和，在HDFS集群中NameNode存在單點(diǎn)故障（SPOF）相赁。
4）NameNode主要在以下兩個(gè)方面影響HDFS集群
NameNode機(jī)器發(fā)生意外相寇，如宕機(jī)，集群將無(wú)法使用钮科，直到管理員重啟
NameNode機(jī)器需要升級(jí)裆赵，包括軟件、硬件升級(jí)跺嗽，此時(shí)集群也將無(wú)法使用
HDFS HA功能通過(guò)配置Active/Standby兩個(gè)nameNodes實(shí)現(xiàn)在集群中對(duì)NameNode的熱備來(lái)解決上述問(wèn)題战授。如果出現(xiàn)故障，如機(jī)器崩潰或機(jī)器需要升級(jí)維護(hù)桨嫁，這時(shí)可通過(guò)此種方式將NameNode很快的切換到另外一臺(tái)機(jī)器植兰。
8.2 HDFS-HA工作機(jī)制
1）通過(guò)雙namenode消除單點(diǎn)故障
8.2.1 HDFS-HA工作要點(diǎn)
1）元數(shù)據(jù)管理方式需要改變：
內(nèi)存中各自保存一份元數(shù)據(jù)；
Edits日志只有Active狀態(tài)的namenode節(jié)點(diǎn)可以做寫(xiě)操作璃吧；
兩個(gè)namenode都可以讀取edits楣导；
共享的edits放在一個(gè)共享存儲(chǔ)中管理（qjournal和NFS兩個(gè)主流實(shí)現(xiàn)）；
2）需要一個(gè)狀態(tài)管理功能模塊
實(shí)現(xiàn)了一個(gè)zkfailover畜挨，常駐在每一個(gè)namenode所在的節(jié)點(diǎn)筒繁，每一個(gè)zkfailover負(fù)責(zé)監(jiān)控自己所在namenode節(jié)點(diǎn)，利用zk進(jìn)行狀態(tài)標(biāo)識(shí)巴元，當(dāng)需要進(jìn)行狀態(tài)切換時(shí)毡咏，由zkfailover來(lái)負(fù)責(zé)切換，切換時(shí)需要防止brain split現(xiàn)象的發(fā)生逮刨。
3）必須保證兩個(gè)NameNode之間能夠ssh無(wú)密碼登錄呕缭。
4）隔離（Fence），即同一時(shí)刻僅僅有一個(gè)NameNode對(duì)外提供服務(wù)
8.2.2 HDFS-HA自動(dòng)故障轉(zhuǎn)移工作機(jī)制
前面學(xué)習(xí)了使用命令hdfs haadmin -failover手動(dòng)進(jìn)行故障轉(zhuǎn)移修己，在該模式下恢总，即使現(xiàn)役NameNode已經(jīng)失效，系統(tǒng)也不會(huì)自動(dòng)從現(xiàn)役NameNode轉(zhuǎn)移到待機(jī)NameNode睬愤，下面學(xué)習(xí)如何配置部署HA自動(dòng)進(jìn)行故障轉(zhuǎn)移片仿。自動(dòng)故障轉(zhuǎn)移為HDFS部署增加了兩個(gè)新組件：ZooKeeper和ZKFailoverController（ZKFC）進(jìn)程。ZooKeeper是維護(hù)少量協(xié)調(diào)數(shù)據(jù)尤辱，通知客戶(hù)端這些數(shù)據(jù)的改變和監(jiān)視客戶(hù)端故障的高可用服務(wù)砂豌。HA的自動(dòng)故障轉(zhuǎn)移依賴(lài)于ZooKeeper的以下功能：
1）故障檢測(cè)：集群中的每個(gè)NameNode在ZooKeeper中維護(hù)了一個(gè)持久會(huì)話(huà)，如果機(jī)器崩
潰啥刻，ZooKeeper中的會(huì)話(huà)將終止奸鸯，ZooKeeper通知另一個(gè)NameNode需要觸發(fā)故障轉(zhuǎn)移咪笑。
2）現(xiàn)役NameNode選擇：ZooKeeper提供了一個(gè)簡(jiǎn)單的機(jī)制用于唯一的選擇一個(gè)節(jié)點(diǎn)為active狀態(tài)可帽。如果目前現(xiàn)役NameNode崩潰，另一個(gè)節(jié)點(diǎn)可能從ZooKeeper獲得特殊的排外鎖以表明它應(yīng)該成為現(xiàn)役NameNode窗怒。
ZKFC是自動(dòng)故障轉(zhuǎn)移中的另一個(gè)新組件映跟，是ZooKeeper的客戶(hù)端蓄拣，也監(jiān)視和管理NameNode的狀態(tài)。每個(gè)運(yùn)行NameNode的主機(jī)也運(yùn)行了一個(gè)ZKFC進(jìn)程努隙，ZKFC負(fù)責(zé)：
1）健康監(jiān)測(cè)：ZKFC使用一個(gè)健康檢查命令定期地ping與之在相同主機(jī)的NameNode球恤，只要該NameNode及時(shí)地回復(fù)健康狀態(tài)，ZKFC認(rèn)為該節(jié)點(diǎn)是健康的荸镊。如果該節(jié)點(diǎn)崩潰咽斧，凍結(jié)或進(jìn)入不健康狀態(tài)，健康監(jiān)測(cè)器標(biāo)識(shí)該節(jié)點(diǎn)為非健康的躬存。
2）ZooKeeper會(huì)話(huà)管理：當(dāng)本地NameNode是健康的张惹，ZKFC保持一個(gè)在ZooKeeper中打開(kāi)的會(huì)話(huà)。如果本地NameNode處于active狀態(tài)岭洲，ZKFC也保持一個(gè)特殊的znode鎖宛逗，該鎖使用了ZooKeeper對(duì)短暫節(jié)點(diǎn)的支持，如果會(huì)話(huà)終止盾剩，鎖節(jié)點(diǎn)將自動(dòng)刪除雷激。
3）基于ZooKeeper的選擇：如果本地NameNode是健康的，且ZKFC發(fā)現(xiàn)沒(méi)有其它的節(jié)點(diǎn)當(dāng)前持有znode鎖告私，它將為自己獲取該鎖屎暇。如果成功，則它已經(jīng)贏得了選擇驻粟，并負(fù)責(zé)運(yùn)行故障轉(zhuǎn)移進(jìn)程以使它的本地NameNode為active恭垦。故障轉(zhuǎn)移進(jìn)程與前面描述的手動(dòng)故障轉(zhuǎn)移相似，首先如果必要保護(hù)之前的現(xiàn)役NameNode格嗅，然后本地NameNode轉(zhuǎn)換為active狀態(tài)番挺。
8.4 HDFS-HA集群配置
8.4.1 環(huán)境準(zhǔn)備
1）修改IP
2）修改主機(jī)名及主機(jī)名和IP地址的映射
3）關(guān)閉防火墻
4）ssh免密登錄
5）安裝JDK，配置環(huán)境變量等
8.4.2 規(guī)劃集群
8.4.3 配置Zookeeper集群
0）集群規(guī)劃
在hadoop102屯掖、hadoop103和hadoop104三個(gè)節(jié)點(diǎn)上部署Zookeeper玄柏。
1）解壓安裝
（1）解壓zookeeper安裝包到/opt/module/目錄下
[AncientMing@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個(gè)目錄下創(chuàng)建zkData
mkdir -p zkData
（3）重命名/opt/module/zookeeper-3.4.10/conf這個(gè)目錄下的zoo_sample.cfg為zoo.cfg
mv zoo_sample.cfg zoo.cfg
2）配置zoo.cfg文件
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置參數(shù)解讀
Server.A=B:C:D。
A是一個(gè)數(shù)字贴铜，表示這個(gè)是第幾號(hào)服務(wù)器粪摘；
B是這個(gè)服務(wù)器的ip地址；
C是這個(gè)服務(wù)器與集群中的Leader服務(wù)器交換信息的端口绍坝；
D是萬(wàn)一集群中的Leader服務(wù)器掛了徘意，需要一個(gè)端口來(lái)重新進(jìn)行選舉，選出一個(gè)新的Leader轩褐，而這個(gè)端口就是用來(lái)執(zhí)行選舉時(shí)服務(wù)器相互通信的端口椎咧。
集群模式下配置一個(gè)文件myid，這個(gè)文件在dataDir目錄下，這個(gè)文件里面有一個(gè)數(shù)據(jù)就是A的值勤讽，Zookeeper啟動(dòng)時(shí)讀取此文件蟋座，拿到里面的數(shù)據(jù)與zoo.cfg里面的配置信息比較從而判斷到底是哪個(gè)server。
3）集群操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下創(chuàng)建一個(gè)myid的文件
touch myid
添加myid文件脚牍，注意一定要在linux里面創(chuàng)建向臀，在notepad++里面很可能亂碼
（2）編輯myid文件
vi myid
在文件中添加與server對(duì)應(yīng)的編號(hào)：如2
（3）拷貝配置好的zookeeper到其他機(jī)器上
scp -r zookeeper-3.4.10/ root@hadoop103.AncientMing.com:/opt/app/
scp -r zookeeper-3.4.10/ root@hadoop104.AncientMing.com:/opt/app/
并分別修改myid文件中內(nèi)容為3、4
（4）分別啟動(dòng)zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
（5）查看狀態(tài)
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
8.4.4 配置HDFS-HA集群
1）官方地址：http://hadoop.apache.org/
2）在opt目錄下創(chuàng)建一個(gè)ha文件夾
mkdir ha
- 3.將/opt/app/下的 hadoop-2.8.4拷貝到/opt/ha目錄下
cp -r hadoop-2.8.4/ /opt/ha/
核心配置區(qū)
4）配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.7.0_79
5）配置core-site.xml
<configuration>
<!-- 把兩個(gè)NameNode）的地址組裝成一個(gè)集群mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
6）配置hdfs-site.xml
<configuration>
<!-- 完全分布式集群名稱(chēng) -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 集群中NameNode節(jié)點(diǎn)都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:9000</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode元數(shù)據(jù)在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔離機(jī)制诸狭，即同一時(shí)刻只能有一臺(tái)服務(wù)器對(duì)外響應(yīng) -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔離機(jī)制時(shí)需要ssh無(wú)秘鑰登錄-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/AncientMing/.ssh/id_rsa</value>
</property>
<!-- 聲明journalnode服務(wù)器存儲(chǔ)目錄-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/jn</value>
</property>
<!-- 關(guān)閉權(quán)限檢查-->
7）拷貝配置好的hadoop環(huán)境到其他節(jié)點(diǎn)
8.4.5 啟動(dòng)HDFS-HA集群
1）在各個(gè)JournalNode節(jié)點(diǎn)上券膀，輸入以下命令啟動(dòng)journalnode服務(wù)：
sbin/hadoop-daemon.sh start journalnode
2）在[nn1]上，對(duì)其進(jìn)行格式化驯遇，并啟動(dòng)：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
3）在[nn2]上三娩，同步nn1的元數(shù)據(jù)信息：
bin/hdfs namenode -bootstrapStandby
4）啟動(dòng)[nn2]：
sbin/hadoop-daemon.sh start namenode
5）查看web頁(yè)面顯示
6）啟動(dòng)所有datanode
sbin/hadoop-daemons.sh start datanode
7）將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
8）查看是否Active
bin/hdfs haadmin -getServiceState nn1
8.4.6 配置HDFS-HA自動(dòng)故障轉(zhuǎn)移
1）具體配置
（1）在hdfs-site.xml中增加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
（2）在core-site.xml文件中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
Hadoop的ha配置自動(dòng)故障轉(zhuǎn)移后，殺死active所在的namenode妹懒，Standby所在的namenode不會(huì)自動(dòng)切換為active狀態(tài)雀监。
分析錯(cuò)誤：查看zkcf的log日志
發(fā)現(xiàn)錯(cuò)誤日志：
2019-05-05 03:59:38,306 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: command not found
解決錯(cuò)誤：這個(gè)原因是Linux系統(tǒng)沒(méi)有fuser命令
導(dǎo)致在HA進(jìn)行主備切換是執(zhí)行fuser失敗了
通過(guò)yum命令安裝：yum -y install psmisc
安裝完成再次測(cè)試，即可切換成功眨唬。
2）啟動(dòng)
（1）關(guān)閉所有HDFS服務(wù)：
sbin/stop-dfs.sh
（2）啟動(dòng)Zookeeper集群：
bin/zkServer.sh start
（3）初始化HA在Zookeeper中狀態(tài)：
bin/hdfs zkfc -formatZK
（4）啟動(dòng)HDFS服務(wù)：
sbin/start-dfs.sh
（5）在各個(gè)NameNode節(jié)點(diǎn)上啟動(dòng)DFSZK Failover Controller会前，先在哪臺(tái)機(jī)器啟動(dòng)，哪個(gè)機(jī)器的NameNode就是Active NameNode
sbin/hadoop-daemin.sh start zkfc
3）驗(yàn)證
（1）將Active NameNode進(jìn)程kill
kill -9 namenode的進(jìn)程id
（2）將Active NameNode機(jī)器斷開(kāi)網(wǎng)絡(luò)
service network stop
8.5 YARN-HA配置
8.5.1 YARN-HA工作機(jī)制
1）官方文檔：
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
2）YARN-HA工作機(jī)制
8.5.2 配置YARN-HA集群
0）環(huán)境準(zhǔn)備
（1）修改IP
（2）修改主機(jī)名及主機(jī)名和IP地址的映射
（3）關(guān)閉防火墻
（4）ssh免密登錄
（5）安裝JDK匾竿，配置環(huán)境變量等
（6）配置Zookeeper集群
1）規(guī)劃集群
2）具體配置
（1）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--啟用resourcemanager ha-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--聲明兩臺(tái)resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop102</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop103</value>
</property>
<!--指定zookeeper集群的地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
<!--啟用自動(dòng)恢復(fù)-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--指定resourcemanager的狀態(tài)信息存儲(chǔ)在zookeeper集群-->
<property>
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
（2）同步更新其他節(jié)點(diǎn)的配置信息
3）啟動(dòng)hdfs
（1）在各個(gè)JournalNode節(jié)點(diǎn)上瓦宜，輸入以下命令啟動(dòng)journalnode服務(wù)：
sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，對(duì)其進(jìn)行格式化岭妖，并啟動(dòng)：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上临庇，同步nn1的元數(shù)據(jù)信息：
bin/hdfs namenode -bootstrapStandby
（4）啟動(dòng)[nn2]：
sbin/hadoop-daemon.sh start namenode
（5）啟動(dòng)所有datanode
sbin/hadoop-daemons.sh start datanode
（6）將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
4）啟動(dòng)yarn
（1）在hadoop102中執(zhí)行：
sbin/start-yarn.sh
（2）在hadoop103中執(zhí)行：
sbin/yarn-daemon.sh start resourcemanager
（3）查看服務(wù)狀態(tài)
bin/yarn rmadmin -getServiceState rm1
8.6 HDFS Federation架構(gòu)設(shè)計(jì)
NameNode架構(gòu)的局限性
（1）Namespace（命名空間）的限制
由于NameNode在內(nèi)存中存儲(chǔ)所有的元數(shù)據(jù)（metadata），因此單個(gè)namenode所能存儲(chǔ)的對(duì)象（文件+塊）數(shù)目受到namenode所在JVM的heap size的限制昵慌。50G的heap能夠存儲(chǔ)20億（200million）個(gè)對(duì)象假夺，這20億個(gè)對(duì)象支持4000個(gè)datanode，12PB的存儲(chǔ)（假設(shè)文件平均大小為40MB）斋攀。隨著數(shù)據(jù)的飛速增長(zhǎng)已卷，存儲(chǔ)的需求也隨之增長(zhǎng)。單個(gè)datanode從4T增長(zhǎng)到36T淳蔼，集群的尺寸增長(zhǎng)到8000個(gè)datanode侧蘸。存儲(chǔ)的需求從12PB增長(zhǎng)到大于100PB。
（2）隔離問(wèn)題
由于HDFS僅有一個(gè)namenode鹉梨，無(wú)法隔離各個(gè)程序讳癌，因此HDFS上的一個(gè)實(shí)驗(yàn)程序就很有可能影響整個(gè)HDFS上運(yùn)行的程序。
（3）性能的瓶頸
由于是單個(gè)namenode的HDFS架構(gòu)存皂，因此整個(gè)HDFS文件系統(tǒng)的吞吐量受限于單個(gè)namenode的吞吐量晌坤。
2）HDFS Federation架構(gòu)設(shè)計(jì)
能不能有多個(gè)NameNode
NameNode NameNode NameNode
元數(shù)據(jù) 元數(shù)據(jù) 元數(shù)據(jù)
Log machine 電商數(shù)據(jù)/話(huà)單數(shù)據(jù)
3）HDFS Federation應(yīng)用思考
不同應(yīng)用可以使用不同NameNode進(jìn)行數(shù)據(jù)管理
圖片業(yè)務(wù)、爬蟲(chóng)業(yè)務(wù)、日志審計(jì)業(yè)務(wù)
Hadoop生態(tài)系統(tǒng)中泡仗，不同的框架使用不同的namenode進(jìn)行管理namespace。（隔離性）
必須搭的高可用猜憎！
重啟后順序：手動(dòng)娩怎？
1、每個(gè)節(jié)點(diǎn)：開(kāi)啟zk
zkServer.sh start
2胰柑、每個(gè)節(jié)點(diǎn)：可以看看zk狀態(tài)
zkServer.sh status
3截亦、每個(gè)節(jié)點(diǎn)：?jiǎn)?dòng)journalnode服務(wù)
sbin/hadoop-daemon.sh start journalnode
4、只在nn1上：格式化柬讨，并啟動(dòng)（或者不需要每次都格式化就啟動(dòng)）
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
5崩瓤、在nn2上：同步元數(shù)據(jù)信息
bin/hdfs namenode -bootstrapStandby
6、在nn2上：?jiǎn)?dòng)nn2
sbin/hadoop-daemon.sh start namenode
7踩官、每個(gè)節(jié)點(diǎn)：?jiǎn)?dòng)datanode
sbin/hadoop-daemons.sh start datanode
8却桶、在nn1上：切換為Active并查看狀態(tài)是否是Active
bin/hdfs haadmin -transitionToActive nn1
bin/hdfs haadmin -getServiceState nn1
這里切換失敗了。蔗牡。
手動(dòng)不行颖系？
重啟后順序：自動(dòng)？
1辩越、自動(dòng)步驟嘁扼。所有節(jié)點(diǎn)：關(guān)閉HDFS服務(wù)
需要分開(kāi)操作，因節(jié)點(diǎn)不一樣黔攒。
sbin/stop-dfs.sh
2趁啸、啟動(dòng)Zookeeper集群
zkServer.sh start
3、初始化HA在Zookeeper中狀態(tài)
bin/hdfs zkfc -formatZK
4督惰、啟動(dòng)HDFS服務(wù)
sbin/start-dfs.sh
5不傅、在各個(gè)NameNode節(jié)點(diǎn)上啟動(dòng)DFSZK Failover Controller，先在哪臺(tái)機(jī)器啟動(dòng)赏胚，哪個(gè)機(jī)器的NameNode就是Active NameNode
sbin/hadoop-daemin.sh start zkfc
6蛤签、驗(yàn)證：
將Active NameNode進(jìn)程kill
kill -9 namenode的進(jìn)程id
將Active NameNode機(jī)器斷開(kāi)網(wǎng)絡(luò)
service network stop
7、啟動(dòng)yarn
sbin/start-yarn.sh
