一、原理(四大要點(diǎn))
(1)保證元數(shù)據(jù)一致(edits)
namenode(fsimage? edits)
a、NFS
b攒至、journalnode
c厚者、zk
(2)只有一臺(tái)namenode對(duì)外提供服務(wù)(proxy)
(3)接受datanode的心跳
(4)隔離
二、HDFS HA啟動(dòng)并測(cè)試
在Bigdata01.xxxx.com中配置:
Core-site.xml
hdfs-site.xml
把hadoop分別拷貝到bigdata02與bigdata03
$scp -r hadoop-2.5.2/ bigdata03.xxxx.com:/home/jit/app
按照以下步驟啟動(dòng)
啟動(dòng)服務(wù)
Step1 :啟動(dòng)Zookeeper集群bin/zkServer.sh start
在各個(gè)JournalNode節(jié)點(diǎn)上迫吐,輸入以下命令啟動(dòng)journalnode服務(wù):
$ sbin/hadoop-daemon.sh start journalnode
Step2:在[nn1]上库菲,對(duì)其進(jìn)行格式化,并啟動(dòng):
$ bin/hdfs namenode –format
初始化HA在Zookeeper中狀態(tài)bin/hdfs zkfc -formatZK
$ sbin/hadoop-daemon.sh start namenode
在各個(gè)NameNode節(jié)點(diǎn)上啟動(dòng)DFSZK Failover Controller渠抹,先在那臺(tái)機(jī)器啟動(dòng)蝙昙,那個(gè)機(jī)器的NameNode就是Active NameNode
sbin/hadoop-daemin.sh start zkfc
Step3:在[nn2]上,同步nn1的元數(shù)據(jù)信息:
$ bin/hdfs namenode -bootstrapStandby
Step4:啟動(dòng)[nn2]:
$ sbin/hadoop-daemon.sh start namenode
Step6:在[nn1]上梧却,啟動(dòng)所有datanode
$ sbin/hadoop-daemons.sh start datanode
Bigdata01
Bigdata02
Bigdata03
Kill -9 bigdata01的namenode
Bigdata02變?yōu)閍ctive
上傳文件
三奇颠、和ResouceManager Restart功能及配置部署與測(cè)試
三臺(tái)機(jī)器yarn-site.xml分配進(jìn)行配置
進(jìn)行yarn啟動(dòng),并查看yarn的狀態(tài)
Kill掉rm1后
Rm2狀態(tài)變?yōu)閍ctive
重啟rm1后狀態(tài)變?yōu)閟tandy