放棄很簡單，但堅持一定很酷
YARN-HA集群配置
YARN-HA工作機(jī)制
1.官方文檔
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
2.工作機(jī)制圖
其實就是配置多臺RM保證集群高可用印蔬，操作和上個文檔差不多
image-20200611192220405
配置YARN-HA集群
1.環(huán)境準(zhǔn)備
（1）修改IP
（2）修改主機(jī)名及主機(jī)名和IP地址的映射
（3）關(guān)閉防火墻
（4）ssh免密登錄
（5）安裝JDK，配置環(huán)境變量等
? （6）配置Zookeeper集群
2. 規(guī)劃集群
本來的RM是在hadoop103精刷，現(xiàn)在在hadoop102也配置一個
| hadoop102 | hadoop103 | hadoop104 |
|---|---|---|
| NameNode | NameNode | |
| JournalNode | JournalNode | JournalNode |
| DataNode | DataNode | DataNode |
| ZK | ZK | ZK |
| ResourceManager | ResourceManager | |
| NodeManager | NodeManager | NodeManager |
3.具體配置
（1）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--啟用resourcemanager ha-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--聲明兩臺resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop102</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop103</value>
</property>
<!--指定zookeeper集群的地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
<!--啟用自動恢復(fù)-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--指定resourcemanager的狀態(tài)信息存儲在zookeeper集群-->
<property>
<name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
（2）同步更新其他節(jié)點的配置信息
4.啟動hdfs
（1）在各個JournalNode節(jié)點上谎亩，輸入以下命令啟動journalnode服務(wù)：
sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，對其進(jìn)行格式化胯舷，并啟動：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上黎泣，同步nn1的元數(shù)據(jù)信息：
bin/hdfs namenode -bootstrapStandby
（4）啟動[nn2]：
sbin/hadoop-daemon.sh start namenode
（5）啟動所有DataNode
sbin/hadoop-daemons.sh start datanode
（6）將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
5.啟動YARN
（1）在hadoop102中執(zhí)行：
sbin/start-yarn.sh
（2）在hadoop103中執(zhí)行：
sbin/yarn-daemon.sh start resourcemanager
（3）查看服務(wù)狀態(tài)，如圖3-24所示
bin/yarn rmadmin -getServiceState rm1
image-20200611192655507
相關(guān)資料
image-20200708174358979
