六、HADOOP-HA(zookeeper之后)

一脚囊、HDFS的HA

HSFS傳統(tǒng)集群只有一個(gè)NameNode龟糕，當(dāng)此Manager宕機(jī)后，整個(gè)集群就宕機(jī)了悔耘，只有等管理員手動(dòng)重啟修復(fù)了NameNode之后讲岁，才會恢復(fù)。ha使整個(gè)集群擁有兩個(gè)或兩個(gè)以上的NameNode衬以，其中一個(gè)為Active狀態(tài)缓艳，其他的為Standby狀態(tài)，當(dāng)Active狀態(tài)的NameNode宕機(jī)后泄鹏，Standby狀態(tài)中的一臺NameNode會立即切換為Active狀態(tài)郎任，保證整個(gè)集群正常運(yùn)行

二、HDFS-HA工作要點(diǎn)

1.元數(shù)據(jù)管理方式需要改變

內(nèi)存中各自保存一份元數(shù)據(jù)备籽；
Edits日志只有Active狀態(tài)的namenode節(jié)點(diǎn)可以做寫操作舶治；
兩個(gè)namenode都可以讀取edits；
共享的edits放在一個(gè)共享存儲中管理（qjournal和NFS兩個(gè)主流實(shí)現(xiàn)）车猬；

2.需要一個(gè)狀態(tài)管理功能模塊

實(shí)現(xiàn)了一個(gè)zkfailover霉猛，常駐在每一個(gè)namenode所在的節(jié)點(diǎn)，每一個(gè)zkfailover負(fù)責(zé)監(jiān)控自己所在namenode節(jié)點(diǎn)珠闰，利用zk進(jìn)行狀態(tài)標(biāo)識惜浅，當(dāng)需要進(jìn)行狀態(tài)切換時(shí)，由zkfailover來負(fù)責(zé)切換伏嗜，切換時(shí)需要防止brain split現(xiàn)象的發(fā)生坛悉。

3.必須保證兩個(gè)NameNode之間能夠ssh無密碼登錄

4.隔離（Fence）

即同一時(shí)刻僅僅有一個(gè)NameNode對外提供服務(wù)

三伐厌、HDFS-HA自動(dòng)故障轉(zhuǎn)移工作機(jī)制

前面學(xué)習(xí)了使用命令hdfs haadmin -failover手動(dòng)進(jìn)行故障轉(zhuǎn)移，在該模式下裸影，即使現(xiàn)役NameNode已經(jīng)失效挣轨，系統(tǒng)也不會自動(dòng)從現(xiàn)役NameNode轉(zhuǎn)移到待機(jī)NameNode，下面學(xué)習(xí)如何配置部署HA自動(dòng)進(jìn)行故障轉(zhuǎn)移轩猩。自動(dòng)故障轉(zhuǎn)移為HDFS部署增加了兩個(gè)新組件：ZooKeeper和ZKFailoverController（ZKFC）進(jìn)程卷扮。ZooKeeper是維護(hù)少量協(xié)調(diào)數(shù)據(jù)，通知客戶端這些數(shù)據(jù)的改變和監(jiān)視客戶端故障的高可用服務(wù)均践。HA的自動(dòng)故障轉(zhuǎn)移依賴于ZooKeeper的以下功能：
1）故障檢測：集群中的每個(gè)NameNode在ZooKeeper中維護(hù)了一個(gè)持久會話晤锹，如果機(jī)器崩潰，ZooKeeper中的會話將終止彤委，ZooKeeper通知另一個(gè)NameNode需要觸發(fā)故障轉(zhuǎn)移鞭铆。
2）現(xiàn)役NameNode選擇：ZooKeeper提供了一個(gè)簡單的機(jī)制用于唯一的選擇一個(gè)節(jié)點(diǎn)為active狀態(tài)。如果目前現(xiàn)役NameNode崩潰葫慎，另一個(gè)節(jié)點(diǎn)可能從ZooKeeper獲得特殊的排外鎖以表明它應(yīng)該成為現(xiàn)役NameNode衔彻。
ZKFC是自動(dòng)故障轉(zhuǎn)移中的另一個(gè)新組件，是ZooKeeper的客戶端偷办，也監(jiān)視和管理NameNode的狀態(tài)艰额。每個(gè)運(yùn)行NameNode的主機(jī)也運(yùn)行了一個(gè)ZKFC進(jìn)程，ZKFC負(fù)責(zé)：
1）健康監(jiān)測：ZKFC使用一個(gè)健康檢查命令定期地ping與之在相同主機(jī)的NameNode椒涯，只要該NameNode及時(shí)地回復(fù)健康狀態(tài)柄沮，ZKFC認(rèn)為該節(jié)點(diǎn)是健康的。如果該節(jié)點(diǎn)崩潰废岂，凍結(jié)或進(jìn)入不健康狀態(tài)祖搓，健康監(jiān)測器標(biāo)識該節(jié)點(diǎn)為非健康的。
2）ZooKeeper會話管理：當(dāng)本地NameNode是健康的湖苞，ZKFC保持一個(gè)在ZooKeeper中打開的會話拯欧。如果本地NameNode處于active狀態(tài)，ZKFC也保持一個(gè)特殊的znode鎖财骨，該鎖使用了ZooKeeper對短暫節(jié)點(diǎn)的支持镐作，如果會話終止，鎖節(jié)點(diǎn)將自動(dòng)刪除隆箩。
3）基于ZooKeeper的選擇：如果本地NameNode是健康的该贾，且ZKFC發(fā)現(xiàn)沒有其它的節(jié)點(diǎn)當(dāng)前持有znode鎖，它將為自己獲取該鎖捌臊。如果成功杨蛋，則它已經(jīng)贏得了選擇，并負(fù)責(zé)運(yùn)行故障轉(zhuǎn)移進(jìn)程以使它的本地NameNode為active。故障轉(zhuǎn)移進(jìn)程與前面描述的手動(dòng)故障轉(zhuǎn)移相似逞力，首先如果必要保護(hù)之前的現(xiàn)役NameNode曙寡，然后本地NameNode轉(zhuǎn)換為active狀態(tài)。


HA工作機(jī)制

四寇荧、 集群配置

1.環(huán)境準(zhǔn)備

1）修改IP
2）修改主機(jī)名及主機(jī)名和IP地址的映射
3）關(guān)閉防火墻
4）ssh免密登錄
5）安裝JDK卵皂，配置環(huán)境變量等

2.規(guī)劃集群

集群規(guī)劃

3.配置Zookeeper集群

參考大數(shù)據(jù)學(xué)習(xí)之旅-Zookeeper

4.配置HDFS-HA集群

1）官方地址：http://hadoop.apache.org
2）在/opt/module目錄下創(chuàng)建一個(gè)ha文件夾

mkdir /opt/module/ha

3）解壓Hadoop到/opt/module/ha目錄下

tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module/ha

4）配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

5）配置core-site.xml
<configuration>
                 <!-- 把兩個(gè)NameNode）的地址組裝成一個(gè)集群mycluster -->
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://mycluster</value>
                </property>

                <!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲目錄 -->
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/opt/module/ha/hadoop-2.8.4/data/tmp</value>
                </property>
</configuration>
6）配置hdfs-site.xml
<configuration>
        <!-- 完全分布式集群名稱 -->
        <property>
                <name>dfs.nameservices</name>
                <value>mycluster</value>
        </property>

        <!-- 集群中NameNode節(jié)點(diǎn)都有哪些 -->
        <property>
                <name>dfs.ha.namenodes.mycluster</name>
                <value>nn1,nn2</value>
        </property>
        <!-- nn1的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn1</name>
                <value>bigdata111:9000</value>
        </property>

        <!-- nn2的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.mycluster.nn2</name>
                <value>bigdata112:9000</value>
        </property>

        <!-- nn1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.nn1</name>
                <value>bigdata111:50070</value>
        </property>
        <!-- nn2的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.mycluster.nn2</name>
                <value>bigdata112:50070</value>
        </property>

        <!-- 指定NameNode元數(shù)據(jù)在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>               
 <value>qjournal://bigdata111:8485;bigdata112:8485;bigdata113:8485/mycluster</value>
        </property>

        <!-- 配置隔離機(jī)制，即同一時(shí)刻只能有一臺服務(wù)器對外響應(yīng) -->
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>sshfence</value>
        </property>
<!-- 使用隔離機(jī)制時(shí)需要ssh無秘鑰登錄-->
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>

        <!-- 聲明journalnode服務(wù)器存儲目錄-->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/module/ha/hadoop-2.8.4/data/jn</value>
        </property>

        <!-- 關(guān)閉權(quán)限檢查-->
        <property>
                <name>dfs.permissions.enable</name>
                <value>false</value>
        </property>

        <!-- 訪問代理類：client砚亭，mycluster，active配置失敗自動(dòng)切換實(shí)現(xiàn)方式-->
        <property>
                <name>dfs.client.failover.proxy.provider.mycluster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
</configuration>
7）配置slaves文件
bigdata111
bigdata112
bigdata113
8）拷貝配置好的hadoop環(huán)境到其他節(jié)點(diǎn)
scp -r hadoop-2.8.4/ root@bigdata112:/opt/module/ha
scp -r hadoop-2.8.4/ root@bigdata113:/opt/module/ha

5.啟動(dòng)HDFS-HA集群

1）在各個(gè)JournalNode節(jié)點(diǎn)上殴玛，輸入以下命令啟動(dòng)journalnode服務(wù)

sbin/hadoop-daemon.sh start journalnode

2）在[nn1]上捅膘，對其進(jìn)行格式化，并啟動(dòng)

bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3）在[nn2]上滚粟，同步nn1的元數(shù)據(jù)信息

bin/hdfs namenode -bootstrapStandby

4）啟動(dòng)[nn2]

sbin/hadoop-daemon.sh start namenode

5）查看web頁面顯示
image.png

image.png
6）啟動(dòng)所有datanode

sbin/hadoop-daemons.sh start datanode

7）將[nn1]切換為Active

bin/hdfs haadmin -transitionToActive nn1

8）查看是否Active

bin/hdfs haadmin -getServiceState nn1

image.png

6.配置HDFS-HA自動(dòng)故障轉(zhuǎn)移

（1）在hdfs-site.xml中增加
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
（2）在core-site.xml文件中增加
<property>
    <name>ha.zookeeper.quorum</name>
    <value>bigdata111:2181,bigdata112:2181,bigdata113:2181</value>
</property>

Hadoop的ha配置自動(dòng)故障轉(zhuǎn)移后寻仗，殺死active所在的namenode，Standby所在的namenode不會自動(dòng)切換為active狀態(tài)凡壤。
分析錯(cuò)誤：查看zkcf的log日志
發(fā)現(xiàn)錯(cuò)誤日志：
2019-05-05 03:59:38,306 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 9000 via ssh: bash: fuser: command not found
解決錯(cuò)誤：這個(gè)原因是Linux系統(tǒng)沒有fuser命令
導(dǎo)致在HA進(jìn)行主備切換是執(zhí)行fuser失敗了
通過yum命令安裝：yum -y install psmisc
安裝完成再次測試署尤，即可切換成功。

（3）關(guān)閉所有HDFS服務(wù)：sbin/stop-dfs.sh
（4）啟動(dòng)Zookeeper集群：bin/zkServer.sh start
（5）初始化HA在Zookeeper中狀態(tài)：bin/hdfs zkfc -formatZK
（6）啟動(dòng)HDFS服務(wù)：sbin/start-dfs.sh
image.png

image.png

image.png
（7）在各個(gè)NameNode節(jié)點(diǎn)上啟動(dòng)DFSZK Failover Controller亚侠，先在哪臺機(jī)器啟動(dòng)曹体，哪個(gè)機(jī)器的NameNode就是Active NameNode

sbin/hadoop-daemon.sh start zkfc

（8）將Active NameNode進(jìn)程kill：kill -9 namenode的進(jìn)程id
（9）將Active NameNode機(jī)器斷開網(wǎng)絡(luò)：service network stop

7.配置YARN-HA集群

（1）規(guī)劃集群
image.png
（2）yarn-site.xml配置
<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--啟用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--聲明兩臺resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>bigdata111</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>bigdata112</value>
    </property>
 
    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>bigdata111:2181,bigdata112:2181,bigdata113:2181</value>
    </property>

    <!--啟用自動(dòng)恢復(fù)--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定resourcemanager的狀態(tài)信息存儲在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

</configuration>
（3）mapred-site.xml配置
<configuration>
    <!-- 指定mr運(yùn)行在yarn上-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--歷史服務(wù)器的地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata111:10020</value>
    </property>
    <!--歷史服務(wù)器頁面的地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata111:19888</value>
    </property>
</configuration>
（4）啟動(dòng)yarn

在bigdata111上執(zhí)行：sbin/start-yarn.sh
在bigdata112上執(zhí)行：sbin/yarn-daemon.sh start resourcemanager

（5）查看服務(wù)狀態(tài)（注意：yarn自動(dòng)切換需要稍等下大概5到10秒，就切換成功）

bin/yarn rmadmin -getServiceState rm1

image.png

image.png

image.png

image.png

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末硝烂，一起剝皮案震驚了整個(gè)濱河市箕别，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌滞谢，老刑警劉巖串稀，帶你破解...
    沈念sama閱讀 217,657評論 6贊 505
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異狮杨，居然都是意外死亡母截，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,889評論 3贊 394
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門橄教，熙熙樓的掌柜王于貴愁眉苦臉地迎上來清寇，“玉大人，你說我怎么就攤上這事颤陶】殴埽” “怎么了？”我有些...
    開封第一講書人閱讀 164,057評論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵滓走，是天一觀的道長垦江。 經(jīng)常有香客問我，道長，這世上最難降的妖魔是什么比吭？ 我笑而不...
    開封第一講書人閱讀 58,509評論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任绽族，我火速辦了婚禮，結(jié)果婚禮上衩藤，老公的妹妹穿的比我還像新娘吧慢。我一直安慰自己，他們只是感情好赏表，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,562評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布检诗。 她就那樣靜靜地躺著，像睡著了一般瓢剿。 火紅的嫁衣襯著肌膚如雪逢慌。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,443評論 1贊 302
  • 城市分裂傳說
    那天间狂，我揣著相機(jī)與錄音攻泼，去河邊找鬼。 笑死鉴象，一個(gè)胖子當(dāng)著我的面吹牛忙菠，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播纺弊，決...
    沈念sama閱讀 40,251評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼牛欢，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了淆游？” 一聲冷哼從身側(cè)響起氢惋，我...
    開封第一講書人閱讀 39,129評論 0贊 276
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎稽犁，沒想到半個(gè)月后焰望，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,561評論 1贊 314
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡已亥，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,779評論 3贊 335
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年熊赖，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片虑椎。...
    茶點(diǎn)故事閱讀 39,902評論 1贊 348
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡震鹉，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出捆姜，到底是詐尸還是另有隱情传趾，我是刑警寧澤，帶...
    沈念sama閱讀 35,621評論 5贊 345
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布泥技，位于F島的核電站浆兰，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜簸呈，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,220評論 3贊 328
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一榕订、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蜕便，春花似錦劫恒、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,838評論 0贊 22
  • 一樁弒父案两嘴，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至族壳，卻和暖如春溶诞，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背决侈。 一陣腳步聲響...
    開封第一講書人閱讀 32,971評論 1贊 269
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留喧务，地道東北人赖歌。 一個(gè)月前我還...
    沈念sama閱讀 48,025評論 2贊 370
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像功茴，于是被迫代替她去往敵國和親庐冯。 傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,843評論 2贊 354

推薦閱讀更多精彩內(nèi)容