(五)Hadoop YARN配置

NN1 NN2 DN ZK ZKFC JNN RS NM
NODE01 ? ? ?
NODE02 ? ? ? ? ? ?
NODE03 ? ? ? ? ?
NODE04 ? ? ? ?

1. 配置mapred-site.xml

[root@node01 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@node01 hadoop]# vi mapred-site.xml
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

2. 配置yarn-site.xml

[root@node01 hadoop]# vi yarn-site.xml
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
  </property>
  <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>cluster1</value>
  </property>
  <property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
  </property>
  <property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>node03</value>
  </property>
  <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>node04</value>
  </property>
  <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>node02:2181,node03:2181,node04:2181</value>
  </property>

3. 將上述兩個文件分發(fā)到其他Hadoop節(jié)點

[root@node01 hadoop]# scp mapred-site.xml yarn-site.xml node02:`pwd`

4. 讓兩個ResourceManager之間互相免密鑰

[root@node03 .ssh]# ssh-keygen -t dsa -P '' -f ./id_dsa
[root@node03 .ssh]# cat id_dsa.pub >> authorized_keys
[root@node03 .ssh]# scp id_dsa.pub node04:`pwd`/node03.pub
[root@node04 .ssh]# cat node03.pub >> authorized_keys

另一個節(jié)點執(zhí)行相同步驟

5. 啟動

啟動順序:

  • zookeeper,zkServer.sh start
  • hdfs (注意廊散,有一個腳本不要用桑滩,start-all)start-dfs.sh
    如果nn 和 nn2沒有啟動,需要在node01允睹,node02分別手動啟動:
    hadoop-daemon.sh start namenode
  • start-yarn.sh (啟動nodemanager)
  • 在03,04節(jié)點分別執(zhí)行腳本: yarn-daemon.sh start resourcemanager

6. 啟動后各節(jié)點角色進(jìn)程

[root@node01 ~]# jps
Jps
NameNode
DFSZKFailoverController
JournalNode

[root@node02 ~]# jps
DFSZKFailoverController
NodeManager
NameNode
DataNode
JournalNode
Jps
QuorumPeerMain

[root@node03 ~]# jps
DataNode
JournalNode
QuorumPeerMain
Jps
ResourceManager
NodeManager

[root@node04 ~]# jps
NodeManager
DataNode
Jps
QuorumPeerMain
ResourceManager

7. http訪問端口:8088

8. 停止

  • node01: stop-dfs.sh

  • node01: stop-yarn.sh (停止nodemanager)

  • node03,node04: yarn-daemon.sh stop resourcemanager (停止resourcemanager)

  • ZooKeeper:zkServer.sh stop

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末运准,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子缭受,更是在濱河造成了極大的恐慌胁澳,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件米者,死亡現(xiàn)場離奇詭異韭畸,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)塘雳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進(jìn)店門陆盘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人败明,你說我怎么就攤上這事隘马。” “怎么了妻顶?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵酸员,是天一觀的道長。 經(jīng)常有香客問我讳嘱,道長幔嗦,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任沥潭,我火速辦了婚禮邀泉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己汇恤,他們只是感情好庞钢,可當(dāng)我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著因谎,像睡著了一般基括。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上财岔,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天风皿,我揣著相機(jī)與錄音,去河邊找鬼匠璧。 笑死桐款,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的患朱。 我是一名探鬼主播鲁僚,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼裁厅!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起侨艾,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤执虹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后唠梨,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體袋励,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年当叭,在試婚紗的時候發(fā)現(xiàn)自己被綠了茬故。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡蚁鳖,死狀恐怖磺芭,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情醉箕,我是刑警寧澤钾腺,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布,位于F島的核電站讥裤,受9級特大地震影響放棒,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜己英,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一间螟、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦厢破、人聲如沸邮府。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽褂傀。三九已至,卻和暖如春加勤,著一層夾襖步出監(jiān)牢的瞬間仙辟,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工鳄梅, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留叠国,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓戴尸,卻偏偏與公主長得像粟焊,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子孙蒙,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容