## YARN架構(gòu)包含的元素:
-
ResourceManager:RM
(1)整個(gè)集群同一個(gè)時(shí)間提供服務(wù)的只有一個(gè)RM,負(fù)責(zé)集群的資源統(tǒng)一調(diào)度和管理吮炕。
(2)處理客戶(hù)端的請(qǐng)求:提交一個(gè)作業(yè)烟零,殺死一個(gè)作業(yè)
(3)監(jiān)控我們的NM.
-
NodeManager:NM
(1)集群中有多個(gè)nm,負(fù)責(zé)自身節(jié)點(diǎn)的資源管理和使用
(2)定時(shí)向RM匯報(bào)本節(jié)點(diǎn)的是使用情況祝谚。
(3)接收來(lái)自rm的各種命令,如啟動(dòng)Container
-
ApplicationMaster: AM
(1)每個(gè)應(yīng)用程序?qū)?yīng)一個(gè)AM:MR ,Spark ,負(fù)責(zé)應(yīng)用程序的管理刊愚。
(2)為每個(gè)應(yīng)用程序向RM申請(qǐng)資源踊跟,分配給內(nèi)部的Task,
(3)需要與NM通信,啟動(dòng)/停止Task鸥诽,AM也運(yùn)行在Container里面商玫。
-
Container:
(1)封裝了cpu,memory的容器牡借,程序都是在此容器內(nèi)部進(jìn)行拳昌。
(2)也就是說(shuō)其實(shí)是一個(gè)運(yùn)行任務(wù)的環(huán)境的抽象。
-
client:
(1)提交作業(yè)
(2)查看任務(wù)的進(jìn)度
(3)殺死作業(yè)
### ## 直接如何配置單個(gè)節(jié)點(diǎn)的yarn钠龙。炬藤。。
本身的hdfs安裝路徑:/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0
YARN on a Single Node(單節(jié)點(diǎn)的配置)
跟隨下面四步驟即可:
一. Configure parameters as follows
1.etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2.etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
以上是2個(gè)需要配置的文件碴里。
二.接下來(lái)可以啟動(dòng)了沈矿。
$ sbin/start-yarn.sh
三. 驗(yàn)證
1)jps的方式:
NodeManager
ResourceManager
2)網(wǎng)頁(yè)查看的方式:
http://localhost(地址):8088/
如果是阿里云記得8088加入安全組。
四. 此時(shí)見(jiàn)可以執(zhí)行maoreduce的任務(wù)了咬腋,可以先用官方提供的例子測(cè)試一下羹膳。
我們到
/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
這個(gè)路徑下找到包含執(zhí)行程序的jar包
jarName:hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
用hadoop jar 命令
此處比如計(jì)算pi的值
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 3 4
上述執(zhí)行結(jié)果會(huì)得到pi的值。
五.關(guān)閉 yarn
$ sbin/stop-yarn.sh