初識(shí)大數(shù)據(jù)(3)-YARN,單節(jié)點(diǎn)部署

## YARN架構(gòu)包含的元素:

yarn_architecture.gif
  • ResourceManager:RM

    (1)整個(gè)集群同一個(gè)時(shí)間提供服務(wù)的只有一個(gè)RM,負(fù)責(zé)集群的資源統(tǒng)一調(diào)度和管理吮炕。

    (2)處理客戶(hù)端的請(qǐng)求:提交一個(gè)作業(yè)烟零,殺死一個(gè)作業(yè)

    (3)監(jiān)控我們的NM.

  • NodeManager:NM

    (1)集群中有多個(gè)nm,負(fù)責(zé)自身節(jié)點(diǎn)的資源管理和使用

    (2)定時(shí)向RM匯報(bào)本節(jié)點(diǎn)的是使用情況祝谚。

    (3)接收來(lái)自rm的各種命令,如啟動(dòng)Container

  • ApplicationMaster: AM

    (1)每個(gè)應(yīng)用程序?qū)?yīng)一個(gè)AM:MR ,Spark ,負(fù)責(zé)應(yīng)用程序的管理刊愚。

    (2)為每個(gè)應(yīng)用程序向RM申請(qǐng)資源踊跟,分配給內(nèi)部的Task,

    (3)需要與NM通信,啟動(dòng)/停止Task鸥诽,AM也運(yùn)行在Container里面商玫。

  • Container:

    (1)封裝了cpu,memory的容器牡借,程序都是在此容器內(nèi)部進(jìn)行拳昌。

    (2)也就是說(shuō)其實(shí)是一個(gè)運(yùn)行任務(wù)的環(huán)境的抽象。

  • client:

    (1)提交作業(yè)
    (2)查看任務(wù)的進(jìn)度
    (3)殺死作業(yè)

官方網(wǎng)站地址

### ## 直接如何配置單個(gè)節(jié)點(diǎn)的yarn钠龙。炬藤。。

屏幕快照 2019-02-25 下午10.01.59.png

本身的hdfs安裝路徑:/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0

YARN on a Single Node(單節(jié)點(diǎn)的配置)

跟隨下面四步驟即可:

一. Configure parameters as follows

1.etc/hadoop/mapred-site.xml


<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
2.etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

以上是2個(gè)需要配置的文件碴里。

二.接下來(lái)可以啟動(dòng)了沈矿。

$ sbin/start-yarn.sh

三. 驗(yàn)證

1)jps的方式:

 NodeManager
 ResourceManager

2)網(wǎng)頁(yè)查看的方式:

 http://localhost(地址):8088/
 如果是阿里云記得8088加入安全組。

四. 此時(shí)見(jiàn)可以執(zhí)行maoreduce的任務(wù)了咬腋,可以先用官方提供的例子測(cè)試一下羹膳。

我們到 
/usr/local/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce 
這個(gè)路徑下找到包含執(zhí)行程序的jar包

jarName:hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 

用hadoop jar 命令

此處比如計(jì)算pi的值

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar  pi 3 4

上述執(zhí)行結(jié)果會(huì)得到pi的值。

五.關(guān)閉 yarn

$ sbin/stop-yarn.sh
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末根竿,一起剝皮案震驚了整個(gè)濱河市陵像,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌寇壳,老刑警劉巖醒颖,帶你破解...
    沈念sama閱讀 218,451評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異壳炎,居然都是意外死亡泞歉,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,172評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)腰耙,“玉大人偿洁,你說(shuō)我怎么就攤上這事」涤牛” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,782評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵睬辐,是天一觀的道長(zhǎng)挠阁。 經(jīng)常有香客問(wèn)我,道長(zhǎng)溯饵,這世上最難降的妖魔是什么侵俗? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,709評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮丰刊,結(jié)果婚禮上隘谣,老公的妹妹穿的比我還像新娘。我一直安慰自己啄巧,他們只是感情好寻歧,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,733評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著秩仆,像睡著了一般码泛。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上澄耍,一...
    開(kāi)封第一講書(shū)人閱讀 51,578評(píng)論 1 305
  • 那天噪珊,我揣著相機(jī)與錄音,去河邊找鬼齐莲。 笑死痢站,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的选酗。 我是一名探鬼主播阵难,決...
    沈念sama閱讀 40,320評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼星掰!你這毒婦竟也來(lái)了多望?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,241評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤氢烘,失蹤者是張志新(化名)和其女友劉穎怀偷,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體播玖,經(jīng)...
    沈念sama閱讀 45,686評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡椎工,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,878評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片维蒙。...
    茶點(diǎn)故事閱讀 39,992評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡掰吕,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出颅痊,到底是詐尸還是另有隱情殖熟,我是刑警寧澤,帶...
    沈念sama閱讀 35,715評(píng)論 5 346
  • 正文 年R本政府宣布斑响,位于F島的核電站菱属,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏舰罚。R本人自食惡果不足惜纽门,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,336評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望营罢。 院中可真熱鬧赏陵,春花似錦、人聲如沸饲漾。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,912評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)能颁。三九已至杂瘸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間伙菊,已是汗流浹背败玉。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,040評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留镜硕,地道東北人运翼。 一個(gè)月前我還...
    沈念sama閱讀 48,173評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像兴枯,于是被迫代替她去往敵國(guó)和親血淌。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,947評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容