1 client端請(qǐng)求任務(wù)之后，與resourcemanager通信提交任務(wù)。
2 resourcemanager會(huì)有一個(gè)響應(yīng)，分配一個(gè)jobid 以及一個(gè)hdfs目錄
.../staging/jobid
3 client將jar包上傳wc.jar job.xml 以及分片的信息到hdfs目錄
4 client通知resourcemanager 上傳完成
5 recourcemanager 根據(jù)分片的信息創(chuàng)建任務(wù)（每一個(gè)分片一個(gè)任務(wù)），并添 加到一個(gè)任務(wù)隊(duì)列
6 resourcemanager 在隨機(jī)一個(gè)nodemanager啟動(dòng)一個(gè)mrappmaster.
7 mrappmaster與mrappmaster通信命雀，取出任務(wù)，申請(qǐng)資源
8 resourcemanager 返回資源信息等mrappmaster中解析收到的信息在解析文件中指定的nodemanager中創(chuàng)建容器（存放資源）建立maptask
9 循環(huán)56步斩箫，直到任務(wù)隊(duì)列為空吏砂。
10 mrappmaster是監(jiān)控task的，maptask與mrappmaster通信.上報(bào)task狀態(tài)
11 所有map task 執(zhí)行完成乘客，與resourcemanager通信赊抖，map完成計(jì)算釋放資源，并且申請(qǐng)運(yùn)行reduce task 的資源
12 resourcemanager為reduce task 分配容器資源寨典。
13 nodemanager 中的reduce task也需要與mrappmaster通信
14 reduce task將結(jié)果寫入到hdfs中氛雪。
注意：通常情況下一個(gè)nodemanager和一個(gè)datanode是在同一個(gè)節(jié)點(diǎn)上面
hadoop jar 的運(yùn)行過程
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來约急，“玉大人零远，你說我怎么就攤上這事⊙岜危” “怎么了牵辣？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)奴饮。 經(jīng)常有香客問我纬向，道長(zhǎng)，這世上最難降的妖魔是什么戴卜？ 我笑而不...
- 正文 為了忘掉前任逾条，我火速辦了婚禮，結(jié)果婚禮上投剥，老公的妹妹穿的比我還像新娘师脂。我一直安慰自己，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布危彩。 她就那樣靜靜地躺著攒磨，像睡著了一般泳桦。 火紅的嫁衣襯著肌膚如雪汤徽。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼壳鹤，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來了饰迹？” 一聲冷哼從身側(cè)響起芳誓，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎啊鸭，沒想到半個(gè)月后锹淌，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡赠制，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年赂摆，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片钟些。...
- 正文 年R本政府宣布抚垃，位于F島的核電站喷楣，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏鹤树。R本人自食惡果不足惜铣焊，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望罕伯。 院中可真熱鬧曲伊，春花似錦、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至懈糯，卻和暖如春涤妒，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背赚哗。 一陣腳步聲響...
- 正文 我出身青樓贿讹，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親够掠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子民褂，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- MapReduce框架結(jié)構(gòu)## MapReduce是一個(gè)用于大規(guī)模數(shù)據(jù)處理的分布式計(jì)算模型MapReduce模型主...
- YarnYarn產(chǎn)生背景：Yarn直接來自于MR1.0MR1.0 問題：采用的是master slave結(jié)構(gòu)，ma...
- 一疯潭、HDFS簡(jiǎn)介 1.1Hadoop2介紹 hadoop1是由HDFS和MapReduce組成赊堪，hadoop2由H...
- 轉(zhuǎn)自：http://www.cnblogs.com/yangsy0915/p/5559969.html 市面上的h...
