Mapreduce 作業(yè)

作業(yè)的提交

創(chuàng)建內部的jobsubmiter實例來提交作業(yè),具體步驟

1.向資源管理器 resource manager請求應用ID作為作業(yè)ID

2.檢查作業(yè)的輸出說明,如指定輸出目錄等

3.計算作業(yè)的輸入分片公黑,對文件的分片

4.將運行作業(yè)所需要的資源,如文件分片,jar文件等荣德,復制到一個以作業(yè)ID為目錄下的共享文件系統(tǒng)中闷煤,調用submitapplication()提交作業(yè),調用資源管理器

作業(yè)初始化

1.資源管理器收到submitapplycation()調用后涮瞻,將請求傳給yarn調度器

2.調度器分配容器container鲤拿,然后資源管理器在container中執(zhí)行application mater進程,接收來自任務的進度和報告署咽。

3.application master 接受來自共享文件系統(tǒng)的文件分片近顷,來確定對每個分片創(chuàng)建一個map任務以及reduce任務,分配任務ID

4.在運行任務之前宁否,調用setupjob()設置作業(yè)最終輸出目錄及任務最終輸出目錄

任務分配

1.為所有map和reduce任務想資源管理器申請container窒升,優(yōu)先請求map任務容器,

2.確定cpu和內存需求慕匠,設計參數(shù) mapreduce.map.memory.mb mapreduce.reduce.memory.mb內存 mapreduce.map.cpu.vcores mapreduce.reduce.cpu.vcoresp.memory.mb CPU

任務的執(zhí)行

1.為任務分配完container饱须,application mater與節(jié)點管理器通信來啟動container

2.任務所需資源本地化,然后運行map或者reduce任務台谊。

任務進度和狀態(tài)更新

任務在運行時蓉媳,需要對進度保持跟蹤。對于map任務而言锅铅,任務進度是已處理輸入的所占百分比酪呻,reduce而言是系統(tǒng)計算的已處理輸入所占百分比。

計數(shù)器:負責對任務進行過程中各個時間的計數(shù)盐须,如輸入行數(shù)等玩荠,通過每秒輪詢application mater獲取。

作業(yè)完成

1.application master收到最后一個任務完成通知后丰歌,將作業(yè)狀態(tài)置為成功姨蟋,將信息輸出到控制臺

2.application master和container 清理工作狀態(tài),將中間輸出刪除立帖,作業(yè)日志被記錄被存檔以便日后查詢

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末眼溶,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子晓勇,更是在濱河造成了極大的恐慌堂飞,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,607評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件绑咱,死亡現(xiàn)場離奇詭異绰筛,居然都是意外死亡,警方通過查閱死者的電腦和手機描融,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評論 3 395
  • 文/潘曉璐 我一進店門铝噩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人窿克,你說我怎么就攤上這事骏庸∶祝” “怎么了?”我有些...
    開封第一講書人閱讀 164,960評論 0 355
  • 文/不壞的土叔 我叫張陵具被,是天一觀的道長玻募。 經(jīng)常有香客問我,道長一姿,這世上最難降的妖魔是什么七咧? 我笑而不...
    開封第一講書人閱讀 58,750評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮叮叹,結果婚禮上艾栋,老公的妹妹穿的比我還像新娘。我一直安慰自己衬横,他們只是感情好裹粤,可當我...
    茶點故事閱讀 67,764評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著蜂林,像睡著了一般。 火紅的嫁衣襯著肌膚如雪拇泣。 梳的紋絲不亂的頭發(fā)上噪叙,一...
    開封第一講書人閱讀 51,604評論 1 305
  • 那天,我揣著相機與錄音霉翔,去河邊找鬼睁蕾。 笑死,一個胖子當著我的面吹牛债朵,可吹牛的內容都是我干的子眶。 我是一名探鬼主播,決...
    沈念sama閱讀 40,347評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼序芦,長吁一口氣:“原來是場噩夢啊……” “哼臭杰!你這毒婦竟也來了?” 一聲冷哼從身側響起谚中,我...
    開封第一講書人閱讀 39,253評論 0 276
  • 序言:老撾萬榮一對情侶失蹤渴杆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后宪塔,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體磁奖,經(jīng)...
    沈念sama閱讀 45,702評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,893評論 3 336
  • 正文 我和宋清朗相戀三年某筐,在試婚紗的時候發(fā)現(xiàn)自己被綠了比搭。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,015評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡南誊,死狀恐怖身诺,靈堂內的尸體忽然破棺而出蜜托,到底是詐尸還是另有隱情,我是刑警寧澤戚长,帶...
    沈念sama閱讀 35,734評論 5 346
  • 正文 年R本政府宣布盗冷,位于F島的核電站,受9級特大地震影響同廉,放射性物質發(fā)生泄漏仪糖。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,352評論 3 330
  • 文/蒙蒙 一迫肖、第九天 我趴在偏房一處隱蔽的房頂上張望锅劝。 院中可真熱鬧,春花似錦蟆湖、人聲如沸故爵。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,934評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诬垂。三九已至,卻和暖如春伦仍,著一層夾襖步出監(jiān)牢的瞬間结窘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,052評論 1 270
  • 我被黑心中介騙來泰國打工充蓝, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留隧枫,地道東北人。 一個月前我還...
    沈念sama閱讀 48,216評論 3 371
  • 正文 我出身青樓谓苟,卻偏偏與公主長得像官脓,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子涝焙,可洞房花燭夜當晚...
    茶點故事閱讀 44,969評論 2 355

推薦閱讀更多精彩內容

  • 調用方法運行MapReduce作業(yè): Job對象的submit()方法:封裝處理細節(jié) waitForComplet...
    Vechace閱讀 1,202評論 0 0
  • 簡單的 MapReduce 作業(yè)卑笨,需要一個 map 函數(shù),一個 reduce 函數(shù)和一些用來運行作業(yè)的代碼 橫向擴...
    Grits閱讀 674評論 0 2
  • 開始學習Hadoop時纱皆,經(jīng)常會聽到MapReduce湾趾。MapReduce由Map和Reduce兩個階段,每個階段都...
    稻草人_d41b閱讀 4,199評論 0 7
  • MapReduce框架結構## MapReduce是一個用于大規(guī)模數(shù)據(jù)處理的分布式計算模型MapReduce模型主...
    Bloo_m閱讀 3,754評論 0 4
  • 上周的一個早晨突然有個念頭派草,臨時決定將朋友圈功能停用搀缠。停用后在微信發(fā)現(xiàn)頁不再有朋友圈的入口,也不會收到朋友圈任何信...
    奔雷閱讀 909評論 0 3