spark中job,stage,task的關系

Stage 是spark 中一個非常重要的概念 降淮,

在一個job 中劃分stage 的一個重要依據(jù)是否有shuflle 發(fā)生 ,也就是是否會發(fā)生數(shù)據(jù)的重組 (重新組織數(shù)據(jù))系吩。

在一個stage 內(nèi)部會有很多的task 被執(zhí)行,在同一個stage 中 所有的task 結(jié)束后才能根據(jù)DAG 依賴執(zhí)行下一個stage 中的task。

job 有很多任務組成,每組任務可以看成是一個stage

Task 是spark 中另一個很重要的概念?

task 跟 partition? block 等概念緊密相連 榨崩,task 是執(zhí)行job 的邏輯單元 ,在task 會在每個executor 中的cpu core 中執(zhí)行

Job 是一個比task 和 stage 更大的邏輯概念,

job 可以認為是我們在driver 或是通過spark-submit 提交的程序中一個action 焦辅,在我們的程序中有很多action? 所有也就對應很多的jobs

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末哩盲,一起剝皮案震驚了整個濱河市惠险,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌抱慌,老刑警劉巖强经,帶你破解...
    沈念sama閱讀 222,627評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件炬称,死亡現(xiàn)場離奇詭異鲸伴,居然都是意外死亡姓赤,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3 399
  • 文/潘曉璐 我一進店門劳坑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事离斩。” “怎么了操软?”我有些...
    開封第一講書人閱讀 169,346評論 0 362
  • 文/不壞的土叔 我叫張陵耀找,是天一觀的道長。 經(jīng)常有香客問我狞悲,道長妇斤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,097評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 69,100評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上映胁,一...
    開封第一講書人閱讀 52,696評論 1 312
  • 那天廷臼,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛盯拱,可吹牛的內(nèi)容都是我干的奢浑。 我是一名探鬼主播徊哑,決...
    沈念sama閱讀 41,165評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼份殿!你這毒婦竟也來了拾枣?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,108評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎洲尊,沒想到半個月后姆吭,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體锰瘸,經(jīng)...
    沈念sama閱讀 46,646評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡舞萄,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,709評論 3 342
  • 正文 我和宋清朗相戀三年崎弃,在試婚紗的時候發(fā)現(xiàn)自己被綠了饲做。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盆均。...
    茶點故事閱讀 40,861評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蔗草,靈堂內(nèi)的尸體忽然破棺而出咒精,到底是詐尸還是另有隱情,我是刑警寧澤拄氯,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布姐霍,位于F島的核電站艇纺,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏邮弹。R本人自食惡果不足惜黔衡,卻給世界環(huán)境...
    茶點故事閱讀 42,196評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望腌乡。 院中可真熱鬧盟劫,春花似錦、人聲如沸与纽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽急迂。三九已至影所,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間僚碎,已是汗流浹背猴娩。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留勺阐,地道東北人卷中。 一個月前我還...
    沈念sama閱讀 49,287評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像渊抽,于是被迫代替她去往敵國和親蟆豫。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,860評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 那年我們還很稚嫩懒闷,那年我們很快樂十减,那年我很喜歡你。 今天和室友聊天想起了高中時候的我愤估,那時候天天除了學習帮辟,還有隔壁...
    Z星月閱讀 407評論 0 0
  • 南無阿彌陀佛 凈土法門 若信得及 五逆十惡 皆能往生
    釋宗音閱讀 113評論 0 0
  • 王寶強的人生可稱得上是一部電視劇织阅,但情節(jié)挺俗套,陰謀震捣、愛情荔棉、貪色闹炉、騙財,由愛到恨的相殺反撲润樱,古今中外有大量的文學作...
    水木風歌閱讀 412評論 0 0