spark:spark內核架構

1.首先用spark-submit提交我們的application,那么在standalone模式下医窿,會在client啟動一個Driver進程,這個driver就是執(zhí)行我們的application應用程序,也就是我們編寫的代碼。

2.driver做的第一件事情就去構造 sparkContext秉颗,構造sparkContext 就會初始化我們的DAGScheduler和TaskScheduler.

3.構造完TaskScheduler后痢毒,會到Master去注冊我們的application.

4.master會根據(jù)自己的資源調度算法去worker上啟動executor,executor啟動完后會到taskScheduler反向注冊.

5.反向注冊之后送矩,就會執(zhí)行我們編寫的代碼,每次執(zhí)行到action操作時哪替,就會創(chuàng)建一個job.

6.這個job就會給DAGScheduler,DAGScheduler就會根據(jù)自己的stage劃分算法栋荸,把job劃分成多個stage.

7.每個stage就會創(chuàng)建一個taskSet,taskSet會提交給TaskScheduler,TaskScheduler就會把taskset分配到剛才反向注冊過來的executor上取執(zhí)行。

8.executor接受到task后晌块,會用TaskRunner來封裝task爱沟,然后從線程池中取出一個task來執(zhí)行。執(zhí)行就是要執(zhí)行算子以及函數(shù)匆背,拷貝呼伸,反序列化,然后執(zhí)行task.

9.task分為兩種钝尸,ShuffleMapTask和ResultTask括享,只有最后一個stage是ResultTask,之前的stage珍促,都是ShuffleMapTask.

10.所以整個spark應用程序的執(zhí)行铃辖,就是stage分批次作為taskset提交到executor執(zhí)行,每個task針對Rdd的一個partition,執(zhí)行我們定義的算子函數(shù)猪叙。以此類推娇斩,直到執(zhí)行所有的操作。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末穴翩,一起剝皮案震驚了整個濱河市包归,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌矢腻,老刑警劉巖敲茄,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異副签,居然都是意外死亡遥椿,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進店門淆储,熙熙樓的掌柜王于貴愁眉苦臉地迎上來冠场,“玉大人,你說我怎么就攤上這事本砰〔耆梗” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵点额,是天一觀的道長舔株。 經常有香客問我,道長还棱,這世上最難降的妖魔是什么载慈? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮珍手,結果婚禮上办铡,老公的妹妹穿的比我還像新娘辞做。我一直安慰自己,他們只是感情好寡具,可當我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布秤茅。 她就那樣靜靜地躺著,像睡著了一般童叠。 火紅的嫁衣襯著肌膚如雪框喳。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天厦坛,我揣著相機與錄音帖努,去河邊找鬼。 笑死粪般,一個胖子當著我的面吹牛拼余,可吹牛的內容都是我干的。 我是一名探鬼主播亩歹,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼匙监,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了小作?” 一聲冷哼從身側響起亭姥,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎顾稀,沒想到半個月后达罗,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡静秆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年粮揉,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抚笔。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡扶认,死狀恐怖,靈堂內的尸體忽然破棺而出殊橙,到底是詐尸還是另有隱情辐宾,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布膨蛮,位于F島的核電站叠纹,受9級特大地震影響,放射性物質發(fā)生泄漏敞葛。R本人自食惡果不足惜誉察,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望制肮。 院中可真熱鬧冒窍,春花似錦、人聲如沸豺鼻。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽儒飒。三九已至谬莹,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間桩了,已是汗流浹背附帽。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留井誉,地道東北人蕉扮。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像颗圣,于是被迫代替她去往敵國和親喳钟。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內容

  • spark internal - 作業(yè)調度 作者:劉旭暉 Raymond 轉載請注明出處Email:coloran...
    當幸福來敲門我閱讀 844評論 0 0
  • Job 物理執(zhí)行圖 在 Overview 里我們初步介紹了 DAG 型的物理執(zhí)行圖在岂,里面包含 stages 和 t...
    Albert陳凱閱讀 1,551評論 0 3
  • 整體架構 DAGScheduler:負責分析用戶提交的應用奔则,并根據(jù)計算任務的依賴關系建立DAG,且將DAG劃分為不...
    木戎閱讀 9,426評論 0 2
  • 今天心情如坐過山車一般蔽午,從云端直接跌到谷底易茬,早上先生不停的贊美我,稱我是個好愛人及老,好妻子抽莱,晚上和朋友們一起吃...
    晨露一南寧閱讀 157評論 0 0
  • 又一次失眠,坐的臥鋪睡不著骄恶。以前大學的時候都是坐硬座岸蜗,為了省錢,現(xiàn)在開始坐臥鋪了之后就不再想坐硬座了叠蝇,所謂的苦到甜...
    花兒的博文閱讀 180評論 0 0