Flink三種運(yùn)行模式分析

Flink運(yùn)行模式有三種:session俐芯、per-job玛歌、Application魂拦。
其中三者核心區(qū)別點(diǎn):1. 集群的生命周期和資源管理隔離程度 2. main()方法的執(zhí)行是在客戶端還是集群。
首先了解下Flink集群架構(gòu):


image.png

Session

Session生命周期糯笙,預(yù)先啟動一個長期運(yùn)行的集群妹田,該集群可以接收多個作業(yè)的提交唬党,即使所有作業(yè)完成后,集群仍然繼續(xù)運(yùn)行直到手動停止鬼佣。
資源隔離驶拱,所有作業(yè)共享集群,如果TM崩潰晶衷,此TM運(yùn)行的所有作業(yè)都將失敗蓝纲,如果JM掛了,所有作業(yè)都會受影響晌纫,需要重啟所有作業(yè)税迷。優(yōu)點(diǎn):由于資源預(yù)先分配好,節(jié)省大量的申請資源及啟動TM的時間锹漱。
main()方法在client執(zhí)行箭养,熟悉Flink編程模型的應(yīng)該知道,main()方法執(zhí)行過程中需要拉去任務(wù)的jar包及依賴jar包凌蔬,同時需要做StreamGraph到JobGraph的轉(zhuǎn)換露懒,會給客戶端帶來重大的壓力闯冷。如果多個作業(yè)同時提交客戶端將遇到單點(diǎn)瓶頸砂心。

per-job

生命周期懈词,隨著任務(wù)的提交而創(chuàng)建,隨著任務(wù)結(jié)束而銷毀辩诞。為每個提交的作業(yè)啟動一個集群坎弯,該集群僅可用于改作業(yè),一旦作業(yè)完成集群將會釋放译暂。作業(yè)之間互不影響抠忘。
資源隔離,隔離性最好外永,每個作業(yè)一個集群崎脉。
main()方法在client側(cè)執(zhí)行。

application

生命周期伯顶,無需先啟動Flink集群囚灼,隨著作業(yè)提交而啟動。
資源隔離祭衩,多個job組成一個application運(yùn)行在同一個集群上灶体,比如如果main()方法有多個execute(),這些作業(yè)將視為同一個應(yīng)用掐暮,運(yùn)行在同一集群中蝎抽。而對于per-job模式,會啟動多個集群路克。
main()方法在集群上執(zhí)行而不是客戶端上樟结,客戶端只會把job的jar包等上傳到HDFS,由JM進(jìn)程的集群入口類(ApplicationClusterEntryPoint)執(zhí)行main()方法生成JobGraph等

三種不同的運(yùn)行模式精算,結(jié)合資源管理的不同實(shí)現(xiàn)形成了Flink不同集群啟動的入口類狭吼。具體參考以下類圖:


image.png

可以參照類圖,從不同的類出發(fā)探索集群啟動的核心源碼殖妇,詳細(xì)了解集群啟動的奧秘刁笙,關(guān)于StandaloneSessionClusterEntrypoint模式的集群啟動源碼分析可以參考:http://www.reibang.com/p/2ebe954456e4

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市谦趣,隨后出現(xiàn)的幾起案子疲吸,更是在濱河造成了極大的恐慌,老刑警劉巖前鹅,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件摘悴,死亡現(xiàn)場離奇詭異,居然都是意外死亡舰绘,警方通過查閱死者的電腦和手機(jī)蹂喻,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進(jìn)店門葱椭,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人口四,你說我怎么就攤上這事孵运。” “怎么了蔓彩?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵治笨,是天一觀的道長。 經(jīng)常有香客問我赤嚼,道長旷赖,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任更卒,我火速辦了婚禮等孵,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘蹂空。我一直安慰自己俯萌,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布腌闯。 她就那樣靜靜地躺著绳瘟,像睡著了一般。 火紅的嫁衣襯著肌膚如雪姿骏。 梳的紋絲不亂的頭發(fā)上糖声,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天,我揣著相機(jī)與錄音分瘦,去河邊找鬼蘸泻。 笑死,一個胖子當(dāng)著我的面吹牛嘲玫,可吹牛的內(nèi)容都是我干的悦施。 我是一名探鬼主播,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼去团,長吁一口氣:“原來是場噩夢啊……” “哼抡诞!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起土陪,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤昼汗,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后鬼雀,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡源哩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年鞋吉,在試婚紗的時候發(fā)現(xiàn)自己被綠了鸦做。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,424評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡谓着,死狀恐怖泼诱,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情漆魔,我是刑警寧澤坷檩,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布却音,位于F島的核電站改抡,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏系瓢。R本人自食惡果不足惜阿纤,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望夷陋。 院中可真熱鬧欠拾,春花似錦、人聲如沸骗绕。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽酬土。三九已至荆忍,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間撤缴,已是汗流浹背刹枉。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留屈呕,地道東北人微宝。 一個月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像虎眨,于是被迫代替她去往敵國和親蟋软。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內(nèi)容