spark yarn-cluster 和 yarn client

ResourceManager:是集群所有應(yīng)用程序的資源管理器埃脏,能夠管理集群的計算資源并為每個Application分配,它是一個純粹的調(diào)度器东羹。

NodeManager:是每一臺slave機器的代理,執(zhí)行應(yīng)用程序赖捌,并監(jiān)控應(yīng)用程序的資源使用情況案疲。?

Application Master:每一個應(yīng)用程序都會有一個Application Master封恰,它的主要職責是向RM申請資源、在每個NodeManager上啟動executors褐啡、監(jiān)控和跟蹤應(yīng)用程序的進程等诺舔。

1 Yarn-Cluster


執(zhí)行過程:?

(1)客戶端提交Application到RM,這個過程做的工作有判斷集群資源是否滿足需求备畦、讀取配置文件低飒、設(shè)置環(huán)境變量、設(shè)置Application名字等等懂盐;?

(2)RM在某一臺NodeManager上啟動Application Master逸嘀,AM所在的機器是YARN分配的,事先是不知道的允粤;?

(3)AM初始化SparkContext,開始驅(qū)動程序翼岁,這個NodeManager便是Driver类垫;?

(4)AM向ResourceManager申請資源,并在每臺NodeManager上啟動相應(yīng)的executors琅坡;?

(5)初始化后的SparkContext中的通信模塊可以通過AKKA與NodeManager上的容器進行通信悉患。?

比以前的更多的理解:?

(1)Application Master所在的NodeManager是Yarn隨機分配的,不是在主節(jié)點上榆俺,

(2)AM是Yarn啟動的第一個容器售躁;?

(3)AM所在的NodeManager就是平常說的Driver端,因為這個AM啟動了SparkContext茴晋,之前實驗室說的“誰初始化的SparkContext誰就是Driver端”一直理解錯了陪捷,以為這句話是相對于機器說的,但其實是相對于Cluster和Client的集群模式來說的(不知道其他模式Mesos诺擅、standalone是不是也是這樣)市袖。?

(4)在Application提交到RM上之后,Client就可以關(guān)閉了烁涌,集群會繼續(xù)運行提交的程序苍碟,在實際使用時,有時候會看到這樣一種現(xiàn)象撮执,關(guān)閉Client會導(dǎo)致程序終止微峰,其實這個Application還沒有提交上去,關(guān)閉Client打斷了提交的過程抒钱,Application當然不會

1 Yarn-Client

(1)Client Application會初始化SparkContext蜓肆,這是Driver端颜凯;?

(2)提交Application到RM;?

(3)應(yīng)該是在RM所在的機器上啟動AM(症杏?不確定)装获;

(4)AM向RM申請資源,并啟動NodeManager上的Executors厉颤;?

(5)Executors與SparkContext初始化后的通信模塊保持通信穴豫,因為是與Client端通信,所以Client不能關(guān)閉逼友。

YARN-Cluster和YARN-Client的區(qū)別

(1)SparkContext初始化不同精肃,這也導(dǎo)致了Driver所在位置的不同,YarnCluster的Driver是在集群的某一臺NM上帜乞,但是Yarn-Client就是在RM在機器上司抱;?

(2)而Driver會和Executors進行通信,這也導(dǎo)致了Yarn_cluster在提交App之后可以關(guān)閉Client黎烈,而Yarn-Client不可以习柠;?

(3)最后再來說應(yīng)用場景,Yarn-Cluster適合生產(chǎn)環(huán)境照棋,Yarn-Client適合交互和調(diào)試资溃。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市烈炭,隨后出現(xiàn)的幾起案子溶锭,更是在濱河造成了極大的恐慌,老刑警劉巖符隙,帶你破解...
    沈念sama閱讀 206,378評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件趴捅,死亡現(xiàn)場離奇詭異,居然都是意外死亡霹疫,警方通過查閱死者的電腦和手機拱绑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來丽蝎,“玉大人欺栗,你說我怎么就攤上這事≌髀停” “怎么了迟几?”我有些...
    開封第一講書人閱讀 152,702評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長栏笆。 經(jīng)常有香客問我类腮,道長,這世上最難降的妖魔是什么蛉加? 我笑而不...
    開封第一講書人閱讀 55,259評論 1 279
  • 正文 為了忘掉前任蚜枢,我火速辦了婚禮缸逃,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘厂抽。我一直安慰自己需频,他們只是感情好,可當我...
    茶點故事閱讀 64,263評論 5 371
  • 文/花漫 我一把揭開白布筷凤。 她就那樣靜靜地躺著昭殉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪藐守。 梳的紋絲不亂的頭發(fā)上挪丢,一...
    開封第一講書人閱讀 49,036評論 1 285
  • 那天,我揣著相機與錄音卢厂,去河邊找鬼乾蓬。 笑死,一個胖子當著我的面吹牛慎恒,可吹牛的內(nèi)容都是我干的任内。 我是一名探鬼主播,決...
    沈念sama閱讀 38,349評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼融柬,長吁一口氣:“原來是場噩夢啊……” “哼族奢!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起丹鸿,我...
    開封第一講書人閱讀 36,979評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎棚品,沒想到半個月后靠欢,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,469評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡铜跑,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,938評論 2 323
  • 正文 我和宋清朗相戀三年门怪,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锅纺。...
    茶點故事閱讀 38,059評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡掷空,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出囤锉,到底是詐尸還是另有隱情坦弟,我是刑警寧澤,帶...
    沈念sama閱讀 33,703評論 4 323
  • 正文 年R本政府宣布官地,位于F島的核電站酿傍,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏驱入。R本人自食惡果不足惜赤炒,卻給世界環(huán)境...
    茶點故事閱讀 39,257評論 3 307
  • 文/蒙蒙 一氯析、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧莺褒,春花似錦掩缓、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,262評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至旷余,卻和暖如春绢记,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背正卧。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工蠢熄, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人炉旷。 一個月前我還...
    沈念sama閱讀 45,501評論 2 354
  • 正文 我出身青樓签孔,卻偏偏與公主長得像,于是被迫代替她去往敵國和親窘行。 傳聞我的和親對象是個殘疾皇子饥追,可洞房花燭夜當晚...
    茶點故事閱讀 42,792評論 2 345