yarn-cluster 模式下獲取driver ip

spark on yarn共有兩種提交方式悴晰,
1 是yarn-client铡溪,此時(shí)driver節(jié)點(diǎn)就是spark作業(yè)的提交節(jié)點(diǎn)
2 是yarn-cluster泪喊,此時(shí)spark作業(yè)的提交節(jié)點(diǎn)相當(dāng)于一個(gè)提交client,只負(fù)責(zé)提交作業(yè)至yarn集群饲帅,applicationMaster(也即driver)是集群中的任一節(jié)點(diǎn)瘤泪,所以需要通過其他方式來獲取driver的信息;

目前可以通過如下幾種方式來獲取
1赦邻、yarnClient API

val appReport = yarnClient.getApplication(appid)
val amHost = appReport.getHost()

2实檀、yarn rest API
yarn提供了非常多的rest API膳犹,其中

GET [http://rm-http-address:port/ws/v1/cluster/apps/appId]

返回結(jié)果(json或者XML)如下:
...
"amHostHttpAddress": "host.domain.com:8042",
...

3、yarn運(yùn)行日志
1)作業(yè)運(yùn)行完以后铐料,在yarn的任一節(jié)點(diǎn)執(zhí)行yarn logs -applicationId appId 可以獲取完整的運(yùn)行日志豺旬,其中即包括driver的日志也包括各executor的日志

2)yarn中資源的最小單位是container,其中container編號(hào)為000001的即是AM所在的container篓跛,可以在日志中找到如下信息:

Container: container_e02_1519868127773_1010_01_000001 on hostname_8041

3)此外坦刀,也可以根據(jù)driverUrl關(guān)鍵字搜索日志獲仁咭А:

driverUrl: spark://CoarseGrainedScheduler@172.168.4.8:35377,  executorHostname: hostname

參考:
1沐寺、http://hadoop.apache.org/docs/r2.6.0/api/org/apache/hadoop/yarn/api/records/ApplicationReport.html
2芽丹、http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Metrics_API
3卜朗、https://hvivani.com.ar/2016/03/30/get-the-driver-ip-in-spark-yarn-cluster-mode/

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末场钉,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子泳猬,更是在濱河造成了極大的恐慌宇植,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件指郁,死亡現(xiàn)場離奇詭異忙上,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)闲坎,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門疫粥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人腰懂,你說我怎么就攤上這事梗逮。” “怎么了绣溜?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵慷彤,是天一觀的道長。 經(jīng)常有香客問我怖喻,道長,這世上最難降的妖魔是什么罢防? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任艘虎,我火速辦了婚禮,結(jié)果婚禮上咒吐,老公的妹妹穿的比我還像新娘野建。我一直安慰自己属划,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布候生。 她就那樣靜靜地躺著同眯,像睡著了一般。 火紅的嫁衣襯著肌膚如雪唯鸭。 梳的紋絲不亂的頭發(fā)上须蜗,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音目溉,去河邊找鬼明肮。 笑死,一個(gè)胖子當(dāng)著我的面吹牛缭付,可吹牛的內(nèi)容都是我干的柿估。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼陷猫,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼秫舌!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起绣檬,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤足陨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后娇未,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體钠右,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年忘蟹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了飒房。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡媚值,死狀恐怖狠毯,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情褥芒,我是刑警寧澤嚼松,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站锰扶,受9級(jí)特大地震影響献酗,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜坷牛,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一罕偎、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧京闰,春花似錦颜及、人聲如沸甩苛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽讯蒲。三九已至,卻和暖如春肄扎,著一層夾襖步出監(jiān)牢的瞬間墨林,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國打工犯祠, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留旭等,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓雷则,卻偏偏與公主長得像,于是被迫代替她去往敵國和親肪笋。 傳聞我的和親對(duì)象是個(gè)殘疾皇子月劈,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容