Spark RPC 之 Executor 向Driver下載 Jar绍填、File 流程

我們先回顧下 Spark 的 client 和 server 通過RPC通信流程,先看下流程圖:
client 通過 NettyRpcEndpointRef 調(diào)用 ask 通過 NettyRpcEnv 把消息傳給 OutBox 的 Messages:


OutBox 調(diào)用 send 滔驶,通過 TransportClient 然后 TransportResponseHandler 把消息發(fā)給 server:



在 TransportClient.sendRpc 方法中揭糕,生成了 RequestID 和 message 進行綁定,client 通過 requestId 來追蹤請求著角。

server 通過 TransportChannelHandler 的 channelRead 收到消息吏口,并調(diào)用 TransportRequestHandler 的 handle 方法,在這里對 requestMessage 的類型進行了區(qū)分产徊,以分別處理。然后調(diào)用 NettyRpcEnv 的receive 方法戈盈,把消息傳遞給 Dispatcher深滚,通過 Dispatcher、Inbox Messages 和 Message Loop 完成對請求消息的分發(fā)及處理血柳,如圖所示:


然后 Dispatcher 把消息分發(fā)到 EndPoint生兆,調(diào)用 RemoteNettyRpcCallContext RpcResponseCallBack TransportRequestHandler,把消息發(fā)給Client:


client 還是通過 TransportChannelHandler 的 channelRead 接收消息根吁,然后調(diào)用 TransportResponse 然后回調(diào)到 RpcResponseCallBack 的 onSuccess 方法:


上面的流程詳細的可參考:https://blog.csdn.net/u011564172/article/details/62043236

下載 jar file

RpcEnvFileServer 作用于 driver 程序击敌,為executor提供jar和file的遠程下載服務(wù)拴事,內(nèi)部實現(xiàn)有兩個,NettyStreamManager刃宵、HttpBasedFileServer牲证,底層實現(xiàn)分別為netty和jetty,同時介紹了RpcEnvFileServer提供下載服務(wù)的流程:
NettyStreamManager:


上面這個流程 和 server 接收 client 消息一樣的十厢,只不過是 在 TransportRequestHandler 的 handle 方法中 對 requestMessage 做了區(qū)分,如果是 Stream 類型消息寿烟,則調(diào)用 processStreamRequest 方法:



handle方法中處理Stream請求的processStreamRequest方法筛武,如上圖,StreamManager調(diào)用openStream方法内边,返回file對象的封裝待锈,至此,流程結(jié)束竿音。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末春瞬,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子宽气,更是在濱河造成了極大的恐慌,老刑警劉巖绪氛,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件涝影,死亡現(xiàn)場離奇詭異,居然都是意外死亡序目,警方通過查閱死者的電腦和手機唆樊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進店門刻蟹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人片效,你說我怎么就攤上這事〉硪拢” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵蛮浑,是天一觀的道長沮稚。 經(jīng)常有香客問我册舞,道長,這世上最難降的妖魔是什么调鲸? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任藐石,我火速辦了婚禮,結(jié)果婚禮上贯钩,老公的妹妹穿的比我還像新娘。我一直安慰自己祸穷,他們只是感情好勺三,可當我...
    茶點故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著祈远,像睡著了一般商源。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上牡彻,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天,我揣著相機與錄音缎除,去河邊找鬼。 笑死梢为,一個胖子當著我的面吹牛轰坊,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播肴沫,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼樊零,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了驻襟?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤郁副,失蹤者是張志新(化名)和其女友劉穎豌习,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體既荚,經(jīng)...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡栋艳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年吸占,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片矾屯。...
    茶點故事閱讀 38,716評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡件蚕,死狀恐怖惧所,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤纽绍,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布拌夏,位于F島的核電站,受9級特大地震影響障簿,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜皆怕,卻給世界環(huán)境...
    茶點故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一西篓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧虱黄,春花似錦吮成、人聲如沸橱乱。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至节预,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蛤吓,已是汗流浹背糠赦。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工锅棕, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留淌山,地道東北人。 一個月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓德绿,卻偏偏與公主長得像退渗,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子会油,可洞房花燭夜當晚...
    茶點故事閱讀 43,612評論 2 350

推薦閱讀更多精彩內(nèi)容