Spark性能調(diào)優(yōu)03-數(shù)據(jù)本地化調(diào)優(yōu)

1. task數(shù)據(jù)本地化級別

(1) PROCESS_LOCAL:進程本地化

(2) NODE_LOCAL:節(jié)點本地化

(3) NO_PREF:沒有本地化級別

(4) RACK_LOCAL:機架本地化

(5) ANY:跨機架取數(shù)據(jù)

2. TaskScheduler發(fā)送task選擇本地化級別的策略

比如計算需要的數(shù)據(jù)在node01這臺服務(wù)器中的Executor1這個進程中通今,那么TaskScheduler會把TaskSet發(fā)往Executor1進程中執(zhí)行提完,此時的數(shù)據(jù)本地化級別時PROCESS_LOCAL亏钩,Executor1是最佳的計算位置羞酗,如果發(fā)送的task在等待了3秒,重試了5次之后仍然沒有執(zhí)行啥供,那么TaskScheduler就認(rèn)為Executor1的資源不充足惨远,不足以支撐計算,那么降低數(shù)據(jù)本地化級別蟆盹,把task發(fā)往node01的另外一個進程Executor2中,這時的數(shù)據(jù)本地化級別為NODE_LOCAL闺金,如果還無法執(zhí)行,降低為RACK_LOCAL峰档,ANY败匹,直到Task可以開始計算

3. 查看某任務(wù)的數(shù)據(jù)本地化級別的方法

(1) 在Spark Web UI中查看

(2) 查看Spark作業(yè)的執(zhí)行日志

4. 修改task數(shù)據(jù)本地化級別的方法

增加等待時間,默認(rèn)3s讥巡,可以成倍數(shù)提高掀亩,按照6s,12s欢顷,24s…這樣的方式來修改槽棍,這樣可以快速找到最佳值,配置參數(shù):

# 可以調(diào)整全部級別的task執(zhí)行等待時間抬驴,也可以分別調(diào)整
spark.locality.wait         default(3s)
spark.locality.wait.process default(3s)
spark.locality.wait.node    default(3s)
spark.locality.wait.rack    default(3s)

在默認(rèn)情況下炼七,最初的數(shù)據(jù)本地化級別為PROCESS_LOCAL,如果等待了3s布持,重試5次后還沒有開始執(zhí)行task豌拙,那么會降低級別,再嘗試開始執(zhí)行task题暖,比如按傅,我們就想讓task的數(shù)據(jù)本地化級別為PROCESS_LOCAL,那么把spark.locality.wait.process修改為一個很大的值胧卤,那么這個task會一直等待唯绍,直到本機的executor中已經(jīng)加載過來了需要的數(shù)據(jù),當(dāng)然枝誊,我們不會這么做况芒。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市侧啼,隨后出現(xiàn)的幾起案子牛柒,更是在濱河造成了極大的恐慌堪簿,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,185評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件皮壁,死亡現(xiàn)場離奇詭異椭更,居然都是意外死亡,警方通過查閱死者的電腦和手機蛾魄,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,445評論 3 385
  • 文/潘曉璐 我一進店門虑瀑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人滴须,你說我怎么就攤上這事舌狗。” “怎么了扔水?”我有些...
    開封第一講書人閱讀 157,684評論 0 348
  • 文/不壞的土叔 我叫張陵痛侍,是天一觀的道長。 經(jīng)常有香客問我魔市,道長主届,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,564評論 1 284
  • 正文 為了忘掉前任待德,我火速辦了婚禮君丁,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘将宪。我一直安慰自己绘闷,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,681評論 6 386
  • 文/花漫 我一把揭開白布较坛。 她就那樣靜靜地躺著印蔗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪燎潮。 梳的紋絲不亂的頭發(fā)上喻鳄,一...
    開封第一講書人閱讀 49,874評論 1 290
  • 那天,我揣著相機與錄音确封,去河邊找鬼除呵。 笑死,一個胖子當(dāng)著我的面吹牛爪喘,可吹牛的內(nèi)容都是我干的颜曾。 我是一名探鬼主播,決...
    沈念sama閱讀 39,025評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼秉剑,長吁一口氣:“原來是場噩夢啊……” “哼泛豪!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,761評論 0 268
  • 序言:老撾萬榮一對情侶失蹤诡曙,失蹤者是張志新(化名)和其女友劉穎臀叙,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體价卤,經(jīng)...
    沈念sama閱讀 44,217評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡劝萤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,545評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了慎璧。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片床嫌。...
    茶點故事閱讀 38,694評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖胸私,靈堂內(nèi)的尸體忽然破棺而出厌处,到底是詐尸還是另有隱情,我是刑警寧澤岁疼,帶...
    沈念sama閱讀 34,351評論 4 332
  • 正文 年R本政府宣布阔涉,位于F島的核電站,受9級特大地震影響五续,放射性物質(zhì)發(fā)生泄漏洒敏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,988評論 3 315
  • 文/蒙蒙 一疙驾、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧郭毕,春花似錦它碎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,778評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至乘碑,卻和暖如春挖息,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背兽肤。 一陣腳步聲響...
    開封第一講書人閱讀 32,007評論 1 266
  • 我被黑心中介騙來泰國打工套腹, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人资铡。 一個月前我還...
    沈念sama閱讀 46,427評論 2 360
  • 正文 我出身青樓电禀,卻偏偏與公主長得像,于是被迫代替她去往敵國和親笤休。 傳聞我的和親對象是個殘疾皇子尖飞,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,580評論 2 349

推薦閱讀更多精彩內(nèi)容