2023-09-14 hive on spark執(zhí)行RunningTasksCount數逐漸減少問題

目前發(fā)現hive on spark任務執(zhí)行時，有幾率會在執(zhí)行過程中RunningTasksCount數逐漸減少，
導致任務執(zhí)行效率降低驰徊。通過排查資源庶诡，未發(fā)現資源不足惦银，hdfs RPC也未發(fā)現異常。
具體什么原因呢？

異常情況

2023-09-10 02:12:14,765 Stage-10_0: 0/1099      Stage-9_0: 930(+85)/9467
2023-09-10 02:12:15,767 Stage-10_0: 0/1099      Stage-9_0: 932(+85)/9467
2023-09-10 02:12:16,769 Stage-10_0: 0/1099      Stage-9_0: 934(+84)/9467
2023-09-10 02:12:17,772 Stage-10_0: 0/1099      Stage-9_0: 939(+83)/9467
2023-09-10 02:12:18,774 Stage-10_0: 0/1099      Stage-9_0: 941(+83)/9467
2023-09-10 02:12:19,776 Stage-10_0: 0/1099      Stage-9_0: 949(+83)/9467
2023-09-10 02:12:20,778 Stage-10_0: 0/1099      Stage-9_0: 951(+82)/9467
2023-09-10 02:12:21,780 Stage-10_0: 0/1099      Stage-9_0: 957(+82)/9467
2023-09-10 02:12:22,782 Stage-10_0: 0/1099      Stage-9_0: 959(+81)/9467
2023-09-10 02:12:23,783 Stage-10_0: 0/1099      Stage-9_0: 968(+79)/9467
2023-09-10 02:12:24,785 Stage-10_0: 0/1099      Stage-9_0: 972(+79)/9467
2023-09-10 02:12:25,787 Stage-10_0: 0/1099      Stage-9_0: 975(+77)/9467
2023-09-10 02:12:26,792 Stage-10_0: 0/1099      Stage-9_0: 978(+76)/9467
2023-09-10 02:12:27,795 Stage-10_0: 0/1099      Stage-9_0: 980(+76)/9467
2023-09-10 02:12:28,797 Stage-10_0: 0/1099      Stage-9_0: 981(+75)/9467
2023-09-10 02:12:30,800 Stage-10_0: 0/1099      Stage-9_0: 984(+73)/9467
2023-09-10 02:12:31,802 Stage-10_0: 0/1099      Stage-9_0: 988(+71)/9467
2023-09-10 02:12:32,804 Stage-10_0: 0/1099      Stage-9_0: 993(+68)/9467
2023-09-10 02:12:33,806 Stage-10_0: 0/1099      Stage-9_0: 998(+65)/9467
2023-09-10 02:12:34,808 Stage-10_0: 0/1099      Stage-9_0: 1006(+61)/9467
2023-09-10 02:12:35,810 Stage-10_0: 0/1099      Stage-9_0: 1009(+61)/9467
2023-09-10 02:12:36,812 Stage-10_0: 0/1099      Stage-9_0: 1011(+61)/9467
2023-09-10 02:12:37,814 Stage-10_0: 0/1099      Stage-9_0: 1014(+61)/9467
2023-09-10 02:12:38,816 Stage-10_0: 0/1099      Stage-9_0: 1019(+58)/9467
2023-09-10 02:12:39,818 Stage-10_0: 0/1099      Stage-9_0: 1022(+57)/9467
2023-09-10 02:12:40,820 Stage-10_0: 0/1099      Stage-9_0: 1025(+54)/9467
2023-09-10 02:12:41,822 Stage-10_0: 0/1099      Stage-9_0: 1028(+54)/9467
2023-09-10 02:12:42,824 Stage-10_0: 0/1099      Stage-9_0: 1030(+53)/9467
2023-09-10 02:12:43,826 Stage-10_0: 0/1099      Stage-9_0: 1036(+50)/9467
2023-09-10 02:12:44,828 Stage-10_0: 0/1099      Stage-9_0: 1038(+50)/9467
2023-09-10 02:12:45,830 Stage-10_0: 0/1099      Stage-9_0: 1040(+50)/9467
2023-09-10 02:12:46,832 Stage-10_0: 0/1099      Stage-9_0: 1042(+49)/9467
2023-09-10 02:12:47,834 Stage-10_0: 0/1099      Stage-9_0: 1043(+49)/9467
2023-09-10 02:12:48,836 Stage-10_0: 0/1099      Stage-9_0: 1048(+47)/9467

正常情況

2023-09-13 02:12:16,887 Stage-10_0: 0/1099      Stage-9_0: 472(+480)/9478
2023-09-13 02:12:17,892 Stage-10_0: 0/1099      Stage-9_0: 474(+478)/9478
2023-09-13 02:12:18,895 Stage-10_0: 0/1099      Stage-9_0: 477(+478)/9478
2023-09-13 02:12:19,907 Stage-10_0: 0/1099      Stage-9_0: 486(+478)/9478
2023-09-13 02:12:20,908 Stage-10_0: 0/1099      Stage-9_0: 491(+476)/9478
2023-09-13 02:12:21,910 Stage-10_0: 0/1099      Stage-9_0: 494(+475)/9478
2023-09-13 02:12:22,912 Stage-10_0: 0/1099      Stage-9_0: 498(+474)/9478
2023-09-13 02:12:23,914 Stage-10_0: 0/1099      Stage-9_0: 505(+469)/9478
2023-09-13 02:12:24,915 Stage-10_0: 0/1099      Stage-9_0: 507(+467)/9478
2023-09-13 02:12:25,917 Stage-10_0: 0/1099      Stage-9_0: 511(+465)/9478
2023-09-13 02:12:26,919 Stage-10_0: 0/1099      Stage-9_0: 515(+464)/9478
2023-09-13 02:12:27,922 Stage-10_0: 0/1099      Stage-9_0: 522(+461)/9478
2023-09-13 02:12:28,924 Stage-10_0: 0/1099      Stage-9_0: 527(+458)/9478
2023-09-13 02:12:29,925 Stage-10_0: 0/1099      Stage-9_0: 550(+452)/9478
2023-09-13 02:12:30,928 Stage-10_0: 0/1099      Stage-9_0: 561(+446)/9478
2023-09-13 02:12:31,930 Stage-10_0: 0/1099      Stage-9_0: 568(+444)/9478
2023-09-13 02:12:32,932 Stage-10_0: 0/1099      Stage-9_0: 576(+442)/9478
2023-09-13 02:12:33,933 Stage-10_0: 0/1099      Stage-9_0: 587(+439)/9478
2023-09-13 02:12:34,935 Stage-10_0: 0/1099      Stage-9_0: 597(+436)/9478
2023-09-13 02:12:35,937 Stage-10_0: 0/1099      Stage-9_0: 605(+431)/9478
2023-09-13 02:12:36,939 Stage-10_0: 0/1099      Stage-9_0: 612(+429)/9478
2023-09-13 02:12:37,941 Stage-10_0: 0/1099      Stage-9_0: 621(+425)/9478
2023-09-13 02:12:38,942 Stage-10_0: 0/1099      Stage-9_0: 633(+418)/9478
2023-09-13 02:12:39,944 Stage-10_0: 0/1099      Stage-9_0: 639(+414)/9478
2023-09-13 02:12:40,946 Stage-10_0: 0/1099      Stage-9_0: 647(+406)/9478
2023-09-13 02:12:41,948 Stage-10_0: 0/1099      Stage-9_0: 652(+403)/9478
2023-09-13 02:12:42,950 Stage-10_0: 0/1099      Stage-9_0: 660(+398)/9478
2023-09-13 02:12:43,952 Stage-10_0: 0/1099      Stage-9_0: 671(+391)/9478
2023-09-13 02:12:44,954 Stage-10_0: 0/1099      Stage-9_0: 682(+383)/9478
2023-09-13 02:12:45,956 Stage-10_0: 0/1099      Stage-9_0: 692(+378)/9478
2023-09-13 02:12:46,959 Stage-10_0: 0/1099      Stage-9_0: 699(+375)/9478
2023-09-13 02:12:47,962 Stage-10_0: 0/1099      Stage-9_0: 705(+371)/9478
2023-09-13 02:12:48,964 Stage-10_0: 0/1099      Stage-9_0: 721(+363)/9478
2023-09-13 02:12:49,966 Stage-10_0: 0/1099      Stage-9_0: 731(+358)/9478
2023-09-13 02:12:50,968 Stage-10_0: 0/1099      Stage-9_0: 741(+351)/9478
2023-09-13 02:12:51,970 Stage-10_0: 0/1099      Stage-9_0: 754(+346)/9478

本文只針對hive on spark展開扯俱。

日志中對比之前運行過程中书蚪，task數突然變少，導致sql執(zhí)行緩慢迅栅。
通過對比執(zhí)行計劃殊校，如發(fā)現task數據變少。大概率是統(tǒng)計信息出現問題读存，可以通過重新分析統(tǒng)計信息解決为流。
ANALYZE TABLE ods_fact_sale_partion PARTITION(sale_date='2010-04-12') COMPUTE STATISTICS;

如果出現長尾，首先要考慮數據傾斜让簿。
排除數據傾斜情況敬察，需要查看日志中慢的task的執(zhí)行節(jié)點分布，如果慢task都集中在某幾個節(jié)點尔当，大概率是節(jié)點機出現異常莲祸。
首先關注CPU，內存椭迎，io(CPU IO WAIT)锐帜，磁盤讀寫效率等指標。

最后編輯于：2024.01.03 16:57:23

?著作權歸作者所有,轉載或內容合作請聯系作者

人面猴
序言：七十年代末侠碧，一起剝皮案震驚了整個濱河市抹估，隨后出現的幾起案子，更是在濱河造成了極大的恐慌弄兜，老刑警劉巖药蜻，帶你破解...
沈念sama閱讀 207,113評論 6贊 481
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現場離奇詭異替饿，居然都是意外死亡语泽，警方通過查閱死者的電腦和手機，發(fā)現死者居然都...
沈念sama閱讀 88,644評論 2贊 381
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門视卢，熙熙樓的掌柜王于貴愁眉苦臉地迎上來踱卵，“玉大人，你說我怎么就攤上這事据过⊥锷埃” “怎么了？”我有些...
開封第一講書人閱讀 153,340評論 0贊 344
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵绳锅，是天一觀的道長西饵。經常有香客問我，道長鳞芙，這世上最難降的妖魔是什么眷柔？我笑而不...
開封第一講書人閱讀 55,449評論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任期虾，我火速辦了婚禮，結果婚禮上驯嘱，老公的妹妹穿的比我還像新娘镶苞。我一直安慰自己，他們只是感情好鞠评，可當我...
茶點故事閱讀 64,445評論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布茂蚓。她就那樣靜靜地躺著，像睡著了一般谢澈。火紅的嫁衣襯著肌膚如雪煌贴。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 49,166評論 1贊 284
城市分裂傳說
那天锥忿，我揣著相機與錄音，去河邊找鬼怠肋。笑死敬鬓，一個胖子當著我的面吹牛，可吹牛的內容都是我干的笙各。我是一名探鬼主播钉答，決...
沈念sama閱讀 38,442評論 3贊 401
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼杈抢！你這毒婦竟也來了数尿？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 37,105評論 0贊 261
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤惶楼，失蹤者是張志新（化名）和其女友劉穎右蹦，沒想到半個月后，有當地人在樹林里發(fā)現了一具尸體歼捐，經...
沈念sama閱讀 43,601評論 1贊 300
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡何陆，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 36,066評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現自己被綠了豹储。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贷盲。...
茶點故事閱讀 38,161評論 1贊 334
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖剥扣，靈堂內的尸體忽然破棺而出巩剖，到底是詐尸還是另有隱情，我是刑警寧澤钠怯，帶...
沈念sama閱讀 33,792評論 4贊 323
?日本核電站爆炸內幕
正文年R本政府宣布佳魔，位于F島的核電站，受9級特大地震影響呻疹，放射性物質發(fā)生泄漏吃引。R本人自食惡果不足惜筹陵，卻給世界環(huán)境...
茶點故事閱讀 39,351評論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望镊尺。院中可真熱鬧朦佩，春花似錦、人聲如沸庐氮。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,352評論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽弄砍。三九已至仙畦，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間音婶，已是汗流浹背慨畸。一陣腳步聲響...
開封第一講書人閱讀 31,584評論 1贊 261
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留衣式，地道東北人寸士。一個月前我還...
沈念sama閱讀 45,618評論 2贊 355
代替公主和親
正文我出身青樓，卻偏偏與公主長得像碴卧，于是被迫代替她去往敵國和親弱卡。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 42,916評論 2贊 344

2023-09-14 hive on spark執(zhí)行RunningTasksCount數逐漸減少問題

推薦閱讀更多精彩內容