54拳球、Spark性能優(yōu)化之Java虛擬機垃圾回收調優(yōu)

Java虛擬機垃圾回收調優(yōu)的背景

如果在持久化RDD的時候,持久化了大量的數據珍特,那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸祝峻。因為Java虛擬機會定期進行垃圾回收,此時就會追蹤所有的java對象,并且在垃圾回收時莱找,找到那些已經不在使用的對象酬姆,然后清理舊的對象,來給新的對象騰出內存空間奥溺。
垃圾回收的性能開銷辞色,是跟內存中的對象的數量,成正比的浮定。所以相满,對于垃圾回收的性能問題,首先要做的就是桦卒,使用更高效的數據結構立美,比如array和string;其次就是在持久化rdd時闸盔,使用序列化的持久化級別悯辙,而且用Kryo序列化類庫,這樣迎吵,每個partition就只是一個對象——一個字節(jié)數組躲撰。


GC對Spark性能影響的原理.png

監(jiān)測垃圾回收

我們可以對垃圾回收進行監(jiān)測,包括多久進行一次垃圾回收击费,以及每次垃圾回收耗費的時間拢蛋。只要在spark-submit腳本中,增加一個配置即可蔫巩,--conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"谆棱。
但是要記住,這里雖然會打印出Java虛擬機的垃圾回收的相關信息圆仔,但是是輸出到了worker上的日志中垃瞧,而不是driver的日志中。
其實也完全可以通過SparkUI(4040端口)來觀察每個stage的垃圾回收的情況坪郭。

優(yōu)化executor內存比例

調節(jié)executor內存比例.png

對于垃圾回收來說个从,最重要的就是調節(jié)RDD緩存占用的內存空間,與算子執(zhí)行時創(chuàng)建的對象占用的內存空間的比例歪沃。默認情況下嗦锐,Spark使用每個executor 60%的內存空間來緩存RDD,那么在task執(zhí)行期間創(chuàng)建的對象沪曙,只有40%的內存空間來存放奕污。
在這種情況下,很有可能因為你的內存空間的不足液走,task創(chuàng)建的對象過大碳默,那么一旦發(fā)現40%的內存空間不夠用了贾陷,就會觸發(fā)Java虛擬機的垃圾回收操作。因此在極端情況下嘱根,垃圾回收操作可能會被頻繁觸發(fā)昵宇。
在上述情況下,如果發(fā)現垃圾回收頻繁發(fā)生儿子。那么就需要對那個比例進行調優(yōu),使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可砸喻,可以將RDD緩存占用空間的比例降低柔逼,從而給更多的空間讓task創(chuàng)建的對象進行使用。
因此割岛,對于RDD持久化愉适,完全可以使用Kryo序列化,加上降低其executor內存占比的方式癣漆,來減少其內存消耗维咸。給task提供更多的內存,從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收惠爽。

高級垃圾回收調優(yōu)

JVM minor gc與full gc原理.png

Java堆空間被劃分成了兩塊空間癌蓖,一個是年輕代,一個是老年代婚肆。年輕代放的是短時間存活的對象租副,老年代放的是長時間存活的對象。年輕代又被劃分了三塊空間较性,Eden用僧、Survivor1、Survivor2赞咙。
首先责循,Eden區(qū)域和Survivor1區(qū)域用于存放對象,Survivor2區(qū)域備用攀操。創(chuàng)建的對象院仿,首先放入Eden區(qū)域和Survivor1區(qū)域,如果Eden區(qū)域滿了崔赌,那么就會觸發(fā)一次Minor GC意蛀,進行年輕代的垃圾回收。Eden和Survivor1區(qū)域中存活的對象健芭,會被移動到Survivor2區(qū)域中县钥。然后Survivor1和Survivor2的角色調換,Survivor1變成了備用慈迈。
如果一個對象若贮,在年輕代中省有,撐過了多次垃圾回收,都沒有被回收掉谴麦,那么會被認為是長時間存活的蠢沿,此時就會被移入老年代。此外匾效,如果在將Eden和Survivor1中的存活對象舷蟀,嘗試放入Survivor2中時,發(fā)現Survivor2放滿了面哼,那么會直接放入老年代野宜。此時就出現了,短時間存活的對象魔策,進入老年代的問題匈子。
如果老年代的空間滿了,那么就會觸發(fā)Full GC闯袒,進行老年代的垃圾回收操作虎敦。
Spark中,垃圾回收調優(yōu)的目標就是政敢,只有真正長時間存活的對象其徙,才能進入老年代,短時間存活的對象堕仔,只能呆在年輕代擂橘。不能因為某個Survivor區(qū)域空間不夠,在Minor GC時摩骨,就進入了老年代通贞。從而造成短時間存活的對象,長期呆在老年代中占據了空間恼五,而且Full GC時要回收大量的短時間存活的對象昌罩,導致Full GC速度緩慢。
如果發(fā)現灾馒,在task執(zhí)行期間茎用,大量full gc發(fā)生了,那么說明睬罗,年輕代的Eden區(qū)域轨功,給的空間不夠大。此時可以執(zhí)行一些操作來優(yōu)化垃圾回收行為:
1容达、包括降低spark.storage.memoryFraction的比例古涧,給年輕代更多的空間,來存放短時間存活的對象花盐;
2羡滑、給Eden區(qū)域分配更大的空間菇爪,使用-Xmn即可,通常建議給Eden區(qū)域柒昏,預計大小的4/3凳宙;
3、如果使用的是HDFS文件职祷,那么很好估計Eden區(qū)域大小氏涩,如果每個executor有4個task,然后每個hdfs壓縮塊解壓縮后大小是3倍有梆,此外每個hdfs塊的大小是128M削葱,那么Eden區(qū)域的預計大小就是:4 * 3 * 128MB,然后呢淳梦,再通過-Xmn參數,將Eden區(qū)域大小設置為4 * 3 * 128 * 4/3昔字。

總結

對于垃圾回收的調優(yōu)爆袍,盡量就是說,調節(jié)executor內存的比例就可以了作郭。因為jvm的調優(yōu)是非常復雜和敏感的陨囊。除非是,真的到了萬不得已的地方夹攒,然后呢蜘醋,自己本身又對jvm相關的技術很了解,那么此時進行eden區(qū)域的調節(jié)咏尝,調優(yōu)压语,是可以的。
一些高級的參數
-XX:SurvivorRatio=4:如果值為4编检,那么就是兩個Survivor跟Eden的比例是2:4胎食,也就是說每個Survivor占據的年輕代的比例是1/6,所以允懂,你其實也可以嘗試調大Survivor區(qū)域的大小厕怜。
-XX:NewRatio=4:調節(jié)新生代和老年代的比例

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蕾总,隨后出現的幾起案子粥航,更是在濱河造成了極大的恐慌,老刑警劉巖生百,帶你破解...
    沈念sama閱讀 221,695評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件递雀,死亡現場離奇詭異,居然都是意外死亡置侍,警方通過查閱死者的電腦和手機映之,發(fā)現死者居然都...
    沈念sama閱讀 94,569評論 3 399
  • 文/潘曉璐 我一進店門拦焚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人杠输,你說我怎么就攤上這事赎败。” “怎么了蠢甲?”我有些...
    開封第一講書人閱讀 168,130評論 0 360
  • 文/不壞的土叔 我叫張陵僵刮,是天一觀的道長。 經常有香客問我鹦牛,道長搞糕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,648評論 1 297
  • 正文 為了忘掉前任曼追,我火速辦了婚禮窍仰,結果婚禮上,老公的妹妹穿的比我還像新娘礼殊。我一直安慰自己驹吮,他們只是感情好,可當我...
    茶點故事閱讀 68,655評論 6 397
  • 文/花漫 我一把揭開白布晶伦。 她就那樣靜靜地躺著碟狞,像睡著了一般。 火紅的嫁衣襯著肌膚如雪婚陪。 梳的紋絲不亂的頭發(fā)上族沃,一...
    開封第一講書人閱讀 52,268評論 1 309
  • 那天,我揣著相機與錄音泌参,去河邊找鬼脆淹。 笑死,一個胖子當著我的面吹牛沽一,可吹牛的內容都是我干的未辆。 我是一名探鬼主播,決...
    沈念sama閱讀 40,835評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼锯玛,長吁一口氣:“原來是場噩夢啊……” “哼咐柜!你這毒婦竟也來了?” 一聲冷哼從身側響起攘残,我...
    開封第一講書人閱讀 39,740評論 0 276
  • 序言:老撾萬榮一對情侶失蹤拙友,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后歼郭,有當地人在樹林里發(fā)現了一具尸體遗契,經...
    沈念sama閱讀 46,286評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,375評論 3 340
  • 正文 我和宋清朗相戀三年病曾,在試婚紗的時候發(fā)現自己被綠了牍蜂。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片漾根。...
    茶點故事閱讀 40,505評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖鲫竞,靈堂內的尸體忽然破棺而出辐怕,到底是詐尸還是另有隱情,我是刑警寧澤从绘,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布寄疏,位于F島的核電站,受9級特大地震影響僵井,放射性物質發(fā)生泄漏陕截。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,873評論 3 333
  • 文/蒙蒙 一批什、第九天 我趴在偏房一處隱蔽的房頂上張望农曲。 院中可真熱鬧,春花似錦驻债、人聲如沸朋蔫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至荷并,卻和暖如春合砂,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背源织。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評論 1 272
  • 我被黑心中介騙來泰國打工翩伪, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人谈息。 一個月前我還...
    沈念sama閱讀 48,921評論 3 376
  • 正文 我出身青樓缘屹,卻偏偏與公主長得像,于是被迫代替她去往敵國和親侠仇。 傳聞我的和親對象是個殘疾皇子轻姿,可洞房花燭夜當晚...
    茶點故事閱讀 45,515評論 2 359

推薦閱讀更多精彩內容