Java虛擬機垃圾回收調優(yōu)的背景
如果在持久化RDD的時候,持久化了大量的數據珍特,那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸祝峻。因為Java虛擬機會定期進行垃圾回收,此時就會追蹤所有的java對象,并且在垃圾回收時莱找,找到那些已經不在使用的對象酬姆,然后清理舊的對象,來給新的對象騰出內存空間奥溺。
垃圾回收的性能開銷辞色,是跟內存中的對象的數量,成正比的浮定。所以相满,對于垃圾回收的性能問題,首先要做的就是桦卒,使用更高效的數據結構立美,比如array和string;其次就是在持久化rdd時闸盔,使用序列化的持久化級別悯辙,而且用Kryo序列化類庫,這樣迎吵,每個partition就只是一個對象——一個字節(jié)數組躲撰。
監(jiān)測垃圾回收
我們可以對垃圾回收進行監(jiān)測,包括多久進行一次垃圾回收击费,以及每次垃圾回收耗費的時間拢蛋。只要在spark-submit腳本中,增加一個配置即可蔫巩,--conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"谆棱。
但是要記住,這里雖然會打印出Java虛擬機的垃圾回收的相關信息圆仔,但是是輸出到了worker上的日志中垃瞧,而不是driver的日志中。
其實也完全可以通過SparkUI(4040端口)來觀察每個stage的垃圾回收的情況坪郭。
優(yōu)化executor內存比例
對于垃圾回收來說个从,最重要的就是調節(jié)RDD緩存占用的內存空間,與算子執(zhí)行時創(chuàng)建的對象占用的內存空間的比例歪沃。默認情況下嗦锐,Spark使用每個executor 60%的內存空間來緩存RDD,那么在task執(zhí)行期間創(chuàng)建的對象沪曙,只有40%的內存空間來存放奕污。
在這種情況下,很有可能因為你的內存空間的不足液走,task創(chuàng)建的對象過大碳默,那么一旦發(fā)現40%的內存空間不夠用了贾陷,就會觸發(fā)Java虛擬機的垃圾回收操作。因此在極端情況下嘱根,垃圾回收操作可能會被頻繁觸發(fā)昵宇。
在上述情況下,如果發(fā)現垃圾回收頻繁發(fā)生儿子。那么就需要對那個比例進行調優(yōu),使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可砸喻,可以將RDD緩存占用空間的比例降低柔逼,從而給更多的空間讓task創(chuàng)建的對象進行使用。
因此割岛,對于RDD持久化愉适,完全可以使用Kryo序列化,加上降低其executor內存占比的方式癣漆,來減少其內存消耗维咸。給task提供更多的內存,從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收惠爽。
高級垃圾回收調優(yōu)
Java堆空間被劃分成了兩塊空間癌蓖,一個是年輕代,一個是老年代婚肆。年輕代放的是短時間存活的對象租副,老年代放的是長時間存活的對象。年輕代又被劃分了三塊空間较性,Eden用僧、Survivor1、Survivor2赞咙。
首先责循,Eden區(qū)域和Survivor1區(qū)域用于存放對象,Survivor2區(qū)域備用攀操。創(chuàng)建的對象院仿,首先放入Eden區(qū)域和Survivor1區(qū)域,如果Eden區(qū)域滿了崔赌,那么就會觸發(fā)一次Minor GC意蛀,進行年輕代的垃圾回收。Eden和Survivor1區(qū)域中存活的對象健芭,會被移動到Survivor2區(qū)域中县钥。然后Survivor1和Survivor2的角色調換,Survivor1變成了備用慈迈。
如果一個對象若贮,在年輕代中省有,撐過了多次垃圾回收,都沒有被回收掉谴麦,那么會被認為是長時間存活的蠢沿,此時就會被移入老年代。此外匾效,如果在將Eden和Survivor1中的存活對象舷蟀,嘗試放入Survivor2中時,發(fā)現Survivor2放滿了面哼,那么會直接放入老年代野宜。此時就出現了,短時間存活的對象魔策,進入老年代的問題匈子。
如果老年代的空間滿了,那么就會觸發(fā)Full GC闯袒,進行老年代的垃圾回收操作虎敦。
Spark中,垃圾回收調優(yōu)的目標就是政敢,只有真正長時間存活的對象其徙,才能進入老年代,短時間存活的對象堕仔,只能呆在年輕代擂橘。不能因為某個Survivor區(qū)域空間不夠,在Minor GC時摩骨,就進入了老年代通贞。從而造成短時間存活的對象,長期呆在老年代中占據了空間恼五,而且Full GC時要回收大量的短時間存活的對象昌罩,導致Full GC速度緩慢。
如果發(fā)現灾馒,在task執(zhí)行期間茎用,大量full gc發(fā)生了,那么說明睬罗,年輕代的Eden區(qū)域轨功,給的空間不夠大。此時可以執(zhí)行一些操作來優(yōu)化垃圾回收行為:
1容达、包括降低spark.storage.memoryFraction的比例古涧,給年輕代更多的空間,來存放短時間存活的對象花盐;
2羡滑、給Eden區(qū)域分配更大的空間菇爪,使用-Xmn即可,通常建議給Eden區(qū)域柒昏,預計大小的4/3凳宙;
3、如果使用的是HDFS文件职祷,那么很好估計Eden區(qū)域大小氏涩,如果每個executor有4個task,然后每個hdfs壓縮塊解壓縮后大小是3倍有梆,此外每個hdfs塊的大小是128M削葱,那么Eden區(qū)域的預計大小就是:4 * 3 * 128MB,然后呢淳梦,再通過-Xmn參數,將Eden區(qū)域大小設置為4 * 3 * 128 * 4/3昔字。
總結
對于垃圾回收的調優(yōu)爆袍,盡量就是說,調節(jié)executor內存的比例就可以了作郭。因為jvm的調優(yōu)是非常復雜和敏感的陨囊。除非是,真的到了萬不得已的地方夹攒,然后呢蜘醋,自己本身又對jvm相關的技術很了解,那么此時進行eden區(qū)域的調節(jié)咏尝,調優(yōu)压语,是可以的。
一些高級的參數
-XX:SurvivorRatio=4:如果值為4编检,那么就是兩個Survivor跟Eden的比例是2:4胎食,也就是說每個Survivor占據的年輕代的比例是1/6,所以允懂,你其實也可以嘗試調大Survivor區(qū)域的大小厕怜。
-XX:NewRatio=4:調節(jié)新生代和老年代的比例