Java虛擬機垃圾回收調優(yōu)的背景
如果在持久化RDD的時候，持久化了大量的數據珍特，那么Java虛擬機的垃圾回收就可能成為一個性能瓶頸祝峻。因為Java虛擬機會定期進行垃圾回收，此時就會追蹤所有的java對象，并且在垃圾回收時莱找，找到那些已經不在使用的對象酬姆，然后清理舊的對象，來給新的對象騰出內存空間奥溺。
垃圾回收的性能開銷辞色，是跟內存中的對象的數量，成正比的浮定。所以相满，對于垃圾回收的性能問題，首先要做的就是桦卒，使用更高效的數據結構立美，比如array和string；其次就是在持久化rdd時闸盔，使用序列化的持久化級別悯辙，而且用Kryo序列化類庫，這樣迎吵，每個partition就只是一個對象——一個字節(jié)數組躲撰。
監(jiān)測垃圾回收
我們可以對垃圾回收進行監(jiān)測，包括多久進行一次垃圾回收击费，以及每次垃圾回收耗費的時間拢蛋。只要在spark-submit腳本中，增加一個配置即可蔫巩，--conf "spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"谆棱。
但是要記住，這里雖然會打印出Java虛擬機的垃圾回收的相關信息圆仔，但是是輸出到了worker上的日志中垃瞧，而不是driver的日志中。
其實也完全可以通過SparkUI（4040端口）來觀察每個stage的垃圾回收的情況坪郭。
優(yōu)化executor內存比例
對于垃圾回收來說个从，最重要的就是調節(jié)RDD緩存占用的內存空間，與算子執(zhí)行時創(chuàng)建的對象占用的內存空間的比例歪沃。默認情況下嗦锐，Spark使用每個executor 60%的內存空間來緩存RDD，那么在task執(zhí)行期間創(chuàng)建的對象沪曙，只有40%的內存空間來存放奕污。
在這種情況下，很有可能因為你的內存空間的不足液走，task創(chuàng)建的對象過大碳默，那么一旦發(fā)現40%的內存空間不夠用了贾陷，就會觸發(fā)Java虛擬機的垃圾回收操作。因此在極端情況下嘱根，垃圾回收操作可能會被頻繁觸發(fā)昵宇。
在上述情況下，如果發(fā)現垃圾回收頻繁發(fā)生儿子。那么就需要對那個比例進行調優(yōu)，使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可砸喻，可以將RDD緩存占用空間的比例降低柔逼，從而給更多的空間讓task創(chuàng)建的對象進行使用。
因此割岛，對于RDD持久化愉适，完全可以使用Kryo序列化，加上降低其executor內存占比的方式癣漆，來減少其內存消耗维咸。給task提供更多的內存，從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收惠爽。
高級垃圾回收調優(yōu)
Java堆空間被劃分成了兩塊空間癌蓖，一個是年輕代，一個是老年代婚肆。年輕代放的是短時間存活的對象租副，老年代放的是長時間存活的對象。年輕代又被劃分了三塊空間较性，Eden用僧、Survivor1、Survivor2赞咙。
首先责循，Eden區(qū)域和Survivor1區(qū)域用于存放對象，Survivor2區(qū)域備用攀操。創(chuàng)建的對象院仿，首先放入Eden區(qū)域和Survivor1區(qū)域，如果Eden區(qū)域滿了崔赌，那么就會觸發(fā)一次Minor GC意蛀，進行年輕代的垃圾回收。Eden和Survivor1區(qū)域中存活的對象健芭，會被移動到Survivor2區(qū)域中县钥。然后Survivor1和Survivor2的角色調換，Survivor1變成了備用慈迈。
如果一個對象若贮，在年輕代中省有，撐過了多次垃圾回收，都沒有被回收掉谴麦，那么會被認為是長時間存活的蠢沿，此時就會被移入老年代。此外匾效，如果在將Eden和Survivor1中的存活對象舷蟀，嘗試放入Survivor2中時，發(fā)現Survivor2放滿了面哼，那么會直接放入老年代野宜。此時就出現了，短時間存活的對象魔策，進入老年代的問題匈子。
如果老年代的空間滿了，那么就會觸發(fā)Full GC闯袒，進行老年代的垃圾回收操作虎敦。
Spark中，垃圾回收調優(yōu)的目標就是政敢，只有真正長時間存活的對象其徙，才能進入老年代，短時間存活的對象堕仔，只能呆在年輕代擂橘。不能因為某個Survivor區(qū)域空間不夠，在Minor GC時摩骨，就進入了老年代通贞。從而造成短時間存活的對象，長期呆在老年代中占據了空間恼五，而且Full GC時要回收大量的短時間存活的對象昌罩，導致Full GC速度緩慢。
如果發(fā)現灾馒，在task執(zhí)行期間茎用，大量full gc發(fā)生了，那么說明睬罗，年輕代的Eden區(qū)域轨功，給的空間不夠大。此時可以執(zhí)行一些操作來優(yōu)化垃圾回收行為：
1容达、包括降低spark.storage.memoryFraction的比例古涧，給年輕代更多的空間，來存放短時間存活的對象花盐；
2羡滑、給Eden區(qū)域分配更大的空間菇爪，使用-Xmn即可，通常建議給Eden區(qū)域柒昏，預計大小的4/3凳宙；
3、如果使用的是HDFS文件职祷，那么很好估計Eden區(qū)域大小氏涩，如果每個executor有4個task，然后每個hdfs壓縮塊解壓縮后大小是3倍有梆，此外每個hdfs塊的大小是128M削葱，那么Eden區(qū)域的預計大小就是：4 * 3 * 128MB，然后呢淳梦，再通過-Xmn參數，將Eden區(qū)域大小設置為4 * 3 * 128 * 4/3昔字。
總結
對于垃圾回收的調優(yōu)爆袍，盡量就是說，調節(jié)executor內存的比例就可以了作郭。因為jvm的調優(yōu)是非常復雜和敏感的陨囊。除非是，真的到了萬不得已的地方夹攒，然后呢蜘醋，自己本身又對jvm相關的技術很了解，那么此時進行eden區(qū)域的調節(jié)咏尝，調優(yōu)压语，是可以的。
一些高級的參數
-XX:SurvivorRatio=4：如果值為4编检，那么就是兩個Survivor跟Eden的比例是2:4胎食，也就是說每個Survivor占據的年輕代的比例是1/6，所以允懂，你其實也可以嘗試調大Survivor區(qū)域的大小厕怜。
-XX:NewRatio=4：調節(jié)新生代和老年代的比例
