一、Java虛擬機(jī)垃圾回收調(diào)優(yōu)的背景
如果在持久化RDD的時(shí)候,持久化了大量數(shù)據(jù)兼贡，那么Java虛擬機(jī)的垃圾回收就可能成為一個(gè)性能瓶頸攻冷。因此Java虛擬機(jī)會(huì)定期進(jìn)行垃圾回收，此時(shí)就會(huì)追蹤所有java對(duì)象遍希，并且在垃圾回收時(shí)等曼，找到那些已經(jīng)不存在使用對(duì)象，然后清理舊對(duì)象凿蒜，來給新的對(duì)象騰出內(nèi)存空間禁谦。
垃圾回收的性能開銷,是跟內(nèi)存中的對(duì)象的數(shù)量成正比的，所以對(duì)于垃圾回收的性能問題废封，首先要做的是使用更高效的數(shù)據(jù)結(jié)構(gòu)州泊，比如array和String;其次在持久化rdd時(shí)，使用序列化的持久化級(jí)別,而且用Kryo序列化類庫漂洋，這樣每個(gè)partition就只是一個(gè)對(duì)象----一個(gè)字節(jié)數(shù)組遥皂。
二、監(jiān)測(cè)垃圾回收
我們可以對(duì)垃圾回收進(jìn)行檢測(cè),包括多久進(jìn)行一次垃圾回收,以及每次垃圾回收耗費(fèi)的時(shí)間刽漂。只要在spark-submit腳本中,增加一個(gè)配置即可,--conf
"spark.executor.extraJavaOptions=-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"演训。
但是要記住，這里雖然會(huì)打印出Java虛擬機(jī)的垃圾回收的相關(guān)信息贝咙，但是是輸出到了worker上的日志中样悟，而不是driver的日志中。但是這種方式也只是一種庭猩，其實(shí)也完全可以通過SparkUI（4040端口）來觀察每個(gè)stage的垃圾回收的情況窟她。
三、優(yōu)化executor內(nèi)存比例
對(duì)于垃圾回收來說,最重要的就是調(diào)節(jié)RDD緩存占用的內(nèi)存空間,與算子執(zhí)行時(shí)創(chuàng)建的對(duì)象占用的內(nèi)存空間的比例眯娱。默認(rèn)情況下,Spark使用每個(gè)executor 60%的內(nèi)存空間來緩存RDD,那么執(zhí)行在task執(zhí)行期間創(chuàng)建對(duì)象礁苗，只有40%的內(nèi)存空間來存放。
在這種情況下徙缴，很有可能因?yàn)槟愕膬?nèi)存的不足,task創(chuàng)建的對(duì)象過大,那么一旦發(fā)現(xiàn)40%的內(nèi)存空間不夠用了,就會(huì)觸發(fā)Java虛擬機(jī)的垃圾回收操作,因此在極端情況下,垃圾回收操作可能會(huì)被頻繁觸發(fā)试伙。
在上述情況下,如果發(fā)現(xiàn)垃圾回收頻繁發(fā)生嘁信。那么就需要對(duì)那個(gè)比例進(jìn)行調(diào)優(yōu)。
使用new SparkConf().set("spark.storage.memoryFraction", "0.5")即可疏叨，可以將RDD緩存占用空間的比例降低潘靖，從而給更多的空間讓task創(chuàng)建的對(duì)象進(jìn)行使用。
因此蚤蔓，對(duì)于RDD持久化卦溢，完全可以使用Kryo序列化，加上降低其executor內(nèi)存占比的方式秀又，來減少其內(nèi)存消耗单寂。給task提供更多的內(nèi)存，從而避免task的執(zhí)行頻繁觸發(fā)垃圾回收吐辙。
四宣决、高級(jí)垃圾回收調(diào)優(yōu)
1.高級(jí)垃圾回收調(diào)優(yōu)(1)
Java堆空間被劃分成了兩塊空間，一個(gè)是年輕代昏苏，一個(gè)是老年代尊沸。年輕代放的是短時(shí)間存活的對(duì)象，老年代放的是長(zhǎng)時(shí)間存活的對(duì)象贤惯。年輕代又被劃分了三塊空間洼专，Eden、Survivor1孵构、Survivor2屁商。
首先，Eden區(qū)域和Survivor1區(qū)域用于存放對(duì)象浦译，Survivor2區(qū)域備用棒假。創(chuàng)建的對(duì)象，首先放入Eden區(qū)域和Survivor1區(qū)域精盅，如果Eden區(qū)域滿了帽哑，那么就會(huì)觸發(fā)一次Minor GC，進(jìn)行年輕代的垃圾回收叹俏。Eden和Survivor1區(qū)域中存活的對(duì)象妻枕，會(huì)被移動(dòng)到Survivor2區(qū)域中。然后Survivor1和Survivor2的角色調(diào)換粘驰，Survivor1變成了備用屡谐。如果一個(gè)對(duì)象，在年輕代中蝌数，撐過了多次垃圾回收愕掏，都沒有被回收掉，那么會(huì)被認(rèn)為是長(zhǎng)時(shí)間存活的顶伞，此時(shí)就會(huì)被移入老年代饵撑。此外剑梳，如果在將Eden和Survivor1中的存活對(duì)象，嘗試放入Survivor2中時(shí)滑潘，發(fā)現(xiàn)Survivor2放滿了垢乙，那么會(huì)直接放入老年代。此時(shí)就出現(xiàn)了语卤，短時(shí)間存活的對(duì)象追逮，進(jìn)入老年代的問題。如果老年代的空間滿了粹舵，那么就會(huì)觸發(fā)Full GC钮孵，進(jìn)行老年代的垃圾回收操作。
2.高級(jí)垃圾回收調(diào)優(yōu)(2)
Spark中齐婴，垃圾回收調(diào)優(yōu)的目標(biāo)就是油猫，只有真正長(zhǎng)時(shí)間存活的對(duì)象，才能進(jìn)入老年代柠偶，短時(shí)間存活的對(duì)象，只能呆在年輕代睬关。不能因?yàn)槟硞€(gè)Survivor區(qū)域空間不夠诱担，在Minor GC時(shí)，就進(jìn)入了老年代电爹。從而造成短時(shí)間存活的對(duì)象蔫仙，長(zhǎng)期呆在老年代中占據(jù)了空間，而且Full GC時(shí)要回收大量的短時(shí)間存活的對(duì)象丐箩，導(dǎo)致Full GC速度緩慢摇邦。
如果發(fā)現(xiàn)，在task執(zhí)行期間屎勘，大量full gc發(fā)生了施籍，那么說明，年輕代的Eden區(qū)域概漱，給的空間不夠大丑慎。此時(shí)可以執(zhí)行一些操作來優(yōu)化垃圾回收行為：
1、包括降低spark.storage.memoryFraction的比例瓤摧，給年輕代更多的空間竿裂，來存放短時(shí)間存活的對(duì)象；
2照弥、給Eden區(qū)域分配更大的空間腻异，使用-Xmn即可，通常建議給Eden區(qū)域这揣，預(yù)計(jì)大小的4/3悔常；
3影斑、如果使用的是HDFS文件，那么很好估計(jì)Eden區(qū)域大小这嚣，如果每個(gè)executor有4個(gè)task鸥昏，然后每個(gè)hdfs壓縮塊解壓縮后大小是3倍，此外每個(gè)hdfs塊的大小是64M姐帚，那么Eden區(qū)域的預(yù)計(jì)大小就是：4 * 3 * 64MB吏垮，然后呢，再通過-Xmn參數(shù)罐旗，將Eden區(qū)域大小設(shè)置為4 * 3 * 64 * 4/3膳汪。
五、總結(jié)
其實(shí)啊九秀，根據(jù)經(jīng)驗(yàn)來看遗嗽，對(duì)于垃圾回收的調(diào)優(yōu)，盡量就是說鼓蜒，調(diào)節(jié)executor內(nèi)存的比例就可以了痹换。因?yàn)閖vm的調(diào)優(yōu)是非常復(fù)雜和敏感的。除非是都弹，真的到了萬不得已的地方娇豫，然后呢，自己本身又對(duì)jvm相關(guān)的技術(shù)很了解畅厢，那么此時(shí)進(jìn)行eden區(qū)域的調(diào)節(jié)冯痢，調(diào)優(yōu)，是可以的框杜。
一些高級(jí)的參數(shù)
-XX:SurvivorRatio=4：如果值為4浦楣，那么就是兩個(gè)Survivor跟Eden的比例是2:4，也就是說每個(gè)Survivor占據(jù)的年輕代的比例是1/6咪辱，所以振劳，你其實(shí)也可以嘗試調(diào)大Survivor區(qū)域的大小。
-XX:NewRatio=4：調(diào)節(jié)新生代和老年代的比例
