您好曼月,請(qǐng)教一個(gè)問(wèn)題,我不太明白怎樣去理解 spark memory和jvm memory,因?yàn)槊總€(gè)executor都是一個(gè)jvm進(jìn)程帅矗,但是文檔上講的是executor把heap主要分成了storage和execution阶牍、user memory帮匾,所以我現(xiàn)在就有點(diǎn)懵了,jvm進(jìn)程不應(yīng)該是heap(young突委,survivor,old)和non-heap嗎冬三?storage和execution是咋分的匀油?當(dāng)我在程序里創(chuàng)建一個(gè)對(duì)象的時(shí)候,在jvm里肯定是在eden區(qū)勾笆,可是在spark的內(nèi)存模型里呢敌蚜,是在storage還是在user memory
Spark on Yarn之Executor內(nèi)存管理本文1、2窝爪、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識(shí)弛车,第4節(jié)描述了常見(jiàn)錯(cuò)誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...