您好腋妙,請(qǐng)教一個(gè)問(wèn)題兑凿,我不太明白怎樣去理解 spark memory和jvm memory钢拧,因?yàn)槊總€(gè)executor都是一個(gè)jvm進(jìn)程,但是文檔上講的是executor把heap主要分成了storage和execution槐沼、user memory,所以我現(xiàn)在就有點(diǎn)懵了,jvm進(jìn)程不應(yīng)該是heap(young书劝,survivor,old)和non-heap嗎土至?storage和execution是咋分的购对?當(dāng)我在程序里創(chuàng)建一個(gè)對(duì)象的時(shí)候,在jvm里肯定是在eden區(qū)陶因,可是在spark的內(nèi)存模型里呢骡苞,是在storage還是在user memory
Spark on Yarn之Executor內(nèi)存管理本文1、2楷扬、3節(jié)介紹了Spark 內(nèi)存相關(guān)之識(shí)解幽,第4節(jié)描述了常見錯(cuò)誤類型及產(chǎn)生原因并給出了解決方案。 1 堆內(nèi)和堆外內(nèi)存規(guī)劃 Executor 的內(nèi)存管理建立在 JVM 的內(nèi)...