Linux與JVM的內(nèi)存關(guān)系分析
在這篇文章中：
- 引言
- 一悉尾、Linux與進(jìn)程內(nèi)存模型
- 二、進(jìn)程與JVM內(nèi)存模型
- 1.用戶內(nèi)存
- 2.內(nèi)核內(nèi)存
- 三塞蹭、案例分析
- 1.內(nèi)存分配問題
- 2.內(nèi)存泄漏問題
- 四蹬挤、總結(jié)
- 參考
引言
在一些物理內(nèi)存為8g的服務(wù)器上伴奥，主要運(yùn)行一個Java服務(wù)，系統(tǒng)內(nèi)存分配如下：Java服務(wù)的JVM堆大小設(shè)置為6g撒强，一個監(jiān)控進(jìn)程占用大約600m禽捆，Linux自身使用大約800m。從表面上飘哨，物理內(nèi)存應(yīng)該是足夠使用的睦擂；但實(shí)際運(yùn)行的情況是，會發(fā)生大量使用SWAP(說明物理內(nèi)存不夠使用了)杖玲，如下圖所示顿仇。同時，由于SWAP和GC同時發(fā)生會致使JVM嚴(yán)重卡頓摆马，所以我們要追問：內(nèi)存究竟去哪兒了臼闻？
要分析這個問題，理解JVM和操作系統(tǒng)之間的內(nèi)存關(guān)系非常重要囤采。接下來主要就Linux與JVM之間的內(nèi)存關(guān)系進(jìn)行一些分析述呐。
一、Linux與進(jìn)程內(nèi)存模型
JVM以一個進(jìn)程（Process）的身份運(yùn)行在Linux系統(tǒng)上蕉毯，了解Linux與進(jìn)程的內(nèi)存關(guān)系乓搬，是理解JVM與Linux內(nèi)存的關(guān)系的基礎(chǔ)。 下圖給出了硬件代虾、系統(tǒng)进肯、進(jìn)程三個層面的內(nèi)存之間的概要關(guān)系。
從硬件上看棉磨，Linux系統(tǒng)的內(nèi)存空間由兩個部分構(gòu)成：物理內(nèi)存和SWAP（位于磁盤）江掩。物理內(nèi)存是Linux活動時使用的主要內(nèi)存區(qū)域；當(dāng)物理內(nèi)存不夠使用時，Linux會把一部分暫時不用的內(nèi)存數(shù)據(jù)放到磁盤上的SWAP中去环形，以便騰出更多的可用內(nèi)存空間策泣；而當(dāng)需要使用位于SWAP的數(shù)據(jù)時，必須先將其換回到內(nèi)存中抬吟。
從Linux系統(tǒng)上看萨咕，除了引導(dǎo)系統(tǒng)的BIN區(qū)，整個內(nèi)存空間主要被分成兩個部分：內(nèi)核內(nèi)存（Kernel space）火本、用戶內(nèi)存（User space）任洞。 內(nèi)核內(nèi)存是Linux自身使用的內(nèi)存空間，主要提供給程序調(diào)度发侵、內(nèi)存分配、連接硬件資源等程序邏輯使用妆偏。用戶內(nèi)存是提供給各個進(jìn)程主要空間刃鳄，Linux給各個進(jìn)程提供相同的虛擬內(nèi)存空間；這使得進(jìn)程之間相互獨(dú)立钱骂，互不干擾叔锐。實(shí)現(xiàn)的方法是采用虛擬內(nèi)存技術(shù)：給每一個進(jìn)程一定虛擬內(nèi)存空間，而只有當(dāng)虛擬內(nèi)存實(shí)際被使用時见秽，才分配物理內(nèi)存愉烙。如下圖所示，對于32的Linux系統(tǒng)來說解取，一般將0～3G的虛擬內(nèi)存空間分配做為用戶空間步责，將3～4G的虛擬內(nèi)存空間分配為內(nèi)核空間【每一個進(jìn)程都冗余3G-4G的虛擬內(nèi)核空間】；64位系統(tǒng)的劃分情況是類似的禀苦。
從進(jìn)程的角度來看蔓肯，進(jìn)程能直接訪問的用戶內(nèi)存（虛擬內(nèi)存空間）被劃分為5個部分：代碼區(qū)、數(shù)據(jù)區(qū)振乏、堆區(qū)蔗包、棧區(qū)、未使用區(qū)慧邮。代碼區(qū)中存放應(yīng)用程序的機(jī)器代碼调限，運(yùn)行過程中代碼不能被修改，具有只讀和固定大小的特點(diǎn)误澳。數(shù)據(jù)區(qū)中存放了應(yīng)用程序中的全局?jǐn)?shù)據(jù)耻矮，靜態(tài)數(shù)據(jù)和一些常量字符串等，其大小也是固定的忆谓。堆是運(yùn)行時程序動態(tài)申請的空間淘钟，屬于程序運(yùn)行時直接申請、釋放的內(nèi)存資源。棧區(qū)用來存放函數(shù)的傳入?yún)?shù)米母、臨時變量勾扭，以及返回地址等數(shù)據(jù)。未使用區(qū)是分配新內(nèi)存空間的預(yù)備區(qū)域铁瞒。
二妙色、進(jìn)程與JVM內(nèi)存模型
JVM本質(zhì)就是一個進(jìn)程，因此其內(nèi)存模型也有進(jìn)程的一般特點(diǎn)慧耍。但是身辨，JVM又不是一個普通的進(jìn)程，其在內(nèi)存模型上有許多嶄新的特點(diǎn)芍碧，
主要原因有兩個：
1.JVM將許多本來屬于操作系統(tǒng)管理范疇的東西煌珊，移植到了JVM內(nèi)部，目的在于減少系統(tǒng)調(diào)用的次數(shù)泌豆；【這也是netty中分配heap內(nèi)存比分配direct內(nèi)存快的原因定庵、不需要系統(tǒng)調(diào)用】
2. Java NIO，目的在于減少用于讀寫IO的系統(tǒng)調(diào)用的開銷踪危。 JVM進(jìn)程與普通進(jìn)程內(nèi)存模型比較如下圖:
需要說明的是蔬浙，這個模型的并不是JVM內(nèi)存使用的精確模型，更側(cè)重于從操作系統(tǒng)的角度而省略了一些JVM的內(nèi)部細(xì)節(jié)（盡管也很重要）贞远。下面從用戶內(nèi)存和內(nèi)核內(nèi)存兩個方面講解JVM進(jìn)程的內(nèi)存特點(diǎn)畴博。
1.用戶內(nèi)存
上圖特別強(qiáng)調(diào)了JVM進(jìn)程模型的代碼區(qū)和數(shù)據(jù)區(qū)指的是JVM自身的，而非Java程序的蓝仲。普通進(jìn)程棧區(qū)俱病，在JVM一般僅僅用做線程棧。JVM的堆區(qū)和普通進(jìn)程的差別是最大的袱结，下面具體詳細(xì)說明：
首先是永久代庶艾。永久代本質(zhì)上是Java程序的代碼區(qū)和數(shù)據(jù)區(qū)。Java程序中類（class）擎勘，會被加載到整個區(qū)域的不同數(shù)據(jù)結(jié)構(gòu)中去咱揍，包括常量池、域棚饵、方法數(shù)據(jù)煤裙、方法體、構(gòu)造函數(shù)噪漾、以及類中的專用方法硼砰、實(shí)例初始化、接口初始化等欣硼。這個區(qū)域?qū)τ诓僮飨到y(tǒng)來說题翰，是堆的一個部分；而對于Java程序來說，這是容納程序本身及靜態(tài)資源的空間豹障，使得JVM能夠解釋執(zhí)行Java程序冯事。
其次是新生代和老年代。新生代和老年代才是Java程序真正使用的堆空間血公，主要用于內(nèi)存對象的存儲昵仅；但是其管理方式和普通進(jìn)程有本質(zhì)的區(qū)別。 普通進(jìn)程在運(yùn)行時給內(nèi)存對象分配空間時累魔，比如C++執(zhí)行new操作時摔笤，會觸發(fā)一次分配內(nèi)存空間的系統(tǒng)調(diào)用，由操作系統(tǒng)的線程根據(jù)對象的大小分配好空間后返回垦写；同時吕世，程序釋放對象時，比如C++執(zhí)行delete操作時梯投，也會觸發(fā)一次系統(tǒng)調(diào)用命辖，通知操作系統(tǒng)對象所占用的空間已經(jīng)可以回收。 JVM對內(nèi)存的使用和一般進(jìn)程不同晚伙。JVM向操作系統(tǒng)申請一整段內(nèi)存區(qū)域（具體大小可以在JVM參數(shù)調(diào)節(jié)）作為Java程序的堆（分為新生代和老年代）；當(dāng)Java程序申請內(nèi)存空間俭茧，比如執(zhí)行new操作咆疗，JVM將在這段空間中按所需大小分配給Java程序，并且Java程序不負(fù)責(zé)通知JVM何時可以釋放這個對象的空間母债，垃圾對象內(nèi)存空間的回收由JVM進(jìn)行午磁。【也就說說jvm的堆是jvm進(jìn)程啟動的時候提前在虛擬內(nèi)存中劃分好的一塊內(nèi)容】
JVM的內(nèi)存管理方式的優(yōu)點(diǎn)是顯而易見的毡们，包括：
第一迅皇，減少系統(tǒng)調(diào)用的次數(shù)，JVM在給Java程序分配內(nèi)存空間時不需要操作系統(tǒng)干預(yù)衙熔，僅僅在Java堆大小變化時需要向操作系統(tǒng)申請內(nèi)存或通知回收登颓，而普通程序每次內(nèi)存空間的分配回收都需要系統(tǒng)調(diào)用參與；
第二红氯，減少內(nèi)存泄漏框咙，普通程序沒有（或者沒有及時）通知操作系統(tǒng)內(nèi)存空間的釋放是內(nèi)存泄漏的重要原因之一，而由JVM統(tǒng)一管理痢甘，可以避免程序員帶來的內(nèi)存泄漏問題喇嘱。
最后是未使用區(qū)，未使用區(qū)是分配新內(nèi)存空間的預(yù)備區(qū)域塞栅。對于普通進(jìn)程來說者铜，這個區(qū)域被可用于堆和棧空間的申請及釋放，每次堆內(nèi)存分配都會使用這個區(qū)域作烟，因此大小變動頻繁愉粤；對于JVM進(jìn)程來說，調(diào)整堆大小及線程棧時會使用該區(qū)域俗壹，而堆大小一般較少調(diào)整科汗，因此大小相對穩(wěn)定。操作系統(tǒng)會動態(tài)調(diào)整這個區(qū)域的大小绷雏，并且這個區(qū)域通常并沒有被分配實(shí)際的物理內(nèi)存头滔，只是允許進(jìn)程在這個區(qū)域申請堆或棧空間涎显。
2.內(nèi)核內(nèi)存
應(yīng)用程序通常不直接和內(nèi)核內(nèi)存打交道坤检，內(nèi)核內(nèi)存由操作系統(tǒng)進(jìn)行管理和使用；不過隨著Linux對性能的關(guān)注及改進(jìn)期吓，一些新的特性使得應(yīng)用程序可以使用內(nèi)核內(nèi)存早歇，或者是映射到內(nèi)核空間。Java NIO正是在這種背景下誕生的讨勤，其充分利用了Linux系統(tǒng)的新特性箭跳，提升了Java程序的IO性能。
上圖給出了Java NIO使用的內(nèi)核內(nèi)存在linux系統(tǒng)中的分布情況潭千。nio buffer主要包括：nio使用各種channel時所使用的ByteBuffer谱姓、Java程序主動使用ByteBuffer.allocateDirector申請分配的Buffer。而在PageCache里面刨晴，nio使用的內(nèi)存主要包括：FileChannel.map方式打開文件占用mapped屉来、FileChannel.transferTo和FileChannel.transferFrom所需要的Cache（圖中標(biāo)示 nio file）。
通過JMX可以監(jiān)控到NIO Buffer和 mapped 的使用情況狈癞，如下圖所示茄靠。不過，F(xiàn)ileChannel的實(shí)現(xiàn)是通過系統(tǒng)調(diào)用使用原生的PageCache蝶桶，過程對于Java是透明的慨绳，無法監(jiān)控到這部分內(nèi)存的使用大小。
Linux和Java NIO在內(nèi)核內(nèi)存上開辟空間給程序使用真竖，主要是減少不要的復(fù)制儡蔓，以減少IO操作系統(tǒng)調(diào)用的開銷。例如疼邀，將磁盤文件的數(shù)據(jù)發(fā)送網(wǎng)卡喂江，使用普通方法和NIO時，數(shù)據(jù)流動比較下圖所示：
將數(shù)據(jù)在內(nèi)核內(nèi)存和用戶內(nèi)存之間拷貝是比較消耗資源和時間的事情旁振，而從上圖我們可以看到获询，【通過直接 在內(nèi)核虛擬內(nèi)存部分開辟空間涨岁、這樣就不需要內(nèi)核和用戶空間的復(fù)制、減少了上下文切換的開銷】通過NIO的方式減少了2次內(nèi)核內(nèi)存和用戶內(nèi)存之間的數(shù)據(jù)拷貝吉嚣。這是Java NIO高性能的重要機(jī)制之一（另一個是異步非阻塞）梢薪。
從上面可以看出，內(nèi)核內(nèi)存對于Java程序性能也非常重要尝哆，因此秉撇，在劃分系統(tǒng)內(nèi)存使用時候，一定要給內(nèi)核留出一定可用空間秋泄。
三琐馆、案例分析
1.內(nèi)存分配問題
通過上面的分析，省略比較小的區(qū)域恒序，可以總結(jié)JVM占用的內(nèi)存： JVM內(nèi)存 ≈ Java永久代 ＋ Java堆(新生代和老年代) ＋ 線程棧＋ Java NIO
回到文章開頭提出的問題瘦麸，原來的內(nèi)存分配是：6g(java堆) ＋ 600m(監(jiān)控) ＋ 800m(系統(tǒng))，剩余大約600m內(nèi)存未分配歧胁。
現(xiàn)在分析這600m內(nèi)存的分配情況：
(1)Linux保留大約200m滋饲，這部分是Linux正常運(yùn)行的需要，
(2)Java服務(wù)的線程數(shù)量是160個喊巍，JVM默認(rèn)的線程棧大小是1m屠缭，因此使用160m內(nèi)存，
(3)Java NIO buffer崭参，通過JMX查到最多占用了200m呵曹，
(4)Java服務(wù)使用NIO大量讀寫文件，需要使用PageCache【將磁盤文件緩存在物理內(nèi)存中阵翎，java的NIO讀取文件是利用directBuffer在進(jìn)程的虛擬地址空間分配內(nèi)存來裝載磁盤文件】逢并，正如前面分析之剧，這個暫時不好定量估算大小郭卫。 前三項(xiàng)加起來已經(jīng)560m，因此可以斷定Linux物理內(nèi)存不夠使用背稼。
細(xì)心的人會發(fā)現(xiàn)贰军，引言中給出兩個服務(wù)器，一個SWAP最多占用了2.16g蟹肘，另外一個SWAP最多占用了871m词疼；但是，似乎我們的內(nèi)存缺口沒有那么大帘腹。事實(shí)上贰盗，這是由于SWAP和GC同時進(jìn)行造成的，從下圖可以看到阳欲，SWAP的使用和長時間的GC在同一時刻發(fā)生舵盈。
SWAP和GC同時發(fā)生會導(dǎo)致GC時間很長陋率，JVM嚴(yán)重卡頓，極端的情況下會導(dǎo)致服務(wù)崩潰秽晚。原因如下：JVM進(jìn)行GC時瓦糟，時需要對相應(yīng)堆分區(qū)的已用內(nèi)存進(jìn)行遍歷；假如GC的時候赴蝇，有堆的一部分內(nèi)容被交換到SWAP中菩浙，遍歷到這部分的時候就需要將其交換回內(nèi)存，同時由于內(nèi)存空間不足句伶，就需要把內(nèi)存中堆的另外一部分換到SWAP中去劲蜻；于是在遍歷堆分區(qū)的過程中，(極端情況下)會把整個堆分區(qū)輪流往SWAP寫一遍熄阻。Linux對SWAP的回收是滯后的斋竞，我們就會看到大量SWAP占用。
上述問題秃殉，可以通過減少堆大小坝初，或者增加物理內(nèi)存解決。
因此钾军，我們得出一個結(jié)論：部署Java服務(wù)的Linux系統(tǒng)鳄袍，在內(nèi)存分配上，需要避免SWAP的使用吏恭；具體如何分配需要綜合考慮不同場景下JVM對Java永久代 拗小、Java堆(新生代和老年代)、線程棧樱哼、Java NIO所使用內(nèi)存的需求哀九。
2.內(nèi)存泄漏問題
另一個案例是，8g內(nèi)存的服務(wù)器搅幅，Linux使用800m阅束，監(jiān)控進(jìn)程使用600m茄唐，堆大小設(shè)置4g息裸；系統(tǒng)可用內(nèi)存有2.5g左右，但是也發(fā)生了大量的SWAP占用沪编。 分析這個問題如下： (1)在這個場景中呼盆， Java永久代 、Java堆(新生代和老年代)蚁廓、線程棧所用內(nèi)存基本是固定的访圃，因此，占用內(nèi)存過多的原因就定位在Java NIO上相嵌。 (2)根據(jù)前面的模型腿时，Java NIO使用的內(nèi)存主要分布在Linux內(nèi)核內(nèi)存的System區(qū)和PageCache區(qū)克胳。查看監(jiān)控的記錄，如下圖圈匆，我們可以看到發(fā)生SWAP之前漠另，也就是物理內(nèi)存不夠使用的時候，PageCache【PageCache說明】急劇縮小跃赚。因此笆搓，可以定位在System區(qū)的Java NIO Buffer發(fā)生內(nèi)存泄漏。
(3)由于NIO的DirectByteBuffer需要在GC的后期被回收纬傲，因此連續(xù)申請DirectByteBuffer的程序满败，通常需要調(diào)用System.gc()，避免長時間不發(fā)生FullGC導(dǎo)致引用在old區(qū)的DirectByteBuffer內(nèi)存泄漏叹括。分析到此算墨，可以推斷有兩種可能的原因：第一，Java程序沒有在必要的時候調(diào)用System.gc()汁雷；第二净嘀，System.gc()被禁用。 (4)最后是要排查JVM啟動參數(shù)和Java程序的DirectByteBuffer使用情況侠讯。在本例中挖藏，查看JVM啟動參數(shù)，發(fā)現(xiàn)啟用了-XX:+DisableExplicitGC導(dǎo)致System.gc()被禁用厢漩。
四膜眠、總結(jié)
本文詳細(xì)分析了Linux與JVM的內(nèi)存關(guān)系，比較了一般進(jìn)程與JVM進(jìn)程使用內(nèi)存的異同點(diǎn)溜嗜，理解這些特性將對Linux系統(tǒng)內(nèi)存分配宵膨、JVM調(diào)優(yōu)、Java程序優(yōu)化有幫助炸宵。限于篇幅關(guān)系僅僅列舉兩個案例辟躏，希望起到拋磚引玉的作用。
參考
- http://www.ibm.com/developerworks/library/j-nativememory-linux/
- http://www.ibm.com/developerworks/library/l-kernel-memory-access/
- http://www.ibm.com/developerworks/library/j-zerocopy/
- 《深入分析Java Web技術(shù)內(nèi)幕》
