最近在搞監(jiān)控铺董,突然看到我系統(tǒng)的內(nèi)存要用完了,趕緊登錄服務(wù)器看看阔蛉,
~]# dstat -m
16G內(nèi)存就剩1G了阵幸。怎么回事,然后用free命令看了下
~]# free -m
原來(lái)是cached占用較多坡慌,真正用的只有6773M黔酥,空閑是9307M。但是還是對(duì)cached占用這么多比較擔(dān)心洪橘,所以就查了下跪者,
下面文章轉(zhuǎn)載至http://blog.csdn.net/beacherlu/article/details/45871489
經(jīng)常遇到一些剛接觸Linux的新手會(huì)問(wèn)內(nèi)存占用怎么那么多?
在Linux中經(jīng)常發(fā)現(xiàn)空閑內(nèi)存很少熄求,似乎所有的內(nèi)存都被系統(tǒng)占用了渣玲,表面感覺(jué)是內(nèi)存不夠用了,其實(shí)不然弟晚。這是linux內(nèi)存管理的一個(gè)優(yōu)秀特性忘衍,在這方面,區(qū)別于Windows的內(nèi)存管理卿城。主要特點(diǎn)是枚钓,無(wú)論物理內(nèi)存有多大,Linux 都將其充份利用瑟押,將一些程序調(diào)用過(guò)的硬盤(pán)數(shù)據(jù)讀入內(nèi)存搀捷,利用內(nèi)存讀寫(xiě)的高速特性來(lái)提高Linux系統(tǒng)的數(shù)據(jù)訪問(wèn)性能。而Windows是只在需要內(nèi)存時(shí)勉耀,才為應(yīng)用程序分配內(nèi)存指煎,并不能充分利用大容量的內(nèi)存空間蹋偏。換句話(huà)說(shuō),每增加一些物理內(nèi)存至壤,Linux都將能充分利用起來(lái)威始,發(fā)揮了硬件投資帶來(lái)的好處,而Windows只將其做為擺設(shè)像街,即使增加8GB甚至更大黎棠。
Linux的這一特性,主要是利用空閑的物理內(nèi)存镰绎,劃分出一部份空間脓斩,做為cache、buffers 畴栖,以此提高數(shù)據(jù)訪問(wèn)性能随静。
頁(yè)高速緩存(cache)是Linux內(nèi)核實(shí)現(xiàn)的一種主要磁盤(pán)緩存。它主要用來(lái)減少對(duì)磁盤(pán)的I/O操作吗讶。具體地講燎猛,是通過(guò)把磁盤(pán)中的數(shù)據(jù)緩存到物理內(nèi)存中,把對(duì)磁盤(pán)的訪問(wèn)變?yōu)閷?duì)物理 內(nèi)存的訪問(wèn)照皆。
磁盤(pán)高速緩存的價(jià)值在于兩個(gè)方面:第一重绷,訪問(wèn)磁盤(pán)的速度要遠(yuǎn)遠(yuǎn)低于訪問(wèn)內(nèi)存的速度,因此膜毁,從內(nèi)存訪問(wèn)數(shù)據(jù)比從磁盤(pán)訪問(wèn)速度更快昭卓。第二,數(shù)據(jù)一旦被訪問(wèn)瘟滨,就很有可能在短期內(nèi)再次被訪問(wèn)到候醒。
下面來(lái)了解下Linux內(nèi)存管理機(jī)制:
一、物理內(nèi)存和虛擬內(nèi)存
我們知道杂瘸,直接從物理內(nèi)存讀寫(xiě)數(shù)據(jù)要比從硬盤(pán)讀寫(xiě)數(shù)據(jù)要快的多火焰,因此,我們希望所有數(shù)據(jù)的讀取和寫(xiě)入都在內(nèi)存完成胧沫,而內(nèi)存是有限的,這樣就引出了物理內(nèi)存與虛擬內(nèi)存的概念占业。
物理內(nèi)存就是系統(tǒng)硬件提供的內(nèi)存大小绒怨,是真正的內(nèi)存,相對(duì)于物理內(nèi)存谦疾,在Linux下還有一個(gè)虛擬內(nèi)存的概念南蹂,虛擬內(nèi)存就是為了滿(mǎn)足物理內(nèi)存的不足而提出的策略,它是利用磁盤(pán)空間虛擬出的一塊邏輯內(nèi)存念恍,用作虛擬內(nèi)存的磁盤(pán)空間被稱(chēng)為交換空間(Swap Space)六剥。
作為物理內(nèi)存的擴(kuò)展晚顷,Linux會(huì)在物理內(nèi)存不足時(shí),使用交換分區(qū)的虛擬內(nèi)存疗疟,更詳細(xì)的說(shuō)该默,就是內(nèi)核會(huì)將暫時(shí)不用的內(nèi)存塊信息寫(xiě)到交換空間,這樣以來(lái)策彤,物理內(nèi)存得到了釋放栓袖,這塊內(nèi)存就可以用于其它目的,當(dāng)需要用到原始的內(nèi)容時(shí)店诗,這些信息會(huì)被重新從交換空間讀入物理內(nèi)存裹刮。
Linux的內(nèi)存管理采取的是分頁(yè)存取機(jī)制,為了保證物理內(nèi)存能得到充分的利用庞瘸,內(nèi)核會(huì)在適當(dāng)?shù)臅r(shí)候?qū)⑽锢韮?nèi)存中不經(jīng)常使用的數(shù)據(jù)塊自動(dòng)交換到虛擬內(nèi)存中捧弃,而將經(jīng)常使用的信息保留到物理內(nèi)存。
要深入了解Linux內(nèi)存運(yùn)行機(jī)制擦囊,需要知道下面提到的幾個(gè)方面:
Linux系統(tǒng)會(huì)不時(shí)的進(jìn)行頁(yè)面交換操作违霞,以保持盡可能多的空閑物理內(nèi)存,即使并沒(méi)有什么事情需要內(nèi)存霜第,Linux也會(huì)交換出暫時(shí)不用的內(nèi)存頁(yè)面葛家。這可以避免等待交換所需的時(shí)間。
Linux進(jìn)行頁(yè)面交換是有條件的泌类,不是所有頁(yè)面在不用時(shí)都交換到虛擬內(nèi)存癞谒,Linux內(nèi)核根據(jù)”最近最經(jīng)常使用“算法,僅僅將一些不經(jīng)常使用的頁(yè)面文件交換到虛擬內(nèi)存刃榨,有時(shí)我們會(huì)看到這么一個(gè)現(xiàn)象:Linux物理內(nèi)存還有很多弹砚,但是交換空間也使用了很多。其實(shí)枢希,這并不奇怪桌吃,例如,一個(gè)占用很大內(nèi)存的進(jìn)程運(yùn)行時(shí)苞轿,需要耗費(fèi)很多內(nèi)存資源茅诱,此時(shí)就會(huì)有一些不常用頁(yè)面文件被交換到虛擬內(nèi)存中,但后來(lái)這個(gè)占用很多內(nèi)存資源的進(jìn)程結(jié)束并釋放了很多內(nèi)存時(shí)搬卒,剛才被交換出去的頁(yè)面文件并不會(huì)自動(dòng)的交換進(jìn)物理內(nèi)存瑟俭,除非有這個(gè)必要,那么此刻系統(tǒng)物理內(nèi)存就會(huì)空閑很多契邀,同時(shí)交換空間也在被使用摆寄,就出現(xiàn)了剛才所說(shuō)的現(xiàn)象了。關(guān)于這點(diǎn),不用擔(dān)心什么微饥,只要知道是怎么一回事就可以了逗扒。
交換空間的頁(yè)面在使用時(shí)會(huì)首先被交換到物理內(nèi)存,如果此時(shí)沒(méi)有足夠的物理內(nèi)存來(lái)容納這些頁(yè)面欠橘,它們又會(huì)被馬上交換出去矩肩,如此以來(lái),虛擬內(nèi)存中可能沒(méi)有足夠空間來(lái)存儲(chǔ)這些交換頁(yè)面简软,最終會(huì)導(dǎo)致Linux出現(xiàn)假死機(jī)蛮拔、服務(wù)異常等問(wèn)題,Linux雖然可以在一段時(shí)間內(nèi)自行恢復(fù)痹升,但是恢復(fù)后的系統(tǒng)已經(jīng)基本不可用了建炫。
因此,合理規(guī)劃和設(shè)計(jì)Linux內(nèi)存的使用疼蛾,是非常重要的.
二肛跌、內(nèi)存的監(jiān)控
作為一名Linux系統(tǒng)管理員,監(jiān)控內(nèi)存的使用狀態(tài)是非常重要的察郁,通過(guò)監(jiān)控有助于了解內(nèi)存的使用狀態(tài)衍慎,比如內(nèi)存占用是否正常,內(nèi)存是否緊缺等等皮钠,監(jiān)控內(nèi)存最常使用的命令有free稳捆、top等,下面是某個(gè)系統(tǒng)free的輸出:
[root@linuxeye?~]#?free
total???????used???????free?????shared????buffers?????cached
Mem:???????3894036????3473544?????420492??????????0??????72972????1332348
-/+?buffers/cache:????2068224????1825812
Swap:??????4095992?????906036????3189956
每個(gè)選項(xiàng)的含義:
第一行:
total:物理內(nèi)存的總大小
used:已經(jīng)使用的物理內(nèi)存大小
free:空閑的物理內(nèi)存大小
shared:多個(gè)進(jìn)程共享的內(nèi)存大小
buffers/cached:磁盤(pán)緩存的大小
第二行Mem:代表物理內(nèi)存使用情況
第三行(-/+ buffers/cached):代表磁盤(pán)緩存使用狀態(tài)
第四行:Swap表示交換空間內(nèi)存使用狀態(tài)
free命令輸出的內(nèi)存狀態(tài)麦轰,可以通過(guò)兩個(gè)角度來(lái)查看:一個(gè)是從內(nèi)核的角度來(lái)看乔夯,一個(gè)是從應(yīng)用層的角度來(lái)看的。
從內(nèi)核的角度來(lái)查看內(nèi)存的狀態(tài)
就是內(nèi)核目前可以直接分配到款侵,不需要額外的操作末荐,即為上面free命令輸出中第二行Mem項(xiàng)的值,可以看出新锈,此系統(tǒng)物理內(nèi)存有3894036K甲脏,空閑的內(nèi)存只有420492K,也就是40M多一點(diǎn)妹笆,我們來(lái)做一個(gè)這樣的計(jì)算:
3894036 – 3473544 = 420492
其實(shí)就是總的物理內(nèi)存減去已經(jīng)使用的物理內(nèi)存得到的就是空閑的物理內(nèi)存大小块请,注意這里的可用內(nèi)存值420492并不包含處于buffers和cached狀態(tài)的內(nèi)存大小。
如果你認(rèn)為這個(gè)系統(tǒng)空閑內(nèi)存太小拳缠,那你就錯(cuò)了负乡,實(shí)際上,內(nèi)核完全控制著內(nèi)存的使用情況脊凰,Linux會(huì)在需要內(nèi)存的時(shí)候,或在系統(tǒng)運(yùn)行逐步推進(jìn)時(shí),將buffers和cached狀態(tài)的內(nèi)存變?yōu)閒ree狀態(tài)的內(nèi)存狸涌,以供系統(tǒng)使用切省。
從應(yīng)用層的角度來(lái)看系統(tǒng)內(nèi)存的使用狀態(tài)
也就是Linux上運(yùn)行的應(yīng)用程序可以使用的內(nèi)存大小,即free命令第三行 -/+ buffers/cached 的輸出帕胆,可以看到朝捆,此系統(tǒng)已經(jīng)使用的內(nèi)存才2068224K,而空閑的內(nèi)存達(dá)到1825812K懒豹,繼續(xù)做這樣一個(gè)計(jì)算:
420492+(72972+1332348)=1825812
通過(guò)這個(gè)等式可知芙盘,應(yīng)用程序可用的物理內(nèi)存值是Mem項(xiàng)的free值加上buffers和cached值之和,也就是說(shuō)脸秽,這個(gè)free值是包括buffers和cached項(xiàng)大小的儒老,對(duì)于應(yīng)用程序來(lái)說(shuō),buffers/cached占有的內(nèi)存是可用的记餐,因?yàn)閎uffers/cached是為了提高文件讀取的性能驮樊,當(dāng)應(yīng)用程序需要用到內(nèi)存的時(shí)候,buffers/cached會(huì)很快地被回收片酝,以供應(yīng)用程序使用囚衔。
buffers與cached的異同
在Linux操作系統(tǒng)中,當(dāng)應(yīng)用程序需要讀取文件中的數(shù)據(jù)時(shí)雕沿,操作系統(tǒng)先分配一些內(nèi)存练湿,將數(shù)據(jù)從磁盤(pán)讀入到這些內(nèi)存中,然后再將數(shù)據(jù)分發(fā)給應(yīng)用程序审轮;當(dāng)需要往文件中寫(xiě)數(shù)據(jù)時(shí)肥哎,操作系統(tǒng)先分配內(nèi)存接收用戶(hù)數(shù)據(jù),然后再將數(shù)據(jù)從內(nèi)存寫(xiě)到磁盤(pán)上断国。然而贤姆,如果有大量數(shù)據(jù)需要從磁盤(pán)讀取到內(nèi)存或者由內(nèi)存寫(xiě)入磁盤(pán)時(shí),系統(tǒng)的讀寫(xiě)性能就變得非常低下稳衬,因?yàn)闊o(wú)論是從磁盤(pán)讀數(shù)據(jù)霞捡,還是寫(xiě)數(shù)據(jù)到磁盤(pán),都是一個(gè)很消耗時(shí)間和資源的過(guò)程薄疚,在這種情況下碧信,Linux引入了buffers和cached機(jī)制。
buffers與cached都是內(nèi)存操作街夭,用來(lái)保存系統(tǒng)曾經(jīng)打開(kāi)過(guò)的文件以及文件屬性信息砰碴,這樣當(dāng)操作系統(tǒng)需要讀取某些文件時(shí),會(huì)首先在buffers與cached內(nèi)存區(qū)查找板丽,如果找到呈枉,直接讀出傳送給應(yīng)用程序趁尼,如果沒(méi)有找到需要數(shù)據(jù),才從磁盤(pán)讀取猖辫,這就是操作系統(tǒng)的緩存機(jī)制酥泞,通過(guò)緩存,大大提高了操作系統(tǒng)的性能啃憎。但buffers與cached緩沖的內(nèi)容卻是不同的芝囤。
buffers是用來(lái)緩沖塊設(shè)備做的,它只記錄文件系統(tǒng)的元數(shù)據(jù)(metadata)以及 tracking in-flight pages辛萍,而cached是用來(lái)給文件做緩沖悯姊。更通俗一點(diǎn)說(shuō):buffers主要用來(lái)存放目錄里面有什么內(nèi)容,文件的屬性以及權(quán)限等等贩毕。而cached直接用來(lái)記憶我們打開(kāi)過(guò)的文件和程序悯许。
為了驗(yàn)證我們的結(jié)論是否正確,可以通過(guò)vi打開(kāi)一個(gè)非常大的文件耳幢,看看cached的變化岸晦,然后再次vi這個(gè)文件,感覺(jué)一下兩次打開(kāi)的速度有何異同睛藻,是不是第二次打開(kāi)的速度明顯快于第一次呢启上?
接著執(zhí)行下面的命令:
find?/*?-name??*.conf
看看buffers的值是否變化,然后重復(fù)執(zhí)行find命令店印,看看兩次顯示速度有何不同冈在。
Linux操作系統(tǒng)的內(nèi)存運(yùn)行原理,很大程度上是根據(jù)服務(wù)器的需求來(lái)設(shè)計(jì)的按摘,例如系統(tǒng)的緩沖機(jī)制會(huì)把經(jīng)常使用到的文件和數(shù)據(jù)緩存在cached中包券,linux總是在力求緩存更多的數(shù)據(jù)和信息,這樣再次需要這些數(shù)據(jù)時(shí)可以直接從內(nèi)存中取炫贤,而不需要有一個(gè)漫長(zhǎng)的磁盤(pán)操作溅固,這種設(shè)計(jì)思路提高了系統(tǒng)的整體性能。
記錄次文章兰珍,以便于日后鞏固侍郭,查看。