free命令中的buffer和cached的比較

最近在搞監(jiān)控铺董,突然看到我系統(tǒng)的內(nèi)存要用完了,趕緊登錄服務(wù)器看看阔蛉,

~]# dstat -m


16G內(nèi)存就剩1G了阵幸。怎么回事,然后用free命令看了下

~]# free -m


原來(lái)是cached占用較多坡慌,真正用的只有6773M黔酥,空閑是9307M。但是還是對(duì)cached占用這么多比較擔(dān)心洪橘,所以就查了下跪者,

下面文章轉(zhuǎn)載至http://blog.csdn.net/beacherlu/article/details/45871489

經(jīng)常遇到一些剛接觸Linux的新手會(huì)問(wèn)內(nèi)存占用怎么那么多?

Linux中經(jīng)常發(fā)現(xiàn)空閑內(nèi)存很少熄求,似乎所有的內(nèi)存都被系統(tǒng)占用了渣玲,表面感覺(jué)是內(nèi)存不夠用了,其實(shí)不然弟晚。這是linux內(nèi)存管理的一個(gè)優(yōu)秀特性忘衍,在這方面,區(qū)別于Windows的內(nèi)存管理卿城。主要特點(diǎn)是枚钓,無(wú)論物理內(nèi)存有多大,Linux 都將其充份利用瑟押,將一些程序調(diào)用過(guò)的硬盤(pán)數(shù)據(jù)讀入內(nèi)存搀捷,利用內(nèi)存讀寫(xiě)的高速特性來(lái)提高Linux系統(tǒng)的數(shù)據(jù)訪問(wèn)性能。而Windows是只在需要內(nèi)存時(shí)勉耀,才為應(yīng)用程序分配內(nèi)存指煎,并不能充分利用大容量的內(nèi)存空間蹋偏。換句話(huà)說(shuō),每增加一些物理內(nèi)存至壤,Linux都將能充分利用起來(lái)威始,發(fā)揮了硬件投資帶來(lái)的好處,而Windows只將其做為擺設(shè)像街,即使增加8GB甚至更大黎棠。

Linux的這一特性,主要是利用空閑的物理內(nèi)存镰绎,劃分出一部份空間脓斩,做為cache、buffers 畴栖,以此提高數(shù)據(jù)訪問(wèn)性能随静。

頁(yè)高速緩存(cache)是Linux內(nèi)核實(shí)現(xiàn)的一種主要磁盤(pán)緩存。它主要用來(lái)減少對(duì)磁盤(pán)的I/O操作吗讶。具體地講燎猛,是通過(guò)把磁盤(pán)中的數(shù)據(jù)緩存到物理內(nèi)存中,把對(duì)磁盤(pán)的訪問(wèn)變?yōu)閷?duì)物理 內(nèi)存的訪問(wèn)照皆。

磁盤(pán)高速緩存的價(jià)值在于兩個(gè)方面:第一重绷,訪問(wèn)磁盤(pán)的速度要遠(yuǎn)遠(yuǎn)低于訪問(wèn)內(nèi)存的速度,因此膜毁,從內(nèi)存訪問(wèn)數(shù)據(jù)比從磁盤(pán)訪問(wèn)速度更快昭卓。第二,數(shù)據(jù)一旦被訪問(wèn)瘟滨,就很有可能在短期內(nèi)再次被訪問(wèn)到候醒。

下面來(lái)了解下Linux內(nèi)存管理機(jī)制:

一、物理內(nèi)存和虛擬內(nèi)存

我們知道杂瘸,直接從物理內(nèi)存讀寫(xiě)數(shù)據(jù)要比從硬盤(pán)讀寫(xiě)數(shù)據(jù)要快的多火焰,因此,我們希望所有數(shù)據(jù)的讀取和寫(xiě)入都在內(nèi)存完成胧沫,而內(nèi)存是有限的,這樣就引出了物理內(nèi)存與虛擬內(nèi)存的概念占业。

物理內(nèi)存就是系統(tǒng)硬件提供的內(nèi)存大小绒怨,是真正的內(nèi)存,相對(duì)于物理內(nèi)存谦疾,在Linux下還有一個(gè)虛擬內(nèi)存的概念南蹂,虛擬內(nèi)存就是為了滿(mǎn)足物理內(nèi)存的不足而提出的策略,它是利用磁盤(pán)空間虛擬出的一塊邏輯內(nèi)存念恍,用作虛擬內(nèi)存的磁盤(pán)空間被稱(chēng)為交換空間(Swap Space)六剥。

作為物理內(nèi)存的擴(kuò)展晚顷,Linux會(huì)在物理內(nèi)存不足時(shí),使用交換分區(qū)的虛擬內(nèi)存疗疟,更詳細(xì)的說(shuō)该默,就是內(nèi)核會(huì)將暫時(shí)不用的內(nèi)存塊信息寫(xiě)到交換空間,這樣以來(lái)策彤,物理內(nèi)存得到了釋放栓袖,這塊內(nèi)存就可以用于其它目的,當(dāng)需要用到原始的內(nèi)容時(shí)店诗,這些信息會(huì)被重新從交換空間讀入物理內(nèi)存裹刮。

Linux的內(nèi)存管理采取的是分頁(yè)存取機(jī)制,為了保證物理內(nèi)存能得到充分的利用庞瘸,內(nèi)核會(huì)在適當(dāng)?shù)臅r(shí)候?qū)⑽锢韮?nèi)存中不經(jīng)常使用的數(shù)據(jù)塊自動(dòng)交換到虛擬內(nèi)存中捧弃,而將經(jīng)常使用的信息保留到物理內(nèi)存。

要深入了解Linux內(nèi)存運(yùn)行機(jī)制擦囊,需要知道下面提到的幾個(gè)方面:

Linux系統(tǒng)會(huì)不時(shí)的進(jìn)行頁(yè)面交換操作违霞,以保持盡可能多的空閑物理內(nèi)存,即使并沒(méi)有什么事情需要內(nèi)存霜第,Linux也會(huì)交換出暫時(shí)不用的內(nèi)存頁(yè)面葛家。這可以避免等待交換所需的時(shí)間。

Linux進(jìn)行頁(yè)面交換是有條件的泌类,不是所有頁(yè)面在不用時(shí)都交換到虛擬內(nèi)存癞谒,Linux內(nèi)核根據(jù)”最近最經(jīng)常使用“算法,僅僅將一些不經(jīng)常使用的頁(yè)面文件交換到虛擬內(nèi)存刃榨,有時(shí)我們會(huì)看到這么一個(gè)現(xiàn)象:Linux物理內(nèi)存還有很多弹砚,但是交換空間也使用了很多。其實(shí)枢希,這并不奇怪桌吃,例如,一個(gè)占用很大內(nèi)存的進(jìn)程運(yùn)行時(shí)苞轿,需要耗費(fèi)很多內(nèi)存資源茅诱,此時(shí)就會(huì)有一些不常用頁(yè)面文件被交換到虛擬內(nèi)存中,但后來(lái)這個(gè)占用很多內(nèi)存資源的進(jìn)程結(jié)束并釋放了很多內(nèi)存時(shí)搬卒,剛才被交換出去的頁(yè)面文件并不會(huì)自動(dòng)的交換進(jìn)物理內(nèi)存瑟俭,除非有這個(gè)必要,那么此刻系統(tǒng)物理內(nèi)存就會(huì)空閑很多契邀,同時(shí)交換空間也在被使用摆寄,就出現(xiàn)了剛才所說(shuō)的現(xiàn)象了。關(guān)于這點(diǎn),不用擔(dān)心什么微饥,只要知道是怎么一回事就可以了逗扒。

交換空間的頁(yè)面在使用時(shí)會(huì)首先被交換到物理內(nèi)存,如果此時(shí)沒(méi)有足夠的物理內(nèi)存來(lái)容納這些頁(yè)面欠橘,它們又會(huì)被馬上交換出去矩肩,如此以來(lái),虛擬內(nèi)存中可能沒(méi)有足夠空間來(lái)存儲(chǔ)這些交換頁(yè)面简软,最終會(huì)導(dǎo)致Linux出現(xiàn)假死機(jī)蛮拔、服務(wù)異常等問(wèn)題,Linux雖然可以在一段時(shí)間內(nèi)自行恢復(fù)痹升,但是恢復(fù)后的系統(tǒng)已經(jīng)基本不可用了建炫。

因此,合理規(guī)劃和設(shè)計(jì)Linux內(nèi)存的使用疼蛾,是非常重要的.

二肛跌、內(nèi)存的監(jiān)控

作為一名Linux系統(tǒng)管理員,監(jiān)控內(nèi)存的使用狀態(tài)是非常重要的察郁,通過(guò)監(jiān)控有助于了解內(nèi)存的使用狀態(tài)衍慎,比如內(nèi)存占用是否正常,內(nèi)存是否緊缺等等皮钠,監(jiān)控內(nèi)存最常使用的命令有free稳捆、top等,下面是某個(gè)系統(tǒng)free的輸出:

[root@linuxeye?~]#?free

total???????used???????free?????shared????buffers?????cached

Mem:???????3894036????3473544?????420492??????????0??????72972????1332348

-/+?buffers/cache:????2068224????1825812

Swap:??????4095992?????906036????3189956

每個(gè)選項(xiàng)的含義:

第一行:

total:物理內(nèi)存的總大小

used:已經(jīng)使用的物理內(nèi)存大小

free:空閑的物理內(nèi)存大小

shared:多個(gè)進(jìn)程共享的內(nèi)存大小

buffers/cached:磁盤(pán)緩存的大小

第二行Mem:代表物理內(nèi)存使用情況

第三行(-/+ buffers/cached):代表磁盤(pán)緩存使用狀態(tài)

第四行:Swap表示交換空間內(nèi)存使用狀態(tài)

free命令輸出的內(nèi)存狀態(tài)麦轰,可以通過(guò)兩個(gè)角度來(lái)查看:一個(gè)是從內(nèi)核的角度來(lái)看乔夯,一個(gè)是從應(yīng)用層的角度來(lái)看的。

從內(nèi)核的角度來(lái)查看內(nèi)存的狀態(tài)

就是內(nèi)核目前可以直接分配到款侵,不需要額外的操作末荐,即為上面free命令輸出中第二行Mem項(xiàng)的值,可以看出新锈,此系統(tǒng)物理內(nèi)存有3894036K甲脏,空閑的內(nèi)存只有420492K,也就是40M多一點(diǎn)妹笆,我們來(lái)做一個(gè)這樣的計(jì)算:

3894036 – 3473544 = 420492

其實(shí)就是總的物理內(nèi)存減去已經(jīng)使用的物理內(nèi)存得到的就是空閑的物理內(nèi)存大小块请,注意這里的可用內(nèi)存值420492并不包含處于buffers和cached狀態(tài)的內(nèi)存大小。

如果你認(rèn)為這個(gè)系統(tǒng)空閑內(nèi)存太小拳缠,那你就錯(cuò)了负乡,實(shí)際上,內(nèi)核完全控制著內(nèi)存的使用情況脊凰,Linux會(huì)在需要內(nèi)存的時(shí)候,或在系統(tǒng)運(yùn)行逐步推進(jìn)時(shí),將buffers和cached狀態(tài)的內(nèi)存變?yōu)閒ree狀態(tài)的內(nèi)存狸涌,以供系統(tǒng)使用切省。

從應(yīng)用層的角度來(lái)看系統(tǒng)內(nèi)存的使用狀態(tài)

也就是Linux上運(yùn)行的應(yīng)用程序可以使用的內(nèi)存大小,即free命令第三行 -/+ buffers/cached 的輸出帕胆,可以看到朝捆,此系統(tǒng)已經(jīng)使用的內(nèi)存才2068224K,而空閑的內(nèi)存達(dá)到1825812K懒豹,繼續(xù)做這樣一個(gè)計(jì)算:

420492+(72972+1332348)=1825812

通過(guò)這個(gè)等式可知芙盘,應(yīng)用程序可用的物理內(nèi)存值是Mem項(xiàng)的free值加上buffers和cached值之和,也就是說(shuō)脸秽,這個(gè)free值是包括buffers和cached項(xiàng)大小的儒老,對(duì)于應(yīng)用程序來(lái)說(shuō),buffers/cached占有的內(nèi)存是可用的记餐,因?yàn)閎uffers/cached是為了提高文件讀取的性能驮樊,當(dāng)應(yīng)用程序需要用到內(nèi)存的時(shí)候,buffers/cached會(huì)很快地被回收片酝,以供應(yīng)用程序使用囚衔。

buffers與cached的異同

在Linux操作系統(tǒng)中,當(dāng)應(yīng)用程序需要讀取文件中的數(shù)據(jù)時(shí)雕沿,操作系統(tǒng)先分配一些內(nèi)存练湿,將數(shù)據(jù)從磁盤(pán)讀入到這些內(nèi)存中,然后再將數(shù)據(jù)分發(fā)給應(yīng)用程序审轮;當(dāng)需要往文件中寫(xiě)數(shù)據(jù)時(shí)肥哎,操作系統(tǒng)先分配內(nèi)存接收用戶(hù)數(shù)據(jù),然后再將數(shù)據(jù)從內(nèi)存寫(xiě)到磁盤(pán)上断国。然而贤姆,如果有大量數(shù)據(jù)需要從磁盤(pán)讀取到內(nèi)存或者由內(nèi)存寫(xiě)入磁盤(pán)時(shí),系統(tǒng)的讀寫(xiě)性能就變得非常低下稳衬,因?yàn)闊o(wú)論是從磁盤(pán)讀數(shù)據(jù)霞捡,還是寫(xiě)數(shù)據(jù)到磁盤(pán),都是一個(gè)很消耗時(shí)間和資源的過(guò)程薄疚,在這種情況下碧信,Linux引入了buffers和cached機(jī)制。

buffers與cached都是內(nèi)存操作街夭,用來(lái)保存系統(tǒng)曾經(jīng)打開(kāi)過(guò)的文件以及文件屬性信息砰碴,這樣當(dāng)操作系統(tǒng)需要讀取某些文件時(shí),會(huì)首先在buffers與cached內(nèi)存區(qū)查找板丽,如果找到呈枉,直接讀出傳送給應(yīng)用程序趁尼,如果沒(méi)有找到需要數(shù)據(jù),才從磁盤(pán)讀取猖辫,這就是操作系統(tǒng)的緩存機(jī)制酥泞,通過(guò)緩存,大大提高了操作系統(tǒng)的性能啃憎。但buffers與cached緩沖的內(nèi)容卻是不同的芝囤。

buffers是用來(lái)緩沖塊設(shè)備做的,它只記錄文件系統(tǒng)的元數(shù)據(jù)(metadata)以及 tracking in-flight pages辛萍,而cached是用來(lái)給文件做緩沖悯姊。更通俗一點(diǎn)說(shuō):buffers主要用來(lái)存放目錄里面有什么內(nèi)容,文件的屬性以及權(quán)限等等贩毕。而cached直接用來(lái)記憶我們打開(kāi)過(guò)的文件和程序悯许。

為了驗(yàn)證我們的結(jié)論是否正確,可以通過(guò)vi打開(kāi)一個(gè)非常大的文件耳幢,看看cached的變化岸晦,然后再次vi這個(gè)文件,感覺(jué)一下兩次打開(kāi)的速度有何異同睛藻,是不是第二次打開(kāi)的速度明顯快于第一次呢启上?

接著執(zhí)行下面的命令:

find?/*?-name??*.conf

看看buffers的值是否變化,然后重復(fù)執(zhí)行find命令店印,看看兩次顯示速度有何不同冈在。

Linux操作系統(tǒng)的內(nèi)存運(yùn)行原理,很大程度上是根據(jù)服務(wù)器的需求來(lái)設(shè)計(jì)的按摘,例如系統(tǒng)的緩沖機(jī)制會(huì)把經(jīng)常使用到的文件和數(shù)據(jù)緩存在cached中包券,linux總是在力求緩存更多的數(shù)據(jù)和信息,這樣再次需要這些數(shù)據(jù)時(shí)可以直接從內(nèi)存中取炫贤,而不需要有一個(gè)漫長(zhǎng)的磁盤(pán)操作溅固,這種設(shè)計(jì)思路提高了系統(tǒng)的整體性能。


記錄次文章兰珍,以便于日后鞏固侍郭,查看。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末掠河,一起剝皮案震驚了整個(gè)濱河市亮元,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌唠摹,老刑警劉巖爆捞,帶你破解...
    沈念sama閱讀 210,914評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異勾拉,居然都是意外死亡煮甥,警方通過(guò)查閱死者的電腦和手機(jī)盗温,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評(píng)論 2 383
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)成肘,“玉大人肌访,你說(shuō)我怎么就攤上這事⊥Ы伲” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,531評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵惩激,是天一觀的道長(zhǎng)店煞。 經(jīng)常有香客問(wèn)我,道長(zhǎng)风钻,這世上最難降的妖魔是什么顷蟀? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,309評(píng)論 1 282
  • 正文 為了忘掉前任,我火速辦了婚禮骡技,結(jié)果婚禮上鸣个,老公的妹妹穿的比我還像新娘。我一直安慰自己布朦,他們只是感情好囤萤,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,381評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著是趴,像睡著了一般涛舍。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上唆途,一...
    開(kāi)封第一講書(shū)人閱讀 49,730評(píng)論 1 289
  • 那天富雅,我揣著相機(jī)與錄音,去河邊找鬼肛搬。 笑死没佑,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的温赔。 我是一名探鬼主播蛤奢,決...
    沈念sama閱讀 38,882評(píng)論 3 404
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼让腹!你這毒婦竟也來(lái)了远剩?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,643評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤骇窍,失蹤者是張志新(化名)和其女友劉穎瓜晤,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體腹纳,經(jīng)...
    沈念sama閱讀 44,095評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡痢掠,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,448評(píng)論 2 325
  • 正文 我和宋清朗相戀三年驱犹,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片足画。...
    茶點(diǎn)故事閱讀 38,566評(píng)論 1 339
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡雄驹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出淹辞,到底是詐尸還是另有隱情医舆,我是刑警寧澤,帶...
    沈念sama閱讀 34,253評(píng)論 4 328
  • 正文 年R本政府宣布象缀,位于F島的核電站蔬将,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏央星。R本人自食惡果不足惜霞怀,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,829評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望莉给。 院中可真熱鬧毙石,春花似錦、人聲如沸颓遏。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,715評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)州泊。三九已至丧蘸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間遥皂,已是汗流浹背力喷。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,945評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留演训,地道東北人弟孟。 一個(gè)月前我還...
    沈念sama閱讀 46,248評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像样悟,于是被迫代替她去往敵國(guó)和親拂募。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,440評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 參考:凌筱的博客 摘要: cache是高速緩存窟她,用于CPU和內(nèi)存之間的緩沖陈症;buffer是I/O緩存,用于內(nèi)存和硬...
    九七學(xué)姐閱讀 1,599評(píng)論 0 5
  • 姓名: 李小娜 [嵌牛導(dǎo)讀] :當(dāng)你在linux下頻繁存取文件后,物理內(nèi)存會(huì)很快被用光,當(dāng)程序結(jié)束后,內(nèi)存不會(huì)被正...
    n184閱讀 3,842評(píng)論 0 1
  • free命令可以顯示Linux系統(tǒng)中空閑的震糖、已用的物理內(nèi)存及swap內(nèi)存,及被內(nèi)核使用的buffer录肯。在Linux...
    石樂(lè)志的LK閱讀 730評(píng)論 0 0
  • 那一瞬,我定格在你瘦高的身軀吊说,便知此生與你有不盡的塵緣论咏。 那一刻优炬,我望盡黑夜燈火,終于迎來(lái)與你溫柔一遇厅贪。 那一夜蠢护,...
    蘭因素果閱讀 146評(píng)論 0 0
  • 剛吃好晚餐贯吓,一個(gè)顯示上海的手機(jī)來(lái)電贬芥,想著要不要接聽(tīng),想想還是接吧宣决。 預(yù)感是對(duì)的,騙子昏苏!男騙子尊沸!他口氣生硬地問(wèn)我,某...
    天使小魚(yú)兒閱讀 332評(píng)論 4 3