1 free
1.1 free命令原理
free是通過查看 /proc/meminfo 來獲取內(nèi)存的使用情況。但是 /proc/meminfo 這個文件又是怎么來的单刁?我們先了解下 /proc 目錄:
/proc 是一個虛擬文件系統(tǒng)辫愉,該目錄下的所有文件都是偽文件仰泻,該類文件只存在于內(nèi)存中麻捻,并不占用空間——使用 du -sh 即可驗證,該模具路下的磁盤占用都是0耻矮。 /proc 下的所有文件都是內(nèi)核調(diào)用proc_create() 接口來創(chuàng)建的虛擬條目。 /proc 中的文件忆谓,大多反饋系統(tǒng)信息的實時情況(進程裆装、內(nèi)存、cpu倡缠、設(shè)備信息等)哨免。
結(jié)論: /proc/meminfo 是 /proc 文件系統(tǒng)下保存你內(nèi)存相關(guān)信息的"偽文件"。
2.2 命令輸出簡介
每個發(fā)行版輸出都有一定差異昙沦,我們以debian8 4.19.x發(fā)行版為例琢唾。
root@4f996feeb851:~# free -m total used free shared buffers cachedMem: 1991 1909 81 4 155 836-/+ buffers/cache: 917 1073Swap: 1023 1 1022
大部分的命令輸出意思,大家可以在man文檔中找到解析盾饮,這里不做贅述采桃。
used: 已使用的內(nèi)存 used = total - free -buffers -cached free: 未使用的內(nèi)存 memFreeswapFree in /proc/meminfo shared: tmpfs使用的內(nèi)存 shmem in /proc/meminfo buffers:被內(nèi)核緩沖去使用的內(nèi)存 cached: 被頁緩存和slabs使用的內(nèi)存 buffers/cache: 表示buffers和cache的總和 swap: 交換分區(qū)的使用量
2.3 buffer和cache會使用內(nèi)存嗎?
答案是肯定的丘损,先來了解下buffer和cache普办。
cache(緩存)官方定義是用來彌補高速設(shè)備和低速設(shè)備之間的訪問速度不匹配而預(yù)留的一段空間,用來加快資源的訪問徘钥。 簡單講就是讀的更快衔蹲。 buffer(緩沖)是為了做資源寫入整形,計算機遇到大量的“小規(guī)模IO”時呈础,會將其整形為少量的“大規(guī)模IO”舆驶,降低寫入次數(shù)。從而達到“寫資源”合理利用的效果而钞。
然而贞远,free命令所展示的buffer和cache 有點狹義的意思——free展示的buffer表示 塊設(shè)備所占用的緩存 、free展示的cache表示普通文件占用的the page cache(緩存頁) 笨忌。
總之蓝仲,buffer和cache使用的內(nèi)存都是用來加速Linux讀寫性能,如果有新的進程需要內(nèi)存,系統(tǒng)會將buffer和cache占用的內(nèi)存回收袱结,并重新分配給進程使用亮隙。
2.4 其他內(nèi)存概念
RSSVSZPSSUSS
RSS(Resident Set Size):進程實際使用的物理內(nèi)存大小,包括sharedMem垢夹。 VSZ(Virtual Memory Size):進程所有能夠訪問到的內(nèi)存大小溢吻,包括因為缺頁中斷,被swap出去的內(nèi)存大小果元,以及sharedMem促王。 PSS(Proportional Set Size):按照比例將內(nèi)存的大小加到RSS中。 USS(Unique Set Size):進程獨占的物理內(nèi)存大小而晒。
usedMem分為 activeinactive
active:表示這部分的內(nèi)存正在被某個特定的進程使用蝇狼,不太可能被收回。 inactive:表示這部分內(nèi)存是被分配到某個不在running狀態(tài)的進程倡怎,有可能會被回收迅耘。
Linux會維護一個LRU List用來管理活動頁和非活動頁的回收。 簡單講监署, 越接近該List的末尾颤专,該頁面被回收的概率就越大,反之钠乏,越接近列首栖秕,則更不易被回收。 linux內(nèi)核會維護兩類LRUList——active list和inactive list晓避,剛訪問過的頁面放入active list累魔,長時間未訪問的頁面放入inactive list,內(nèi)核線程kswapd會定期將active list中的頁面移至?inactive list中够滑。
如果系統(tǒng)的inactive的內(nèi)存過大垦写,可以通過如下操作對其做回收。sync; echo 3/proc/sys/vm/drop_caches
3. 虛擬內(nèi)存
現(xiàn)代x86系統(tǒng)彰触,計算機能夠使用的內(nèi)存會大于其物理內(nèi)存的上限梯投,依靠的就是虛擬內(nèi)存機制。Linux支持虛擬內(nèi)存機制和實模式機制况毅。
實模式下分蓖,計算機會直接申請物理內(nèi)存, 虛擬內(nèi)存機制下尔许,系統(tǒng)會把磁盤當成內(nèi)存的擴展么鹤,已增加可使用的內(nèi)存大小。并通過映射map的機制味廊,來保存和物理內(nèi)存的真實對應(yīng)關(guān)系蒸甜。
在磁盤和內(nèi)存之間傳送Page的活動叫做swapping或者頁面調(diào)度(paging)棠耕,被用作虛擬內(nèi)存的磁盤分區(qū)稱為swap。
可以通過在線添加swap的方式臨時緩解內(nèi)存不足的問題柠新,但一般不能直接作在線減少swap的操作窍荧,很有可能導(dǎo)致進程的crash。具體swap配置方式見5.1swap相關(guān)配置恨憎。
4. OOM
1.What is OOM?Out Of Memory Killer 是 Linux 的一種系統(tǒng)保護機制蕊退,在系統(tǒng)內(nèi)存緊張時,kill掉某些進程防止系統(tǒng)卡死憔恳。系統(tǒng)通過打分機制瓤荔,來實施對進程的殺死操作。默認機制是通過掃描所有進程的內(nèi)存占用钥组,cpu占用等因素输硝,然后打分??(badness),分數(shù)越高者铜,進程被kill的優(yōu)先級就越高。
2.哪些行為會讓系統(tǒng)對進程進行打分放椰?
進程使用fork(2)調(diào)用作烟,創(chuàng)建眾多子進程時,會加分(+) 進程已經(jīng)運行了很長時間砾医,或者和使用了大量的CPU時間拿撩,會減分(-) 進程的nice值如果比較低,會加分(+) 進程如果是特權(quán)進程(privileged),會減分(-) 進程如果對硬件設(shè)備進行直接訪問如蚜,會減分(-)
3.在哪兒可以看到進程的打分压恒?/proc/pid/oom_score
4.手動調(diào)整分數(shù)/proc//oom_adj 該文件可以用于調(diào)整在oom發(fā)生時,哪些進程應(yīng)該被kill错邦,范圍-16 -- +15 探赫,默認值為0,??
特殊值-17:表示進程永遠不會被kill撬呢。
5.我怎么知道系統(tǒng)有沒有觸發(fā)過OOM?/var/log/messages 伦吠、 /var/log/syslog 系統(tǒng)日志或者 dmesg 系統(tǒng)日志診斷工具等都能夠找到網(wǎng)圖如下:
5. 內(nèi)存相關(guān)配置
5.1 swap相關(guān)配置
通過調(diào)節(jié)系統(tǒng)參數(shù),來告訴計算機使用swap分區(qū)的權(quán)重 1. 簡介swappiness范圍0-100魂拦,默認600: 表示禁止使用swap60: 默認100: 瘋狂使用swap2. 操作方法# sysctl vm.swappiness=VALUE# sysctl vm.swappiness=20或者# echo VALUE/proc/sys/vm/swappiness# echo 30/proc/sys/vm/swappiness 通過在線增加swap分區(qū)大小毛仪,臨時控制內(nèi)存泄露,內(nèi)存不夠用等異常芯勘。 1. 需要root用戶2. 創(chuàng)建存儲文件# dd if=/dev/zero of=/home/swap2G bs=1024 count=2M3. 安全設(shè)置# chown root:root /home/swap2G# chmod 0600 /home/swap2G4. 創(chuàng)建liunx交換分區(qū)# mkswap /home/swap2G5. enable 交換分區(qū)# swapon /home/swap2G6. 更新fstab文件【注意: 部分操作系統(tǒng)不需要】# vim /etc/fstab/home/swap2G none swap sw 0 07. 檢查是否生效#free -m8. 卸載swap分區(qū)# swapoff /home/swap2G
5.2 緩存相關(guān)
sync; echo 3/proc/sys/vm/drop_caches0:不釋放1:釋放頁緩存2:釋放 dentries 和 inodes3:釋放所有緩存
5.3 OOM相關(guān)
vm.panic_on_oom 是否在觸發(fā) oom 機制時觸發(fā) kernel panic箱靴。0表示關(guān)閉(推薦),1表示打開荷愕。 kernel panic是指計算機遇到了致命的錯誤衡怀,并且他不知道該怎么處理時的一種動作——可以類比windows的藍屏棍矛。 我們當然不希望每次計算機在oom時就直接藍屏。推薦設(shè)置為0 vm.overcommit_kbytes: 用于限制進程能夠申請的最大內(nèi)存狈癞,0表示不設(shè)置茄靠,如果設(shè)置其他數(shù)值,比如400蝶桶,則進程能夠申請到的最大內(nèi)存為 swap+400kBytes vm.overcommit_ratio: 定義了進程可以使用的最大內(nèi)存(百分比模式)慨绳,默認為50。表示配置50之后真竖,進程不允許申請超過 swap + 50% * 物理內(nèi)存總量 以上的內(nèi)存 vm.oom_kill_allocating_task (Linux 2.6.24+支持) 這在內(nèi)存不足的情況下啟用或禁用殺死OOM觸發(fā)任務(wù)脐雪。0表示禁用(默認),1表示啟用恢共≌角铮可以理解為oom機制的開關(guān),默認為禁用——表示要讓oom觸發(fā)器正常執(zhí)行讨韭。 其他有興趣的話脂信,可以自行man proc