Linux虛擬內(nèi)存技術(shù)初窺

1. 為什么要用虛擬內(nèi)存

總所周知铺遂,從做系統(tǒng)的主要作用是對計算機資源的管理以及程序調(diào)度镊辕,者其中就包括對內(nèi)存的管理∨呙冢現(xiàn)在很多的系統(tǒng)都是用虛擬內(nèi)存技術(shù)來對內(nèi)存的管理瘟则,所謂虛擬內(nèi)存,就是一種讓應(yīng)用程序覺得它擁有一個很大的內(nèi)存可以使用膜钓,例如對于一個64位的操作系統(tǒng)嗽交,操作系統(tǒng)會給應(yīng)用程序制造一種它可以有2^64Bytes那么大的內(nèi)存可以使用的假象,雖然實際情況可能是這個電腦上只有4G的內(nèi)存颂斜。
對于一個多任務(wù)操作系統(tǒng)夫壁,如果不適用虛擬內(nèi)存,計算機所擁有的那點內(nèi)存顯然不夠分沃疮,雖然我們可以選擇增加物理內(nèi)存的方式讓程序擁有更多的內(nèi)存可以使用盒让,但是內(nèi)存的價格畢竟在哪里。
另外司蔬,即便你并不在乎價格邑茄,多大的內(nèi)存都能隨便買得起,但也并不意味這你裝了多大內(nèi)存就有多少內(nèi)存可以使用俊啼,不同CPU的架構(gòu)限制了它對內(nèi)存地址的訪問能力肺缕。例如一個64位架構(gòu)的CPU可能它只實現(xiàn)了44位,那么意味著它能訪問的物理內(nèi)存只有2^44Bytes這么大授帕。
除了上面所說的資源抽象的作用同木,虛擬內(nèi)存還具有以下兩個優(yōu)點:

  1. 信息隔離:虛擬內(nèi)存使得每個進程都有自己的一個地址空間,每個進程之間不能相互訪問對方的地址空間豪墅,這就增加了安全性泉手;
  2. 錯誤隔離:每個進程內(nèi)部的錯誤只會影響到該進程,而不會危及別的進程偶器。

2. 術(shù)語

2.1. 地址空間

地址空間簡單來說就是一個進程能夠訪問的所有虛擬地址斩萌,例如在64位系統(tǒng)中一個程序擁有的地址空間為0~0xFFFFFFFFFFFFFFFF

2.2 虛擬地址

虛擬地址(Virtual Address缝裤,VA),就是地址空間中的任意一個地址颊郎;

2.3. 物理地址

物理地址(Physical Address憋飞,PA),CPU訪問內(nèi)存所使用的真實地址姆吭;

2.4 頁

虛擬內(nèi)存中一段連續(xù)的內(nèi)存區(qū)域榛做,整個虛擬內(nèi)存被分成多個大小相等的頁,不同架構(gòu)的CPU定義的頁的大小可能不同内狸,例如4KB检眯、8KB等。

2.5 頁幀

物理內(nèi)存中一段連續(xù)的區(qū)域昆淡,整個物理內(nèi)存被分成多個大小相等的頁幀锰瘸,不同架構(gòu)的CPU定義的頁幀的大小可能不同,例如4KB昂灵、8KB等避凝。一般情況下頁和頁幀的大小是一樣的,但在某些架構(gòu)的CPU上頁和頁幀的大小可能不一樣眨补。

2.4 頁表

保存虛擬地址與物理地址映射關(guān)系的一個表管削,Linux中頁表分為多級結(jié)構(gòu),每一級都占據(jù)整個頁幀撑螺。頁幀只存在與物理內(nèi)存上并且不能交換含思,因此頁幀的大小的大小其實也限制了地址空間的大小。例如一個64位的操作系統(tǒng)甘晤,雖然理論上它的地址空間應(yīng)該是0-2^64 Byte茸俭,但是在頁幀大小為4KB,擁有三級頁表的情況下安皱,地址空間只有0-2^39那么大。這是怎么算出來的呢艇炎?
在三級頁表中酌伊,這三級分別稱為PGD(Page Global Directory)、PMD(Page Middle Directory)和PTE(Page Table Entry)缀踪,他們的關(guān)系如圖1所示居砖,PGD指向PMD,PMD指向PTE驴娃,PTE最終指向頁幀奏候。PGD和PMD中存儲的下一級的物理地址,而PTE中存儲的內(nèi)容包括PFN(Page Frame Number)唇敞、標志位等信息蔗草。

圖1 頁表結(jié)構(gòu)示意圖

由于頁幀的大小已經(jīng)是4KB咒彤,64位系統(tǒng)中也表中的每一項大小為64位也就是8Byte,那么一個頁幀能存儲的表項的數(shù)目為512條咒精。由于只有一個頁幀存儲PGD镶柱,那么只需要使用9位就能夠索引到該頁幀中的所有表項,因此虛擬地址中使用9位表示PGD中某一項模叙。同理歇拆,PMD與PTE也只用9位,因此PGD范咨、PMD與PTE占了虛擬地址中的27位故觅。當最終通過PTE找到存儲數(shù)據(jù)的真正頁幀,由于該頁幀中保存的是實際的數(shù)據(jù)渠啊,通常以Byte為最小地址索引單元输吏,因此4KB就能分成1024*4這么多小塊,需要12位才能索引完昭抒,合起來就需要39位评也。為了能使用更大的地址空間,就需要通過采取更大頁幀或者增加頁表級數(shù)的方法灭返,例如如果使用8KB的頁幀盗迟,則地址空間可以擴展到43位,而如果再擴展一級頁表熙含,則可以有48位地址空間可以使用罚缕。

2. 怎么表示物理內(nèi)存

物理內(nèi)存分為NUMA(Non-Uniform Memory Access)和UMA(Uniform Memory Access)兩種類型,雖然我們通常認為CPU訪問內(nèi)存的各個區(qū)域的代價是一樣的怎静,但是有時候并不是這樣邮弹。在Linux中,將訪問代價一樣的內(nèi)存歸為一個Node蚓聘,UMA只有一個Node腌乡,NUMA有多個Node,一般的PC都是UMA類型的夜牡。
由于架構(gòu)的限制与纽,CPU并不能平等使用所有的內(nèi)存,例如某些DMA處理器只能訪問物理內(nèi)存開始的16M內(nèi)存塘装。因此急迂,需要將物理內(nèi)存分為不同的區(qū)(Zone),通潮碾龋可分為以下三個不同的區(qū):ZONE_DMA僚碎、ZONE_NORMAL以及ZONE_HIGHMEM,每一個區(qū)都表示一塊連續(xù)的內(nèi)存阴幌。
而每個區(qū)可以分為一個個頁幀勺阐,因此卷中,在Linux中,物理內(nèi)存的表示如下圖2所示皆看。


圖2 Linux中物理內(nèi)存的表示

3. 怎么通過虛擬內(nèi)存地址找到物理內(nèi)存地址

物理地址和虛擬地址的映射是通過頁表來實現(xiàn)的仓坞。那么我們怎么樣才能通過頁表將虛擬地址轉(zhuǎn)化為物理地址呢?如圖3所示腰吟,下面簡要介紹下頁表是怎么工作的无埃。



在Linux中,每個進程有一個指向PGD的指針毛雇,通過該指針我們能找到PGD表嫉称。找到該PGD后,通過所給的地址的指定9位(如圖3中的page index)灵疮,我們可以找到該虛擬地址所屬于的PGD項织阅,該相中保存的是指向PMD的地址,這樣震捣,我們就來到該虛擬地址所屬于的PMD中荔棉。與之前一樣,我們在PMD中通過pmd index找到了對應(yīng)的PTE的地址蒿赢,我們通過pte index找到了該虛擬地址所映射的頁幀润樱。最后,通過offset我們就能確定該虛擬地址所指向的是所找到頁幀的哪一字節(jié)羡棵。

4. 如何實現(xiàn)

1949年10月1日壹若,新中國成立的開國大典,很少人知道皂冰,當時天上飛過的不是26架戰(zhàn)機店展,而是17架。那時秃流,我國總共有100多架戰(zhàn)機赂蕴,其中很多已經(jīng)破爛不堪,飛都很難飛起來舶胀,而且還是萬國牌睡腿。
如何讓場面看起來更壯觀些?
沉思良久后峻贮,周總理提出了一個建議:這17架飛機中有9架速度比較快,閱兵時讓它們飛前面应闯,繞一圈后迅速回到隊伍最后面纤控,這樣就能營造出一種有26架飛機參加閱兵式的感覺。

操作系統(tǒng)對內(nèi)存的操作和這個飛機飛兩遍的操作非常相似碉纺。讓多個虛擬在 不同時間段與同一個頁幀做映射船万,就能然人柑橘能使用的內(nèi)存比實際的大刻撒。
只是僅僅讓多個虛擬頁分別于頁幀分時映射還不行,還需要有一個地方用于保存他們各自的數(shù)據(jù)耿导,這個地方就是硬盤声怔。比如某個市場只有一個攤位,張三舱呻、李四和王五三班倒的用這個攤位賣東西醋火。他們?nèi)吮舜瞬⒉恢缹Ψ降拇嬖冢@然箱吕,除了這個攤位芥驳,他們?nèi)吮仨氝€各種需要一個倉庫用于在他們不賣貨的時間段存放他們的貨物,否則如果他們都貨物都直接丟在攤位茬高,那么張三很可能就把李四的東西給賣了兆旬。

如圖4所示,假設(shè)操作系統(tǒng)將兩個虛擬頁映射到了同一個頁幀怎栽,這兩個虛擬頁可以屬于同一個地址空間也可以屬于不同的地址空間丽猬,一般來說應(yīng)該屬于不同的地址空間,假設(shè)它們分別稱為P1和P2熏瞄,那么從感覺上這兩個虛擬頁都是獨立的一塊內(nèi)存脚祟,雖然實際上他們映射的是同一個頁幀,假設(shè)這個頁幀成為F巴刻,但同一時間內(nèi)只能有一個虛擬頁和頁幀綁定愚铡。此外,P1和P2在磁盤上各自有著一款與它們自身大小相等的空間作為備份胡陪,假設(shè)分別是B1與B2沥寥。某一時刻,F(xiàn)存儲的是P1的內(nèi)容柠座,現(xiàn)在程序訪問到了P2邑雅,由于P2的目前還沒和F綁定,就會觸發(fā)缺頁中斷(page fault)妈经。操作系統(tǒng)先掛起當前程序淮野,然后中斷處理程序(page fault handler)就會將目前物理內(nèi)存幀內(nèi)的內(nèi)容存儲到磁盤B1,而把B2的內(nèi)容讀到F吹泡,然后將P2綁定到F骤星,最后恢復(fù)被掛起的程序的執(zhí)行。通過這一換頁機制爆哑,程序就拿到了P2上的存儲的內(nèi)容洞难。當又需要P1的內(nèi)容的時候,同樣的方法得到揭朝,而應(yīng)用程序并不知道這些队贱,在應(yīng)用程序看來色冀,它需要的數(shù)據(jù)一值都在內(nèi)存中。

圖4 換頁機制

5. 總結(jié)

本文只是對虛擬內(nèi)存做了簡單的介紹柱嫌,內(nèi)存是個有意思的東西锋恬,程序的一切操作都是圍繞它展開,理解了底層對內(nèi)存的操作编丘,對于理解上層程序?qū)?nèi)存所做的各種操作也很有幫助与学。

歡1迎2關(guān)3注4個5人6公7眾8號:TensorBoy

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市瘪吏,隨后出現(xiàn)的幾起案子癣防,更是在濱河造成了極大的恐慌,老刑警劉巖掌眠,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蕾盯,死亡現(xiàn)場離奇詭異,居然都是意外死亡蓝丙,警方通過查閱死者的電腦和手機级遭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來渺尘,“玉大人挫鸽,你說我怎么就攤上這事∨父” “怎么了丢郊?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長医咨。 經(jīng)常有香客問我枫匾,道長,這世上最難降的妖魔是什么拟淮? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任干茉,我火速辦了婚禮,結(jié)果婚禮上很泊,老公的妹妹穿的比我還像新娘角虫。我一直安慰自己,他們只是感情好委造,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布戳鹅。 她就那樣靜靜地躺著,像睡著了一般昏兆。 火紅的嫁衣襯著肌膚如雪枫虏。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天,我揣著相機與錄音模软,去河邊找鬼。 笑死饮潦,一個胖子當著我的面吹牛燃异,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播继蜡,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼回俐,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了稀并?” 一聲冷哼從身側(cè)響起仅颇,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎碘举,沒想到半個月后忘瓦,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡引颈,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年耕皮,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蝙场。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡凌停,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出售滤,到底是詐尸還是另有隱情敛摘,我是刑警寧澤镶骗,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響房揭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜杜跷,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一便锨、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧吉捶,春花似錦夺鲜、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至珊拼,卻和暖如春食呻,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工仅胞, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留每辟,地道東北人。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓干旧,卻偏偏與公主長得像渠欺,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子椎眯,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355