操作系統(tǒng)——內(nèi)存映射

定義

虛擬內(nèi)存的目標(biāo)存儲(chǔ)器是磁盤,所以虛擬內(nèi)存區(qū)域是和磁盤中的文件對(duì)應(yīng)的。初始化虛擬內(nèi)存的內(nèi)容時(shí)倔叼,會(huì)把虛擬內(nèi)存區(qū)域和一個(gè)磁盤文件對(duì)象對(duì)應(yīng)起來竭宰,這個(gè)過程叫內(nèi)存映射空郊。被映射的對(duì)象稱為:共享對(duì)象。虛擬內(nèi)存可以映射的磁盤文件對(duì)象包括兩種:

  • 一個(gè)普通的磁盤文件切揭,文件中的內(nèi)容被分成頁大小的塊狞甚,因?yàn)榘葱柽M(jìn)行頁面調(diào)度,只有真正需要讀取這些虛擬頁面時(shí)廓旬,才會(huì)交換到主存哼审。
  • 一個(gè)匿名文件,匿名文件時(shí)內(nèi)核創(chuàng)建的,內(nèi)容全是二進(jìn)制0棺蛛,它相當(dāng)于一個(gè)占位符怔蚌,不會(huì)產(chǎn)生實(shí)際的磁盤流量。映射到匿名文件中的頁叫做請(qǐng)求二進(jìn)制零的頁旁赊。

作用

在多個(gè)進(jìn)程的虛擬內(nèi)存區(qū)域已和同一個(gè)共享對(duì)象建立映射關(guān)系的前提下桦踊,若其中一個(gè)進(jìn)程對(duì)該虛擬區(qū)域進(jìn)行寫操作,那么對(duì)于也把該共享對(duì)象映射到其自身虛擬內(nèi)存區(qū)域的進(jìn)程也是可見的终畅。

假設(shè)進(jìn)程1籍胯,2的虛擬內(nèi)存區(qū)域同時(shí)映射到同一個(gè)共享對(duì)象:
當(dāng)進(jìn)程1對(duì)其虛擬內(nèi)存進(jìn)行寫操作時(shí),也會(huì)被映射到進(jìn)程2的虛擬內(nèi)存區(qū)域中离福。
示意圖如下:


image.png

image.png

實(shí)現(xiàn)過程

  • 內(nèi)存映射的實(shí)現(xiàn)過程主要時(shí)通過Linux系統(tǒng)下的調(diào)用函數(shù):mmap()
  • 該函數(shù)的作用 = 創(chuàng)建虛擬內(nèi)存區(qū)域+與共享對(duì)象建立映射關(guān)系杖狼。
  • 函數(shù)原型:
/**
  * 函數(shù)原型
  */
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

  • 函數(shù)的使用:
/**
  * 具體使用(用戶進(jìn)程調(diào)用mmap())
  * 下述代碼即常見了一片大小 = MAP_SIZE的接收緩存區(qū) & 關(guān)聯(lián)到共享對(duì)象中(即建立映射)
  */
  mmap(NULL, MAP_SIZE, PROT_READ, MAP_PRIVATE, fd, 0);
  • 內(nèi)部原理:
    步驟1:創(chuàng)建虛擬內(nèi)存區(qū)域
    步驟2:實(shí)現(xiàn)地址映射關(guān)系,即:進(jìn)程的虛擬地址空間映射到共享對(duì)象妖爷。
    注意:這個(gè)時(shí)候該虛擬地址并沒有任何數(shù)據(jù)關(guān)聯(lián)到文件中蝶涩,僅僅只是建立映射關(guān)系,當(dāng)其中一個(gè)進(jìn)程對(duì)虛擬內(nèi)存寫入數(shù)據(jù)時(shí)絮识,則真正實(shí)現(xiàn)了數(shù)據(jù)的可見绿聘。

特點(diǎn)

  • 提高數(shù)據(jù)的讀,寫和傳輸?shù)男阅堋?br> ? 1.減少了數(shù)據(jù)拷貝次數(shù)
    ? 2.用戶空間和內(nèi)核空間的高效交互次舌。
    ? 3.用內(nèi)存讀寫代替I/O讀寫熄攘。
  • 提高內(nèi)存利用率:通過虛擬內(nèi)存和共享對(duì)象。

應(yīng)用場(chǎng)景

1.實(shí)現(xiàn)內(nèi)存共享彼念,例如跨進(jìn)程通信挪圾。
2.提高數(shù)據(jù)讀/寫效率,如文件讀/寫操作逐沙。

實(shí)例講解

傳統(tǒng)的Linux系統(tǒng)文件操作流程如下:
  • 1.用戶進(jìn)程發(fā)起讀文件請(qǐng)求
  • 2.內(nèi)核通過查找進(jìn)程文件符表哲思,定位到內(nèi)核已打開文件集上的文件信息,從而找到此文件的inode酱吝。
  • 3.inode在address_space上查找要請(qǐng)求的文件頁是否已經(jīng)存在緩存頁中也殖。如果存在,則直接返回這片文件頁的內(nèi)容务热。如果不存在忆嗜,則通過inode定位到文件磁盤地址,將數(shù)據(jù)從磁盤復(fù)制到頁緩存崎岂。之后再發(fā)起讀頁面過程捆毫,將頁面緩存中的數(shù)據(jù)返回給用戶進(jìn)程。
    示意圖:


    image.png

    特點(diǎn):

  • 常規(guī)文件操作為了提高讀寫效率&保護(hù)磁盤冲甘,使用了頁緩存機(jī)制绩卤。
  • 需要兩次拷貝才能完成操作途样。
使用內(nèi)存映射的文件讀/寫操作:

?工作流程如下:

  • 步驟1.創(chuàng)建虛擬映射區(qū)域
  • 1.在當(dāng)前進(jìn)程的虛擬內(nèi)存空間中,尋找一段滿足要求大小的虛擬地址濒憋。
  • 2.為此虛擬地址分配一個(gè)虛擬內(nèi)存區(qū)域
  • 3.初始化該虛擬內(nèi)存區(qū)域
  • 4.插入該虛擬內(nèi)存區(qū)域到進(jìn)程的虛擬內(nèi)存地址的鏈表/樹中何暇。
  • 步驟2.實(shí)現(xiàn)地址映射關(guān)系
  • 1.依次通過待映射文件指針,文件描述符和文件結(jié)構(gòu)體凛驮,最終調(diào)用內(nèi)核空間中系統(tǒng)調(diào)用函數(shù)mmap()
  • 2.內(nèi)核空間的mmap()通過虛擬文件系統(tǒng)inode模塊定位到文件磁盤物理地址裆站。
    3.通過remap_pfn_range()建立頁表,即實(shí)現(xiàn)了文件地址和虛擬地址區(qū)域的映射關(guān)系黔夭。

這兩個(gè)步驟創(chuàng)建虛擬空間和映射地址宏胯,但時(shí)并無將任何文件數(shù)據(jù)拷貝到主存;真正的數(shù)據(jù)拷貝時(shí)刻:當(dāng)進(jìn)程發(fā)起讀/寫操作時(shí)本姥。

  • 步驟 3肩袍。進(jìn)程訪問該映射空間,實(shí)現(xiàn)文件內(nèi)容到物理內(nèi)存的數(shù)據(jù)拷貝婚惫。
  • 1.進(jìn)程的讀/寫操作訪問虛擬地址空間這一段映射地址氛赐。
  • 2.若進(jìn)程通過寫操作改變了其內(nèi)容,一定時(shí)間后系統(tǒng)會(huì)自動(dòng)回寫臟頁面到對(duì)應(yīng)的磁盤地址先舷,即完成了寫到文件的過程鹰祸。(修改的臟頁面不會(huì)立即更新,而是又延遲密浑,但是可通過msync()來強(qiáng)制同步,此時(shí)粗井,所寫的內(nèi)容就能立即保存到文件尔破。)

示意圖:


image.png

特點(diǎn):直接通過映射進(jìn)行交互,數(shù)據(jù)拷貝的次數(shù)只有一次浇衬,文件讀取的效率高懒构,可實(shí)現(xiàn)高效大規(guī)模數(shù)據(jù)傳輸。

跨進(jìn)程通信

使用傳統(tǒng)的跨進(jìn)程通信

工作流程:

  • 1.發(fā)送進(jìn)程通過系統(tǒng)調(diào)用耘擂,將需要發(fā)送的數(shù)據(jù)拷貝到Linux進(jìn)程的內(nèi)核空間中的緩存區(qū)中胆剧。(數(shù)據(jù)拷貝1次,通過copy_from_user())醉冤。
  • 2.內(nèi)核服務(wù)程序秩霍,喚醒接收進(jìn)程的接收線程,通過系統(tǒng)調(diào)用將數(shù)據(jù)發(fā)送到接收進(jìn)程的用戶空間中蚁阳,最終完成數(shù)據(jù)的傳輸铃绒。

示意圖:


image.png

缺點(diǎn):

  • 需要2次拷貝數(shù)據(jù),效率低下
  • 接收數(shù)據(jù)的緩存要由接收方提高螺捐,但是接收方不知道到底要多大的緩存才滿足要求颠悬。
使用內(nèi)存映射跨進(jìn)程通信

工作流程:

  • 1.創(chuàng)建一塊共享的接收緩存區(qū)矮燎。
  • 2.實(shí)現(xiàn)地址映射關(guān)系
  • 3.發(fā)送進(jìn)程將數(shù)據(jù)發(fā)送搭配自身的虛擬內(nèi)存區(qū)域,拷貝數(shù)據(jù)1次
  • 4.由于發(fā)送進(jìn)程的虛擬內(nèi)存空間核接收進(jìn)程的虛擬內(nèi)存地址存在映射關(guān)系赔癌,故相當(dāng)于也發(fā)送到了接收進(jìn)程的虛擬內(nèi)存地址中诞外。實(shí)現(xiàn)跨進(jìn)程通信

示意圖:


image.png

優(yōu)點(diǎn):

  • 數(shù)據(jù)只拷貝一次,用戶空間之間直接通過共享對(duì)象直接交互灾票。
  • 為接收進(jìn)程分配了不確定的大小的接收緩存區(qū)峡谊。

參考鏈接:
http://www.reibang.com/p/719fc4758813

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市铝条,隨后出現(xiàn)的幾起案子靖苇,更是在濱河造成了極大的恐慌,老刑警劉巖班缰,帶你破解...
    沈念sama閱讀 218,755評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件贤壁,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡埠忘,警方通過查閱死者的電腦和手機(jī)脾拆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來莹妒,“玉大人名船,你說我怎么就攤上這事≈嫉。” “怎么了渠驼?”我有些...
    開封第一講書人閱讀 165,138評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)鉴腻。 經(jīng)常有香客問我迷扇,道長(zhǎng),這世上最難降的妖魔是什么爽哎? 我笑而不...
    開封第一講書人閱讀 58,791評(píng)論 1 295
  • 正文 為了忘掉前任蜓席,我火速辦了婚禮,結(jié)果婚禮上课锌,老公的妹妹穿的比我還像新娘厨内。我一直安慰自己,他們只是感情好渺贤,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,794評(píng)論 6 392
  • 文/花漫 我一把揭開白布雏胃。 她就那樣靜靜地躺著,像睡著了一般志鞍。 火紅的嫁衣襯著肌膚如雪丑掺。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,631評(píng)論 1 305
  • 那天述雾,我揣著相機(jī)與錄音街州,去河邊找鬼兼丰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛唆缴,可吹牛的內(nèi)容都是我干的鳍征。 我是一名探鬼主播,決...
    沈念sama閱讀 40,362評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼面徽,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼艳丛!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起趟紊,我...
    開封第一講書人閱讀 39,264評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤氮双,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后霎匈,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體戴差,經(jīng)...
    沈念sama閱讀 45,724評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年铛嘱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了暖释。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,040評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡墨吓,死狀恐怖球匕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情帖烘,我是刑警寧澤亮曹,帶...
    沈念sama閱讀 35,742評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站秘症,受9級(jí)特大地震影響乾忱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜历极,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,364評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望衷佃。 院中可真熱鬧趟卸,春花似錦、人聲如沸氏义。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽惯悠。三九已至邻邮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間克婶,已是汗流浹背筒严。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評(píng)論 1 270
  • 我被黑心中介騙來泰國打工丹泉, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人鸭蛙。 一個(gè)月前我還...
    沈念sama閱讀 48,247評(píng)論 3 371
  • 正文 我出身青樓摹恨,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親娶视。 傳聞我的和親對(duì)象是個(gè)殘疾皇子晒哄,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,979評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 前言 內(nèi)存映射 在 Linux操作系統(tǒng)中非常重要,因?yàn)槠渖婕暗礁咝У目邕M(jìn)程通信 & 文件操作 今天肪获,我將詳細(xì)講解操...
    Carson帶你學(xué)安卓閱讀 46,597評(píng)論 21 192
  • 操作系統(tǒng)對(duì)內(nèi)存的管理 沒有內(nèi)存抽象的年代 在早些的操作系統(tǒng)中寝凌,并沒有引入內(nèi)存抽象的概念。程序直接訪問和操作的都是物...
    Mr槑閱讀 16,701評(píng)論 3 24
  • 內(nèi)存映射文件 假設(shè)采用標(biāo)準(zhǔn)系統(tǒng)調(diào)用open(), read()孝赫, write()來順序讀取磁盤文件较木。每個(gè)文件的訪問...
    小pb閱讀 210評(píng)論 0 0
  • 久違的晴天,家長(zhǎng)會(huì)寒锚。 家長(zhǎng)大會(huì)開好到教室時(shí)劫映,離放學(xué)已經(jīng)沒多少時(shí)間了。班主任說已經(jīng)安排了三個(gè)家長(zhǎng)分享經(jīng)驗(yàn)刹前。 放學(xué)鈴聲...
    飄雪兒5閱讀 7,523評(píng)論 16 22
  • 今天感恩節(jié)哎泳赋,感謝一直在我身邊的親朋好友。感恩相遇喇喉!感恩不離不棄祖今。 中午開了第一次的黨會(huì),身份的轉(zhuǎn)變要...
    迷月閃星情閱讀 10,567評(píng)論 0 11