轉(zhuǎn)自認(rèn)真分析mmap：是什么 為什么 怎么用

閱讀目錄
mmap基礎(chǔ)概念
mmap內(nèi)存映射原理
mmap和常規(guī)文件操作的區(qū)別
mmap優(yōu)點(diǎn)總結(jié)
mmap相關(guān)函數(shù)
mmap使用細(xì)節(jié)

回到頂部
mmap基礎(chǔ)概念
mmap是一種內(nèi)存映射文件的方法筋量，即將一個(gè)文件或者其它對(duì)象映射到進(jìn)程的地址空間，實(shí)現(xiàn)文件磁盤(pán)地址和進(jìn)程虛擬地址空間中一段虛擬地址的一一對(duì)映關(guān)系讶舰。實(shí)現(xiàn)這樣的映射關(guān)系后师妙，進(jìn)程就可以采用指針的方式讀寫(xiě)操作這一段內(nèi)存都许，而系統(tǒng)會(huì)自動(dòng)回寫(xiě)臟頁(yè)面到對(duì)應(yīng)的文件磁盤(pán)上，即完成了對(duì)文件的操作而不必再調(diào)用read,write等系統(tǒng)調(diào)用函數(shù)嗽桩。相反传透，內(nèi)核空間對(duì)這段區(qū)域的修改也直接反映用戶(hù)空間，從而可以實(shí)現(xiàn)不同進(jìn)程間的文件共享韧衣。如下圖所示：

回到頂部
mmap內(nèi)存映射原理
mmap內(nèi)存映射的實(shí)現(xiàn)過(guò)程跨蟹，總的來(lái)說(shuō)可以分為三個(gè)階段：
（一）進(jìn)程啟動(dòng)映射過(guò)程雳殊，并在虛擬地址空間中為映射創(chuàng)建虛擬映射區(qū)域
1、進(jìn)程在用戶(hù)空間調(diào)用庫(kù)函數(shù)mmap窗轩，原型：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
2夯秃、在當(dāng)前進(jìn)程的虛擬地址空間中，尋找一段空閑的滿足要求的連續(xù)的虛擬地址
3痢艺、為此虛擬區(qū)分配一個(gè)vm_area_struct結(jié)構(gòu)仓洼，接著對(duì)這個(gè)結(jié)構(gòu)的各個(gè)域進(jìn)行了初始化
4、將新建的虛擬區(qū)結(jié)構(gòu)（vm_area_struct）插入進(jìn)程的虛擬地址區(qū)域鏈表或樹(shù)中

（二）調(diào)用內(nèi)核空間的系統(tǒng)調(diào)用函數(shù)mmap（不同于用戶(hù)空間函數(shù)）堤舒，實(shí)現(xiàn)文件物理地址和進(jìn)程虛擬地址的一一映射關(guān)系
5色建、為映射分配了新的虛擬地址區(qū)域后，通過(guò)待映射的文件指針舌缤，在文件描述符表中找到對(duì)應(yīng)的文件描述符箕戳，通過(guò)文件描述符，鏈接到內(nèi)核“已打開(kāi)文件集”中該文件的文件結(jié)構(gòu)體（struct file）国撵，每個(gè)文件結(jié)構(gòu)體維護(hù)著和這個(gè)已打開(kāi)文件相關(guān)各項(xiàng)信息陵吸。
6、通過(guò)該文件的文件結(jié)構(gòu)體介牙，鏈接到file_operations模塊壮虫，調(diào)用內(nèi)核函數(shù)mmap，其原型為：int mmap(struct file *filp, struct vm_area_struct *vma)环础，不同于用戶(hù)空間庫(kù)函數(shù)囚似。
7、內(nèi)核mmap函數(shù)通過(guò)虛擬文件系統(tǒng)inode模塊定位到文件磁盤(pán)物理地址线得。
8饶唤、通過(guò)remap_pfn_range函數(shù)建立頁(yè)表，即實(shí)現(xiàn)了文件地址和虛擬地址區(qū)域的映射關(guān)系框都。此時(shí)搬素，這片虛擬地址并沒(méi)有任何數(shù)據(jù)關(guān)聯(lián)到主存中。

（三）進(jìn)程發(fā)起對(duì)這片映射空間的訪問(wèn)魏保，引發(fā)缺頁(yè)異常熬尺，實(shí)現(xiàn)文件內(nèi)容到物理內(nèi)存（主存）的拷貝
注：前兩個(gè)階段僅在于創(chuàng)建虛擬區(qū)間并完成地址映射，但是并沒(méi)有將任何文件數(shù)據(jù)的拷貝至主存谓罗。真正的文件讀取是當(dāng)進(jìn)程發(fā)起讀或?qū)懖僮鲿r(shí)粱哼。
9、進(jìn)程的讀或?qū)懖僮髟L問(wèn)虛擬地址空間這一段映射地址檩咱，通過(guò)查詢(xún)頁(yè)表揭措，發(fā)現(xiàn)這一段地址并不在物理頁(yè)面上胯舷。因?yàn)槟壳爸唤⒘说刂酚成洌嬲挠脖P(pán)數(shù)據(jù)還沒(méi)有拷貝到內(nèi)存中绊含，因此引發(fā)缺頁(yè)異常桑嘶。
10、缺頁(yè)異常進(jìn)行一系列判斷躬充，確定無(wú)非法操作后逃顶，內(nèi)核發(fā)起請(qǐng)求調(diào)頁(yè)過(guò)程。
11充甚、調(diào)頁(yè)過(guò)程先在交換緩存空間（swap cache）中尋找需要訪問(wèn)的內(nèi)存頁(yè)以政，如果沒(méi)有則調(diào)用nopage函數(shù)把所缺的頁(yè)從磁盤(pán)裝入到主存中。
12伴找、之后進(jìn)程即可對(duì)這片主存進(jìn)行讀或者寫(xiě)的操作盈蛮，如果寫(xiě)操作改變了其內(nèi)容，一定時(shí)間后系統(tǒng)會(huì)自動(dòng)回寫(xiě)臟頁(yè)面到對(duì)應(yīng)磁盤(pán)地址技矮，也即完成了寫(xiě)入到文件的過(guò)程抖誉。
注：修改過(guò)的臟頁(yè)面并不會(huì)立即更新回文件中，而是有一段時(shí)間的延遲衰倦，可以調(diào)用msync()來(lái)強(qiáng)制同步, 這樣所寫(xiě)的內(nèi)容就能立即保存到文件里了寸五。

回到頂部
mmap和常規(guī)文件操作的區(qū)別
對(duì)linux文件系統(tǒng)不了解的朋友，請(qǐng)參閱我之前寫(xiě)的博文《從內(nèi)核文件系統(tǒng)看文件讀寫(xiě)過(guò)程》耿币，我們首先簡(jiǎn)單的回顧一下常規(guī)文件系統(tǒng)操作（調(diào)用read/fread等類(lèi)函數(shù)）中，函數(shù)的調(diào)用過(guò)程：
1韧拒、進(jìn)程發(fā)起讀文件請(qǐng)求淹接。
2、內(nèi)核通過(guò)查找進(jìn)程文件符表叛溢，定位到內(nèi)核已打開(kāi)文件集上的文件信息塑悼，從而找到此文件的inode。
3楷掉、inode在address_space上查找要請(qǐng)求的文件頁(yè)是否已經(jīng)緩存在頁(yè)緩存中厢蒜。如果存在，則直接返回這片文件頁(yè)的內(nèi)容烹植。
4斑鸦、如果不存在，則通過(guò)inode定位到文件磁盤(pán)地址草雕，將數(shù)據(jù)從磁盤(pán)復(fù)制到頁(yè)緩存巷屿。之后再次發(fā)起讀頁(yè)面過(guò)程，進(jìn)而將頁(yè)緩存中的數(shù)據(jù)發(fā)給用戶(hù)進(jìn)程墩虹。
總結(jié)來(lái)說(shuō)嘱巾，常規(guī)文件操作為了提高讀寫(xiě)效率和保護(hù)磁盤(pán)憨琳，使用了頁(yè)緩存機(jī)制。這樣造成讀文件時(shí)需要先將文件頁(yè)從磁盤(pán)拷貝到頁(yè)緩存中旬昭，由于頁(yè)緩存處在內(nèi)核空間篙螟，不能被用戶(hù)進(jìn)程直接尋址，所以還需要將頁(yè)緩存中數(shù)據(jù)頁(yè)再次拷貝到內(nèi)存對(duì)應(yīng)的用戶(hù)空間中问拘。這樣遍略，通過(guò)了兩次數(shù)據(jù)拷貝過(guò)程，才能完成進(jìn)程對(duì)文件內(nèi)容的獲取任務(wù)场梆。寫(xiě)操作也是一樣墅冷，待寫(xiě)入的buffer在內(nèi)核空間不能直接訪問(wèn)，必須要先拷貝至內(nèi)核空間對(duì)應(yīng)的主存或油，再寫(xiě)回磁盤(pán)中（延遲寫(xiě)回）寞忿，也是需要兩次數(shù)據(jù)拷貝。
而使用mmap操作文件中顶岸，創(chuàng)建新的虛擬內(nèi)存區(qū)域和建立文件磁盤(pán)地址和虛擬內(nèi)存區(qū)域映射這兩步腔彰，沒(méi)有任何文件拷貝操作。而之后訪問(wèn)數(shù)據(jù)時(shí)發(fā)現(xiàn)內(nèi)存中并無(wú)數(shù)據(jù)而發(fā)起的缺頁(yè)異常過(guò)程辖佣，可以通過(guò)已經(jīng)建立好的映射關(guān)系霹抛，只使用一次數(shù)據(jù)拷貝，就從磁盤(pán)中將數(shù)據(jù)傳入內(nèi)存的用戶(hù)空間中卷谈，供進(jìn)程使用杯拐。
總而言之，常規(guī)文件操作需要從磁盤(pán)到頁(yè)緩存再到用戶(hù)主存的兩次數(shù)據(jù)拷貝世蔗。而mmap操控文件端逼，只需要從磁盤(pán)到用戶(hù)主存的一次數(shù)據(jù)拷貝過(guò)程。說(shuō)白了污淋，mmap的關(guān)鍵點(diǎn)是實(shí)現(xiàn)了用戶(hù)空間和內(nèi)核空間的數(shù)據(jù)直接交互而省去了空間不同數(shù)據(jù)不通的繁瑣過(guò)程顶滩。因此mmap效率更高。

回到頂部
mmap優(yōu)點(diǎn)總結(jié)
由上文討論可知寸爆，mmap優(yōu)點(diǎn)共有一下幾點(diǎn)：
1礁鲁、對(duì)文件的讀取操作跨過(guò)了頁(yè)緩存，減少了數(shù)據(jù)的拷貝次數(shù)赁豆，用內(nèi)存讀寫(xiě)取代I/O讀寫(xiě)仅醇，提高了文件讀取效率。
2歌憨、實(shí)現(xiàn)了用戶(hù)空間和內(nèi)核空間的高效交互方式着憨。兩空間的各自修改操作可以直接反映在映射的區(qū)域內(nèi)，從而被對(duì)方空間及時(shí)捕捉务嫡。
3甲抖、提供進(jìn)程間共享內(nèi)存及相互通信的方式漆改。不管是父子進(jìn)程還是無(wú)親緣關(guān)系的進(jìn)程，都可以將自身用戶(hù)空間映射到同一個(gè)文件或匿名映射到同一片區(qū)域准谚。從而通過(guò)各自對(duì)映射區(qū)域的改動(dòng)挫剑，達(dá)到進(jìn)程間通信和進(jìn)程間共享的目的。
同時(shí)柱衔，如果進(jìn)程A和進(jìn)程B都映射了區(qū)域C樊破，當(dāng)A第一次讀取C時(shí)通過(guò)缺頁(yè)從磁盤(pán)復(fù)制文件頁(yè)到內(nèi)存中；但當(dāng)B再讀C的相同頁(yè)面時(shí)唆铐，雖然也會(huì)產(chǎn)生缺頁(yè)異常哲戚，但是不再需要從磁盤(pán)中復(fù)制文件過(guò)來(lái)，而可直接使用已經(jīng)保存在內(nèi)存中的文件數(shù)據(jù)艾岂。
4顺少、可用于實(shí)現(xiàn)高效的大規(guī)模數(shù)據(jù)傳輸。內(nèi)存空間不足王浴，是制約大數(shù)據(jù)操作的一個(gè)方面脆炎，解決方案往往是借助硬盤(pán)空間協(xié)助操作，補(bǔ)充內(nèi)存的不足氓辣。但是進(jìn)一步會(huì)造成大量的文件I/O操作秒裕，極大影響效率。這個(gè)問(wèn)題可以通過(guò)mmap映射很好的解決钞啸。換句話說(shuō)几蜻，但凡是需要用磁盤(pán)空間代替內(nèi)存的時(shí)候，mmap都可以發(fā)揮其功效体斩。

回到頂部
mmap相關(guān)函數(shù)
函數(shù)原型
void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
返回說(shuō)明
成功執(zhí)行時(shí)入蛆，mmap()返回被映射區(qū)的指針。失敗時(shí)硕勿，mmap()返回MAP_FAILED[其值為(void *)-1]，error被設(shè)為以下的某個(gè)值：

int msync( void *addr, size_t len, int flags )
一般說(shuō)來(lái)脐彩，進(jìn)程在映射空間的對(duì)共享內(nèi)容的改變并不直接寫(xiě)回到磁盤(pán)文件中碎乃，往往在調(diào)用munmap（）后才執(zhí)行該操作。
可以通過(guò)調(diào)用msync()實(shí)現(xiàn)磁盤(pán)上文件內(nèi)容與共享內(nèi)存區(qū)的內(nèi)容一致惠奸。

回到頂部
mmap使用細(xì)節(jié)
1梅誓、使用mmap需要注意的一個(gè)關(guān)鍵點(diǎn)是，mmap映射區(qū)域大小必須是物理頁(yè)大小(page_size)的整倍數(shù)（32位系統(tǒng)中通常是4k字節(jié)）晨川。原因是证九，內(nèi)存的最小粒度是頁(yè)，而進(jìn)程虛擬地址空間和內(nèi)存的映射也是以頁(yè)為單位共虑。為了匹配內(nèi)存的操作愧怜，mmap從磁盤(pán)到虛擬地址空間的映射也必須是頁(yè)。
2妈拌、內(nèi)核可以跟蹤被內(nèi)存映射的底層對(duì)象（文件）的大小拥坛，進(jìn)程可以合法的訪問(wèn)在當(dāng)前文件大小以?xún)?nèi)又在內(nèi)存映射區(qū)以?xún)?nèi)的那些字節(jié)。也就是說(shuō)尘分，如果文件的大小一直在擴(kuò)張猜惋，只要在映射區(qū)域范圍內(nèi)的數(shù)據(jù)，進(jìn)程都可以合法得到培愁，這和映射建立時(shí)文件的大小無(wú)關(guān)著摔。具體情形參見(jiàn)“情形三”。
3定续、映射建立之后谍咆，即使文件關(guān)閉，映射依然存在私股。因?yàn)橛成涞氖谴疟P(pán)的地址摹察，不是文件本身，和文件句柄無(wú)關(guān)倡鲸。同時(shí)可用于進(jìn)程間通信的有效地址空間不完全受限于被映射文件的大小供嚎，因?yàn)槭前错?yè)映射。

在上面的知識(shí)前提下，我們下面看看如果大小不是頁(yè)的整倍數(shù)的具體情況：
情形一：一個(gè)文件的大小是5000字節(jié)克滴，mmap函數(shù)從一個(gè)文件的起始位置開(kāi)始逼争，映射5000字節(jié)到虛擬內(nèi)存中。
分析：因?yàn)閱挝晃锢眄?yè)面的大小是4096字節(jié)偿曙，雖然被映射的文件只有5000字節(jié)氮凝，但是對(duì)應(yīng)到進(jìn)程虛擬地址區(qū)域的大小需要滿足整頁(yè)大小，因此mmap函數(shù)執(zhí)行后望忆，實(shí)際映射到虛擬內(nèi)存區(qū)域8192個(gè) 字節(jié)罩阵，5000~8191的字節(jié)部分用零填充。映射后的對(duì)應(yīng)關(guān)系如下圖所示：

情形二：一個(gè)文件的大小是5000字節(jié)龟再，mmap函數(shù)從一個(gè)文件的起始位置開(kāi)始书闸，映射15000字節(jié)到虛擬內(nèi)存中，即映射大小超過(guò)了原始文件的大小利凑。
分析：由于文件的大小是5000字節(jié)浆劲，和情形一一樣，其對(duì)應(yīng)的兩個(gè)物理頁(yè)哀澈。那么這兩個(gè)物理頁(yè)都是合法可以讀寫(xiě)的牌借，只是超出5000的部分不會(huì)體現(xiàn)在原文件中。由于程序要求映射15000字節(jié)割按，而文件只占兩個(gè)物理頁(yè)膨报，因此8192字節(jié)~15000字節(jié)都不能讀寫(xiě)，操作時(shí)會(huì)返回異常适荣。如下圖所示：

情形三：一個(gè)文件初始大小為0课竣，使用mmap操作映射了10004K的大小嘉赎，即1000個(gè)物理頁(yè)大約4M字節(jié)空間，mmap返回指針ptr于樟。*
分析：如果在映射建立之初公条，就對(duì)文件進(jìn)行讀寫(xiě)操作，由于文件大小為0迂曲，并沒(méi)有合法的物理頁(yè)對(duì)應(yīng)靶橱，如同情形二一樣，會(huì)返回SIGBUS錯(cuò)誤路捧。
但是如果关霸，每次操作ptr讀寫(xiě)前，先增加文件的大小杰扫，那么ptr在文件大小內(nèi)部的操作就是合法的队寇。例如，文件擴(kuò)充4096字節(jié)涉波，ptr就能操作ptr ~ [ (char)ptr + 4095]的空間英上。只要文件擴(kuò)充的范圍在1000個(gè)物理頁(yè)（映射范圍）內(nèi)，ptr都可以對(duì)應(yīng)操作相同的大小啤覆。
這樣苍日，方便隨時(shí)擴(kuò)充文件空間，隨時(shí)寫(xiě)入文件窗声，不造成空間浪費(fèi)相恃。