File文件操作（二）：內(nèi)存映射

基本概述

文件操作是應用程序最為基本的功能之一，Win32 API和MFC均提供有支持文件處理的函數(shù)和類乖杠，常用的有Win32 API的CreateFile（）碾局、WriteFile（）、ReadFile（）和MFC提供的CFile類等芽唇。一般來說塘匣，以上這些函數(shù)可以滿足大多數(shù)場合的要求脓豪，但是對于某些特殊應用領(lǐng)域所需要的動輒幾十GB、幾百GB馆铁、乃至幾TB的海量存儲跑揉，再以通常的文件處理方法進行處理顯然是行不通的。目前埠巨，對于上述這種大文件的操作一般是以內(nèi)存映射文件的方式來加以處理的。

內(nèi)存映射文件是由一個文件到進程地址空間的映射现拒。Win32中辣垒，每個進程有自己的地址空間，一個進程不能輕易地訪問另一個進程地址空間中的數(shù)據(jù)印蔬，所以不能像16位Windows那樣做勋桶。Win32系統(tǒng)允許多個進程（運行在同一計算機上）使用內(nèi)存映射文件來共享數(shù)據(jù)。實際上侥猬，其他共享和傳送數(shù)據(jù)的技術(shù)例驹，諸如使用SendMessage或者PostMessage，都在內(nèi)部使用了內(nèi)存映射文件退唠。 ^[1]

編輯本段數(shù)據(jù)共享

文件數(shù)據(jù)共享

這種數(shù)據(jù)共享是讓兩個或多個進程映射同一文件映射對象的視圖鹃锈，即它們在共享同一物理存儲頁。這樣瞧预，當一個進程向內(nèi)存映射文件的一個視圖寫入數(shù)據(jù)時屎债，其他的進程立即在自己的視圖中看到變化。注意垢油，對文件映射對象要使用同一名字盆驹。

訪問方法

這樣，文件內(nèi)的數(shù)據(jù)就可以用內(nèi)存讀/寫指令來訪問滩愁，而不是用ReadFile和WriteFile這樣的I/O系統(tǒng)函數(shù)躯喇，從而提高了文件存取速度。

編輯本段范圍應用

適用范圍

這種函數(shù)最適用于需要讀取文件并且對文件內(nèi)包含的信息做語法分析的應用程序硝枉，如：對輸入文件進行語法分析的彩色語法編輯器廉丽，編譯器等倦微。

把文件映射后進行讀和分析，能讓應用程序使用內(nèi)存操作來操縱文件雅倒，而不必在文件里來回地讀璃诀、寫、移動文件指針蔑匣。

應用

有些操作劣欢，如放棄“讀”一個字符，在以前是相當復雜的裁良，用戶需要處理緩沖區(qū)的刷新問題凿将。在引入了映射文件之后，就簡單的多了价脾。應用程序要做的只是使指針減少一個值牧抵。

映射文件的另一個重要應用就是用來支持永久命名的共享內(nèi)存。要在兩個應用程序之間共享內(nèi)存侨把，可以在一個應用程序中創(chuàng)建一個文件并映射之犀变，然后另一個應用程序可以通過打開和映射此文件把它作為共享的內(nèi)存來使用。VC++使用內(nèi)存映射文件處理大文件

編輯本段內(nèi)存文件

內(nèi)存映射文件與虛擬內(nèi)存有些類似秋柄，通過內(nèi)存映射文件可以保留一個地址空間的區(qū)域获枝，同時將物理存儲器提交給此區(qū)域，只是內(nèi)存文件映射的物理存儲器來自一個已經(jīng)存在于磁盤上的文件骇笔，而非系統(tǒng)的頁文件省店，而且在對該文件進行操作之前必須首先對文件進行映射，就如同將整個文件從磁盤加載到內(nèi)存笨触。由此可以看出懦傍，使用內(nèi)存映射文件處理存儲于磁盤上的文件時，將不必再對文件執(zhí)行I/O操作芦劣，這意味著在對文件進行處理時將不必再為文件申請并分配緩存粗俱，所有的文件緩存操作均由系統(tǒng)直接管理，由于取消了將文件數(shù)據(jù)加載到內(nèi)存持寄、數(shù)據(jù)從內(nèi)存到文件的回寫以及釋放內(nèi)存塊等步驟源梭，使得內(nèi)存映射文件在處理大數(shù)據(jù)量的文件時能起到相當重要的作用。另外稍味，實際工程中的系統(tǒng)往往需要在多個進程之間共享數(shù)據(jù)废麻，如果數(shù)據(jù)量小，處理方法是靈活多變的模庐，如果共享數(shù)據(jù)容量巨大烛愧，那么就需要借助于內(nèi)存映射文件來進行。實際上，內(nèi)存映射文件正是解決本地多個進程間數(shù)據(jù)共享的最有效方法怜姿。

內(nèi)存映射文件并不是簡單的文件I/O操作慎冤，實際用到了Windows的核心編程技術(shù)-- 內(nèi)存管理。所以沧卢，如果想對內(nèi)存映射文件有更深刻的認識蚁堤，必須對Windows操作系統(tǒng)的內(nèi)存管理機制有清楚的認識，下面給出使用內(nèi)存映射文件的一般方法：

首先要通過CreateFile（）函數(shù)來創(chuàng)建或打開一個文件內(nèi)核對象但狭，這個對象標識了磁盤上將要用作內(nèi)存映射文件的文件披诗。在用CreateFile（）將文件映像在物理存儲器的位置通告給操作系統(tǒng)后，只指定了映像文件的路徑立磁，映像的長度還沒有指定呈队。為了指定文件映射對象需要多大的物理存儲空間還需要通過CreateFileMapping（）函數(shù)來創(chuàng)建一個文件映射內(nèi)核對象以告訴系統(tǒng)文件的尺寸以及訪問文件的方式。在創(chuàng)建了文件映射對象后唱歧，還必須為文件數(shù)據(jù)保留一個地址空間區(qū)域宪摧，并把文件數(shù)據(jù)作為映射到該區(qū)域的物理存儲器進行提交。由MapViewOfFile（）函數(shù)負責通過系統(tǒng)的管理而將文件映射對象的全部或部分映射到進程地址空間颅崩。此時几于，對內(nèi)存映射文件的使用和處理同通常加載到內(nèi)存中的文件數(shù)據(jù)的處理方式基本一樣，在完成了對內(nèi)存映射文件的使用時沿后，還要通過一系列的操作完成對其的清除和使用過資源的釋放孩革。這部分相對比較簡單，可以通過UnmapViewOfFile（）完成從進程的地址空間撤消文件數(shù)據(jù)的映像得运、通過CloseHandle（）關(guān)閉前面創(chuàng)建的文件映射對象和文件對象。

編輯本段相關(guān)函數(shù)

在使用內(nèi)存映射文件時锅移，所使用的API函數(shù)主要就是前面提到過的那幾個函數(shù)熔掺，下面分別對其進行介紹：

HANDLE CreateFile(LPCTSTR lpFileName,DWORD dwDesiredAccess,DWORD dwShareMode,LPSECURITY_ATTRIBUTES lpSecurityAttributes,DWORD dwCreationDisposition,DWORD dwFlagsAndAttributes,HANDLE hTemplateFile);

函數(shù)CreateFile（）即使是在普通的文件操作時也經(jīng)常用來創(chuàng)建、打開文件非剃，在處理內(nèi)存映射文件時置逻，該函數(shù)來創(chuàng)建/打開一個文件內(nèi)核對象，并將其句柄返回备绽，在調(diào)用該函數(shù)時需要根據(jù)是否需要數(shù)據(jù)讀寫和文件的共享方式來設(shè)置參數(shù)dwDesiredAccess和dwShareMode券坞，錯誤的參數(shù)設(shè)置將會導致相應操作時的失敗。

HANDLE CreateFileMapping(HANDLE hFile,LPSECURITY_ATTRIBUTES lpFileMappingAttributes,DWORD flProtect,DWORD dwMaximumSizeHigh,DWORD dwMaximumSizeLow,LPCTSTR lpName);

CreateFileMapping（）函數(shù)創(chuàng)建一個文件映射內(nèi)核對象肺素，通過參數(shù)hFile指定待映射到進程地址空間的文件句柄（該句柄由CreateFile（）函數(shù)的返回值獲群廾）。由于內(nèi)存映射文件的物理存儲器實際是存儲于磁盤上的一個文件倍靡，而不是從系統(tǒng)的頁文件中分配的內(nèi)存猴伶，所以系統(tǒng)不會主動為其保留地址空間區(qū)域，也不會自動將文件的存儲空間映射到該區(qū)域，為了讓系統(tǒng)能夠確定對頁面采取何種保護屬性他挎，需要通過參數(shù)flProtect來設(shè)定筝尾，保護屬性PAGE_READONLY、PAGE_READWRITE和PAGE_WRITECOPY分別表示文件映射對象被映射后办桨，可以讀取筹淫、讀寫文件數(shù)據(jù)。在使用PAGE_READONLY時呢撞，必須確保CreateFile（）采用的是GENERIC_READ參數(shù)损姜；PAGE_READWRITE則要求CreateFile（）采用的是GENERIC_READ|GENERIC_WRITE參數(shù)；至于屬性PAGE_WRITECOPY則只需要確保CreateFile（）采用了GENERIC_READ和GENERIC_WRITE其中之一即可狸相。DWORD型的參數(shù)dwMaximumSizeHigh和dwMaximumSizeLow也是相當重要的薛匪，指定了文件的最大字節(jié)數(shù)，由于這兩個參數(shù)共64位脓鹃，因此所支持的最大文件長度為16EB逸尖，幾乎可以滿足任何大數(shù)據(jù)量文件處理場合的要求。

LPVOID MapViewOfFile(HANDLE hFileMappingObject,DWORD dwDesiredAccess,DWORD dwFileOffsetHigh,DWORD dwFileOffsetLow,DWORD dwNumberOfBytesToMap);

MapViewOfFile（）函數(shù)負責把文件數(shù)據(jù)映射到進程的地址空間瘸右，參數(shù)hFileMappingObject為CreateFileMapping（）返回的文件映像對象句柄娇跟。參數(shù)dwDesiredAccess則再次指定了對文件數(shù)據(jù)的訪問方式，而且同樣要與CreateFileMapping（）函數(shù)所設(shè)置的保護屬性相匹配太颤。雖然這里一再對保護屬性進行重復設(shè)置看似多余苞俘，但卻可以使應用程序能更多的對數(shù)據(jù)的保護屬性實行有效控制。MapViewOfFile（）函數(shù)允許全部或部分映射文件龄章，在映射時吃谣，需要指定數(shù)據(jù)文件的偏移地址以及待映射的長度。其中做裙，文件的偏移地址由DWORD型的參數(shù)dwFileOffsetHigh和dwFileOffsetLow組成的64位值來指定岗憋，而且必須是操作系統(tǒng)的分配粒度的整數(shù)倍，對于Windows操作系統(tǒng)锚贱，分配粒度固定為64KB仔戈。當然，也可以通過如下代碼來動態(tài)獲取當前操作系統(tǒng)的分配粒度：

SYSTEM_INFO sinf;GetSystemInfo(&sinf);DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;

參數(shù)dwNumberOfBytesToMap指定了數(shù)據(jù)文件的映射長度拧廊，這里需要特別指出的是监徘，對于Windows 9x操作系統(tǒng)，如果MapViewOfFile（）無法找到足夠大的區(qū)域來存放整個文件映射對象吧碾，將返回空值（NULL）凰盔；但是在Windows 2000下，MapViewOfFile（）只需要為必要的視圖找到足夠大的一個區(qū)域即可滤港，而無須考慮整個文件映射對象的大小廊蜒。

在完成對映射到進程地址空間區(qū)域的文件處理后趴拧，需要通過函數(shù)UnmapViewOfFile（）完成對文件數(shù)據(jù)映像的釋放，該函數(shù)原型聲明如下：

BOOL UnmapViewOfFile(LPCVOID lpBaseAddress);

唯一的參數(shù)lpBaseAddress指定了返回區(qū)域的基地址山叮，必須將其設(shè)定為MapViewOfFile（）的返回值著榴。在使用了函數(shù)MapViewOfFile（）之后，必須要有對應的UnmapViewOfFile（）調(diào)用屁倔，否則在進程終止之前脑又，保留的區(qū)域?qū)o法釋放。除此之外锐借，前面還曾由CreateFile（）和CreateFileMapping（）函數(shù)創(chuàng)建過文件內(nèi)核對象和文件映射內(nèi)核對象问麸，在進程終止之前有必要通過CloseHandle（）將其釋放，否則將會出現(xiàn)資源泄漏的問題钞翔。

除了前面這些必須的API函數(shù)之外严卖，在使用內(nèi)存映射文件時還要根據(jù)情況來選用其他一些輔助函數(shù)。例如布轿，在使用內(nèi)存映射文件時哮笆，為了提高速度，系統(tǒng)將文件的數(shù)據(jù)頁面進行高速緩存汰扭，而且在處理文件映射視圖時不立即更新文件的磁盤映像稠肘。為解決這個問題可以考慮使用FlushViewOfFile（）函數(shù)，該函數(shù)強制系統(tǒng)將修改過的數(shù)據(jù)部分或全部重新寫入磁盤映像萝毛，從而可以確保所有的數(shù)據(jù)更新能及時保存到磁盤项阴。

編輯本段應用示例

下面結(jié)合一個具體的實例來進一步講述內(nèi)存映射文件的使用方法。該實例從端口接收數(shù)據(jù)笆包，并實時將其存放于磁盤环揽，由于數(shù)據(jù)量大（幾十GB），在此選用內(nèi)存映射文件進行處理庵佣。下面給出的是位于工作線程MainProc中的部分主要代碼薯演，該線程自程序運行時啟動，當端口有數(shù)據(jù)到達時將會發(fā)出事件hEvent[0]秧了，WaitForMultipleObjects（）函數(shù)等待到該事件發(fā)生后將接收到的數(shù)據(jù)保存到磁盤，如果終止接收將發(fā)出事件hEvent[1]序无，事件處理過程將負責完成資源的釋放和文件的關(guān)閉等工作验毡。下面給出此線程處理函數(shù)的具體實現(xiàn)過程：

// 創(chuàng)建文件內(nèi)核對象，其句柄保存于hFile

HANDLE hFile = CreateFile("Recv1.zip",GENERIC_WRITE | GENERIC_READ,FILE_SHARE_READ,NULL,CREATE_ALWAYS,FILE_FLAG_SEQUENTIAL_SCAN,NULL);

// 創(chuàng)建文件映射內(nèi)核對象帝嗡，句柄保存于hFileMapping

HANDLE hFileMapping = CreateFileMapping(hFile,NULL,PAGE_READWRITE,0,0x4000000,NULL);

// 釋放文件內(nèi)核對象

CloseHandle(hFile);

// 設(shè)定大小晶通、偏移量等參數(shù)

__int64 qwFileSize = 0x4000000;

__int64 qwFileOffset = 0;

__int64 T = 600 * sinf.dwAllocationGranularity;

DWORD dwBytesInBlock = 1000 * sinf.dwAllocationGranularity;

// 將文件數(shù)據(jù)映射到進程的地址空間

PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping,FILE_MAP_ALL_ACCESS,(DWORD)(qwFileOffset>>32),(DWORD)(qwFileOffset&0xFFFFFFFF),dwBytesInBlock);

while(bLoop)

{

// 捕獲事件hEvent[0]和事件hEvent[1]

DWORD ret = WaitForMultipleObjects(2,hEvent,FALSE,INFINITE);

ret -= WAIT_OBJECT_0;

switch (ret)

{

// 接收數(shù)據(jù)事件觸發(fā)

case 0:

// 從端口接收數(shù)據(jù)并保存到內(nèi)存映射文件

nReadLen=syio_Read(port[1],pbFile + qwFileOffset,QueueLen);

qwFileOffset += nReadLen;

// 當數(shù)據(jù)寫滿60%時，為防數(shù)據(jù)溢出哟玷，需要在其后開辟一新的映射視圖

if (qwFileOffset > T)

{

T = qwFileOffset + 600 * sinf.dwAllocationGranularity;UnmapViewOfFile(pbFile);

pbFile = (PBYTE)MapViewOfFile(hFileMapping,FILE_MAP_ALL_ACCESS,(DWORD)(qwFileOffset>>32),(DWORD)(qwFileOffset&0xFFFFFFFF),dwBytesInBlock);

}

break;

// 終止事件觸發(fā)

case 1:

bLoop = FALSE;

// 從進程的地址空間撤消文件數(shù)據(jù)映像

UnmapViewOfFile(pbFile);

// 關(guān)閉文件映射對象

CloseHandle(hFileMapping);

break;

}

}…

在終止事件觸發(fā)處理過程中如果只簡單的執(zhí)行UnmapViewOfFile（）和CloseHandle（）函數(shù)將無法正確標識文件的實際大小狮辽，即如果開辟的內(nèi)存映射文件為30GB一也，而接收的數(shù)據(jù)只有14GB，那么上述程序執(zhí)行完后喉脖，保存的文件長度仍是30GB椰苟。也就是說，在處理完成后還要再次通過內(nèi)存映射文件的形式將文件恢復到實際大小树叽，下面是實現(xiàn)此要求的主要代碼：

// 創(chuàng)建另外一個文件內(nèi)核對象

hFile2 = CreateFile("Recv.zip",GENERIC_WRITE | GENERIC_READ,FILE_SHARE_READ,NULL,CREATE_ALWAYS,FILE_FLAG_SEQUENTIAL_SCAN,NULL);

// 以實際數(shù)據(jù)長度創(chuàng)建另外一個文件映射內(nèi)核對象

hFileMapping2 = CreateFileMapping(hFile2,NULL,PAGE_READWRITE,0,(DWORD)(qwFileOffset&0xFFFFFFFF),NULL);

// 關(guān)閉文件內(nèi)核對象

CloseHandle(hFile2);

// 將文件數(shù)據(jù)映射到進程的地址空間

pbFile2 = (PBYTE)MapViewOfFile(hFileMapping2,FILE_MAP_ALL_ACCESS,0,0,qwFileOffset);

// 將數(shù)據(jù)從原來的內(nèi)存映射文件復制到此內(nèi)存映射文件

memcpy(pbFile2,pbFile,qwFileOffset);

file:

//從進程的地址空間撤消文件數(shù)據(jù)映像

UnmapViewOfFile(pbFile);

UnmapViewOfFile(pbFile2);