文件內(nèi)存映射(mmap)之前看過(guò)很多文章提及到碳胳,但是都沒(méi)有寫(xiě)iOS中具體的實(shí)現(xiàn)废境,只是都說(shuō)對(duì)于大文件讀寫(xiě)效率比較高等榛泛。所以作者就專門(mén)研究了以下mmap技術(shù),并且實(shí)現(xiàn)了一下
mmap
文件映射是將文件的磁盤(pán)扇區(qū)映射到進(jìn)程的虛擬內(nèi)存空間的過(guò)程蓖墅。一旦被映射库倘,您的應(yīng)用程序就會(huì)訪問(wèn)這個(gè)文件临扮,就好像它完全駐留在內(nèi)存中一樣(不占用內(nèi)存,使用的是虛擬內(nèi)存)教翩。當(dāng)您從映射的文件指針讀取數(shù)據(jù)時(shí)杆勇,將在適當(dāng)?shù)臄?shù)據(jù)中的內(nèi)核頁(yè)面并將其返回給您的應(yīng)用程序。
疑問(wèn)
那大家就會(huì)想了饱亿,既然不消耗內(nèi)存蚜退,那豈不是都用mmap就行了,這樣多好啊彪笼,又不占內(nèi)存钻注。其實(shí)不然,并不是所有的場(chǎng)景都適合使用mmap的
適合的場(chǎng)景
您有一個(gè)很大的文件配猫,其內(nèi)容您想要隨機(jī)訪問(wèn)一個(gè)或多個(gè)時(shí)間幅恋。
您有一個(gè)小文件,它的內(nèi)容您想要立即讀入內(nèi)存并經(jīng)常訪問(wèn)泵肄。這種技術(shù)最適合那些大小不超過(guò)幾個(gè)虛擬內(nèi)存頁(yè)的文件捆交。(頁(yè)是地址空間的最小單位,虛擬頁(yè)和物理頁(yè)的大小是一樣的腐巢,通常為4KB品追。)
您需要在內(nèi)存中緩存文件的特定部分。文件映射消除了緩存數(shù)據(jù)的需要冯丙,這使得系統(tǒng)磁盤(pán)緩存中的其他數(shù)據(jù)空間更大肉瓦。
當(dāng)隨機(jī)訪問(wèn)一個(gè)非常大的文件時(shí),通常最好只映射文件的一小部分银还。映射大文件的問(wèn)題是文件會(huì)消耗活動(dòng)內(nèi)存风宁。如果文件足夠大洁墙,系統(tǒng)可能會(huì)被迫將其他部分的內(nèi)存分頁(yè)以加載文件蛹疯。將多個(gè)文件映射到內(nèi)存中會(huì)使這個(gè)問(wèn)題更加復(fù)雜。
不適合的場(chǎng)景
您希望從開(kāi)始到結(jié)束的順序從頭到尾讀取一個(gè)文件热监。
這個(gè)文件有幾百兆字節(jié)或者更大捺弦。將大文件映射到內(nèi)存中會(huì)快速地填充內(nèi)存,并可能導(dǎo)致分頁(yè)孝扛,這將抵消首先映射文件的好處列吼。對(duì)于大型順序讀取操作,禁用磁盤(pán)緩存并將文件讀入一個(gè)小內(nèi)存緩沖區(qū)苦始。
該文件大于可用的連續(xù)虛擬內(nèi)存地址空間寞钥。對(duì)于64位應(yīng)用程序來(lái)說(shuō),這不是什么問(wèn)題陌选,但是對(duì)于32位應(yīng)用程序來(lái)說(shuō)理郑,這是一個(gè)問(wèn)題蹄溉。
該文件位于可移動(dòng)驅(qū)動(dòng)器上。
該文件位于網(wǎng)絡(luò)驅(qū)動(dòng)器上您炉。
實(shí)現(xiàn)
這個(gè)代碼實(shí)現(xiàn)的功能就是首先讀取存儲(chǔ)在我們沙盒的文件柒爵,然后在該文件的上繼續(xù)寫(xiě)入數(shù)據(jù)(追加數(shù)據(jù))
#import"ViewController.h"
#import#importintMapFile( char * inPathName, void** outDataPtr, size_t * outDataLength );
voidProcessFile( char * inPathName )
{
size_t dataLength;
void* dataPtr;
void*start;
if( MapFile( inPathName, &dataPtr, &dataLength ) == 0)
{
start = dataPtr;
dataPtr = dataPtr+3;
memcpy(dataPtr, "CCCC", 4);
// Unmap files:
munmap(start, 7);
}
}
// MapFile
// Exit:? ? outDataPtra? ? pointer to the mapped memory region
//? ? ? ? ? outDataLength? size of the mapped memory region
//? ? ? ? ? return value? ? an errno value on error (see sys/errno.h)
//? ? ? ? ? ? ? ? ? ? ? ? ? or zero for success
//
intMapFile( char * inPathName, void** outDataPtr, size_t * outDataLength )
{
intoutError;
intfileDescriptor;
struct stat statInfo;
// Return safe values on error.
outError = 0;
*outDataPtr = NULL;
*outDataLength = 0;
// Open the file.
fileDescriptor = open( inPathName, O_RDWR, 0);
if( fileDescriptor < 0)
{
outError = errno;
}
else
{
// We now know the file exists. Retrieve the file size.
if( fstat( fileDescriptor, &statInfo ) != 0)
{
outError = errno;
}
else
{
ftruncate(fileDescriptor, statInfo.st_size+4);//增加文件大小
fsync(fileDescriptor);//刷新文件
*outDataPtr = mmap(NULL,
statInfo.st_size+4,
PROT_READ|PROT_WRITE,
MAP_FILE|MAP_SHARED,
fileDescriptor,
0);
if( *outDataPtr == MAP_FAILED )
{
outError = errno;
}
else
{
// On success, return the size of the mapped file.
*outDataLength = statInfo.st_size;
}
}
// Now close the file. The kernel doesn’t use our file descriptor.
close( fileDescriptor );
}
returnoutError;
}
@interfaceViewController ()
@property (weak, nonatomic) IBOutlet UITextView *mTV;
@end
@implementation ViewController
- (void)viewDidLoad {
[superviewDidLoad];
NSString *path = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES).firstObject;
NSString *str = @"AAA";
NSError *error;
NSString *filePath = [NSString stringWithFormat:@"%@/text.txt",path];
[str writeToFile:filePath atomically:YES encoding:NSUTF8StringEncoding error:&error];
if(error) {
NSLog(@"%@",error);
}
ProcessFile(filePath.UTF8String);
NSString *result = [NSString stringWithContentsOfFile:filePath encoding:NSUTF8StringEncoding error:nil];
self.mTV.text = result;
}
@end
最重要的就是2個(gè)函數(shù):
mmap()
void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);
start:映射區(qū)的開(kāi)始地址,設(shè)置為0時(shí)表示由系統(tǒng)決定映射區(qū)的起始地址赚爵。 length:映射區(qū)的長(zhǎng)度棉胀。//長(zhǎng)度單位是 以字節(jié)為單位,不足一內(nèi)存頁(yè)按一內(nèi)存頁(yè)處理 prot:期望的內(nèi)存保護(hù)標(biāo)志冀膝,不能與文件的打開(kāi)模式?jīng)_突唁奢。是以下的某個(gè)值,可以通過(guò)or運(yùn)算合理地組合在一起 PROT_EXEC //頁(yè)內(nèi)容可以被執(zhí)行 PROT_READ //頁(yè)內(nèi)容可以被讀取 PROT_WRITE //頁(yè)可以被寫(xiě)入 PROT_NONE //頁(yè)不可訪問(wèn) flags:指定映射對(duì)象的類型窝剖,映射選項(xiàng)和映射頁(yè)是否可以共享驮瞧。它的值可以是一個(gè)或者多個(gè)以下位的組合體 fd:有效的文件描述詞。一般是由open()函數(shù)返回枯芬,其值也可以設(shè)置為-1论笔,此時(shí)需要指定flags參數(shù)中的MAP_ANON,表明進(jìn)行的是匿名映射。 off_toffset:被映射對(duì)象內(nèi)容的起點(diǎn)千所。
這里的參數(shù)我們要重點(diǎn)關(guān)注3個(gè)length狂魔、prot、flags淫痰。 length代表了我們可以操作的內(nèi)存大凶羁; prot代表我們對(duì)文件的操作權(quán)限待错。這里傳入了讀寫(xiě)權(quán)限籽孙,而且注意要與open()保持一致,所以open()函數(shù)傳入了O_RDWR可讀寫(xiě)權(quán)限火俄;犯建。 flags要寫(xiě)MAP_FILE|MAP_SHARED,我一開(kāi)始只寫(xiě)了MAP_FILE,能讀,但是不能寫(xiě)瓜客。
munmap()
int munmap(void* start,size_t length);
這里對(duì)原來(lái)文件追加寫(xiě)入數(shù)據(jù)要注意一點(diǎn)适瓦,讀取原來(lái)文件之后,我們只有原來(lái)文件大小的可寫(xiě)區(qū)域谱仪。例如以上例子原文件中是AAA玻熙,這時(shí)我們要寫(xiě)入CCCC,做覆蓋寫(xiě)入的話我們只能寫(xiě)入CCC疯攒。所以要要對(duì)文件進(jìn)行追加寫(xiě)入的話嗦随,必須提前增加文件的大小即調(diào)用ftruncate()和sync(),增加了4位了敬尺,最終才能使CCCC順利寫(xiě)入