1. mmap高性能存取的基石
MMKV通過(guò)mmap 內(nèi)存映射文件來(lái)進(jìn)行讀寫(xiě)操作的,這是其效率高于普通IO的原因屯伞。
普通IO
傳統(tǒng)的read首先將文件內(nèi)容從硬盤(pán)拷貝到內(nèi)核空間的一個(gè)緩沖區(qū),然后再將這些數(shù)據(jù)拷貝到用戶空間隙券,這個(gè)過(guò)程中榜聂,實(shí)際上完成了。
內(nèi)存映射
mmap將文件直接映射到用戶空間陌凳,所以中斷處理函數(shù)根據(jù)這個(gè)映射關(guān)系剥懒,直接將文件從硬盤(pán)拷貝到用戶空間,只進(jìn)行了 合敦,因此初橘,mmap內(nèi)存映射的效率要比read/write效率高。
為什么不直接用內(nèi)存映射代替IO充岛?
既然MMKV使用的內(nèi)存映射優(yōu)于IO壁却,為什么還要使用IO?
首先要明白裸准,直接將文件映射到虛擬內(nèi)存展东,意味著沒(méi)有數(shù)據(jù)沒(méi)有緩存在內(nèi)核緩存空間,而是直接讀到了用戶空間炒俱,而系統(tǒng)的IO和內(nèi)核緩存搭配可以使得部分的文件使用效率更高盐肃。(OS會(huì)根據(jù)局部性原理在一次read()系統(tǒng)調(diào)用的時(shí)候預(yù)讀取更多的文件數(shù)據(jù)到內(nèi)核空間緩沖區(qū)中,這樣當(dāng)下一次read()系統(tǒng)調(diào)用的時(shí)候發(fā)現(xiàn)要讀取的數(shù)據(jù)已經(jīng)存在于內(nèi)核空間緩沖區(qū)中的時(shí)候只要直接拷貝數(shù)據(jù)到用戶空間緩沖區(qū)中即可权悟,無(wú)需再進(jìn)行一次低效的磁盤(pán)I/O操作砸王,且磁盤(pán)的大小要遠(yuǎn)遠(yuǎn)超過(guò)內(nèi)存)
而且mmap映射的文件是大于一個(gè)內(nèi)存頁(yè)大小的(),并且是峦阁。
也就是說(shuō)兩個(gè)方式都是有優(yōu)缺點(diǎn)的谦铃,所以不存在代替這個(gè)說(shuō)法,只能通過(guò)分析其場(chǎng)景而選擇不同的方式榔昔。
2.采用Protobuf協(xié)議存儲(chǔ)key-value結(jié)構(gòu)
Protobuf協(xié)議
protobuf 是google開(kāi)源的一個(gè)序列化框架驹闰,類似xml,json撒会,最大的特點(diǎn)是基于二進(jìn)制嘹朗,比SharedPreferences使用的傳統(tǒng)的XML表示同樣一段內(nèi)容要短小得多。同樣這也不能說(shuō)明Protobuf優(yōu)于XML诵肛,關(guān)于Protobuf的更多內(nèi)容如下:
寫(xiě)入優(yōu)化
標(biāo)準(zhǔn) protobuf 和SharedPreferences 一樣屹培,每次寫(xiě)入kv對(duì)象都必須全量寫(xiě)入。也就是寫(xiě)入之前將所有數(shù)據(jù)加載到內(nèi)存中,然后判斷新增的key是否已經(jīng)存在褪秀,完成更新或增加后在全部寫(xiě)入文件蓄诽。
MMKV中采用增量更新的方式處理protobuf,當(dāng)需要寫(xiě)入kv對(duì)象時(shí)媒吗,不論是新增還是更新都將其直接加入文件的末尾仑氛,這樣大大增加了寫(xiě)入效率。
上面的做法必然帶來(lái)兩個(gè)問(wèn)題
1.必然導(dǎo)致同一key值會(huì)有新舊若干份數(shù)據(jù)蝴猪,最新的數(shù)據(jù)在最后调衰。
2.文件大小會(huì)增長(zhǎng)得不可控。同一個(gè) key 不斷更新的話自阱,是可能耗盡幾百 M 甚至上 G 空間嚎莉。
針對(duì)第一個(gè)問(wèn)題,在讀取時(shí)沛豌,針對(duì)同一個(gè) key使用后讀入的 value 替換之前的值趋箩,就可以保證數(shù)據(jù)是最新有效的。
針對(duì)第二個(gè)問(wèn)題加派,有上文可知MMKV的文件必然是稍大于(一個(gè)內(nèi)存頁(yè)的大小)的倍數(shù)叫确,當(dāng)寫(xiě)入的數(shù)據(jù)小于4k時(shí),可以繼續(xù)寫(xiě)入芍锦,因?yàn)楸旧砦募笮【鸵呀?jīng)略大于4k了竹勉,有點(diǎn)很小的浪費(fèi),當(dāng)寫(xiě)入數(shù)據(jù)超過(guò)4k的倍數(shù)后娄琉,進(jìn)行文件重整次乓、key 排重,嘗試序列化保存排重結(jié)果孽水;排重后空間還是不夠用的話票腰,將文件在增加4k,直到空間足夠女气。
3.通過(guò)crc 校驗(yàn)確保數(shù)據(jù)有效性
文件系統(tǒng)杏慰、操作系統(tǒng)都有一定的不穩(wěn)定性,MMKV使用crc 校驗(yàn)確保數(shù)據(jù)有效性炼鞠,關(guān)于crc 校驗(yàn)缘滥,可以參考:
4.多進(jìn)程設(shè)計(jì)與實(shí)現(xiàn)
這一步官方有詳盡的說(shuō)明,如下:
多進(jìn)程設(shè)計(jì)與實(shí)現(xiàn)