MMKV——2.原理

1.MMKV——1.使用
2.MMKV——2.原理

1. mmap高性能存取的基石

MMKV通過(guò)mmap 內(nèi)存映射文件來(lái)進(jìn)行讀寫(xiě)操作的,這是其效率高于普通IO的原因屯伞。

普通IO

傳統(tǒng)的read首先將文件內(nèi)容從硬盤(pán)拷貝到內(nèi)核空間的一個(gè)緩沖區(qū),然后再將這些數(shù)據(jù)拷貝到用戶空間隙券,這個(gè)過(guò)程中榜聂,實(shí)際上完成了\color{red}{兩次數(shù)據(jù)拷貝}

內(nèi)存映射

mmap將文件直接映射到用戶空間陌凳,所以中斷處理函數(shù)根據(jù)這個(gè)映射關(guān)系剥懒,直接將文件從硬盤(pán)拷貝到用戶空間,只進(jìn)行了 \color{red}{一次數(shù)據(jù)拷貝}合敦,因此初橘,mmap內(nèi)存映射的效率要比read/write效率高。

為什么不直接用內(nèi)存映射代替IO充岛?

既然MMKV使用的內(nèi)存映射優(yōu)于IO壁却,為什么還要使用IO?

首先要明白裸准,直接將文件映射到虛擬內(nèi)存展东,意味著沒(méi)有數(shù)據(jù)沒(méi)有緩存在內(nèi)核緩存空間,而是直接讀到了用戶空間炒俱,而系統(tǒng)的IO和內(nèi)核緩存搭配可以使得部分的文件使用效率更高盐肃。(OS會(huì)根據(jù)局部性原理在一次read()系統(tǒng)調(diào)用的時(shí)候預(yù)讀取更多的文件數(shù)據(jù)到內(nèi)核空間緩沖區(qū)中,這樣當(dāng)下一次read()系統(tǒng)調(diào)用的時(shí)候發(fā)現(xiàn)要讀取的數(shù)據(jù)已經(jīng)存在于內(nèi)核空間緩沖區(qū)中的時(shí)候只要直接拷貝數(shù)據(jù)到用戶空間緩沖區(qū)中即可权悟,無(wú)需再進(jìn)行一次低效的磁盤(pán)I/O操作砸王,且磁盤(pán)的大小要遠(yuǎn)遠(yuǎn)超過(guò)內(nèi)存)

而且mmap映射的文件是大于一個(gè)內(nèi)存頁(yè)大小的(\color{red}{4k}),并且是\color{red}{4k的倍數(shù)}峦阁。

也就是說(shuō)兩個(gè)方式都是有優(yōu)缺點(diǎn)的谦铃,所以不存在代替這個(gè)說(shuō)法,只能通過(guò)分析其場(chǎng)景而選擇不同的方式榔昔。

參考:
mmap 文件映射內(nèi)存詳解
高性能IO 之 內(nèi)存映射 mmap的理解

2.采用Protobuf協(xié)議存儲(chǔ)key-value結(jié)構(gòu)

Protobuf協(xié)議

protobuf 是google開(kāi)源的一個(gè)序列化框架驹闰,類似xml,json撒会,最大的特點(diǎn)是基于二進(jìn)制嘹朗,比SharedPreferences使用的傳統(tǒng)的XML表示同樣一段內(nèi)容要短小得多。同樣這也不能說(shuō)明Protobuf優(yōu)于XML诵肛,關(guān)于Protobuf的更多內(nèi)容如下:

Protobuf協(xié)議格式詳解
深入 ProtoBuf - 簡(jiǎn)介

寫(xiě)入優(yōu)化

標(biāo)準(zhǔn) protobuf 和SharedPreferences 一樣屹培,每次寫(xiě)入kv對(duì)象都必須全量寫(xiě)入。也就是寫(xiě)入之前將所有數(shù)據(jù)加載到內(nèi)存中,然后判斷新增的key是否已經(jīng)存在褪秀,完成更新或增加后在全部寫(xiě)入文件蓄诽。

MMKV中采用增量更新的方式處理protobuf,當(dāng)需要寫(xiě)入kv對(duì)象時(shí)媒吗,不論是新增還是更新都將其直接加入文件的末尾仑氛,這樣大大增加了寫(xiě)入效率。

上面的做法必然帶來(lái)兩個(gè)問(wèn)題
1.必然導(dǎo)致同一key值會(huì)有新舊若干份數(shù)據(jù)蝴猪,最新的數(shù)據(jù)在最后调衰。
2.文件大小會(huì)增長(zhǎng)得不可控。同一個(gè) key 不斷更新的話自阱,是可能耗盡幾百 M 甚至上 G 空間嚎莉。

針對(duì)第一個(gè)問(wèn)題,在讀取時(shí)沛豌,針對(duì)同一個(gè) key使用后讀入的 value 替換之前的值趋箩,就可以保證數(shù)據(jù)是最新有效的。

針對(duì)第二個(gè)問(wèn)題加派,有上文可知MMKV的文件必然是稍大于\color{red}{4k}(一個(gè)內(nèi)存頁(yè)的大小)的倍數(shù)叫确,當(dāng)寫(xiě)入的數(shù)據(jù)小于4k時(shí),可以繼續(xù)寫(xiě)入芍锦,因?yàn)楸旧砦募笮【鸵呀?jīng)略大于4k了竹勉,有點(diǎn)很小的浪費(fèi),當(dāng)寫(xiě)入數(shù)據(jù)超過(guò)4k的倍數(shù)后娄琉,進(jìn)行文件重整次乓、key 排重,嘗試序列化保存排重結(jié)果孽水;排重后空間還是不夠用的話票腰,將文件在增加4k,直到空間足夠女气。

3.通過(guò)crc 校驗(yàn)確保數(shù)據(jù)有效性

文件系統(tǒng)杏慰、操作系統(tǒng)都有一定的不穩(wěn)定性,MMKV使用crc 校驗(yàn)確保數(shù)據(jù)有效性炼鞠,關(guān)于crc 校驗(yàn)缘滥,可以參考:

CRC校驗(yàn)原理及代碼

4.多進(jìn)程設(shè)計(jì)與實(shí)現(xiàn)

這一步官方有詳盡的說(shuō)明,如下:
多進(jìn)程設(shè)計(jì)與實(shí)現(xiàn)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末簇搅,一起剝皮案震驚了整個(gè)濱河市完域,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌瘩将,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,383評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異姿现,居然都是意外死亡肠仪,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)备典,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)异旧,“玉大人,你說(shuō)我怎么就攤上這事提佣∷庇迹” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,852評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵拌屏,是天一觀的道長(zhǎng)潮针。 經(jīng)常有香客問(wèn)我,道長(zhǎng)倚喂,這世上最難降的妖魔是什么每篷? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,621評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮端圈,結(jié)果婚禮上焦读,老公的妹妹穿的比我還像新娘。我一直安慰自己舱权,他們只是感情好矗晃,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著宴倍,像睡著了一般张症。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上啊楚,一...
    開(kāi)封第一講書(shū)人閱讀 49,929評(píng)論 1 290
  • 那天吠冤,我揣著相機(jī)與錄音,去河邊找鬼恭理。 笑死拯辙,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的颜价。 我是一名探鬼主播涯保,決...
    沈念sama閱讀 39,076評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼周伦!你這毒婦竟也來(lái)了夕春?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,803評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤专挪,失蹤者是張志新(化名)和其女友劉穎及志,沒(méi)想到半個(gè)月后片排,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,265評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡速侈,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評(píng)論 2 327
  • 正文 我和宋清朗相戀三年率寡,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片倚搬。...
    茶點(diǎn)故事閱讀 38,716評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡冶共,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出每界,到底是詐尸還是另有隱情捅僵,我是刑警寧澤,帶...
    沈念sama閱讀 34,395評(píng)論 4 333
  • 正文 年R本政府宣布眨层,位于F島的核電站庙楚,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏谐岁。R本人自食惡果不足惜醋奠,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評(píng)論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望伊佃。 院中可真熱鬧窜司,春花似錦、人聲如沸航揉。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,798評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)帅涂。三九已至议薪,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間媳友,已是汗流浹背斯议。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,027評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留醇锚,地道東北人哼御。 一個(gè)月前我還...
    沈念sama閱讀 46,488評(píng)論 2 361
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像焊唬,于是被迫代替她去往敵國(guó)和親恋昼。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評(píng)論 2 350