數(shù)據(jù)存儲(chǔ)的一些思考

上篇主要講述了我們?cè)谄綍r(shí)iOS開發(fā)中常見的一些緩存及其區(qū)別慷暂,雖然這已經(jīng)滿足了絕大多數(shù)的場(chǎng)景槽袄,但是當(dāng)我們遇到特殊場(chǎng)景的時(shí)候,又該如何呢滓玖。

緩存策略

一般來說,客戶端使用LRU的緩存策略就已經(jīng)足夠站辉,但是在特定場(chǎng)合就不是那么適用了呢撞。比如淘寶每秒百萬級(jí)別的查詢,如果使用LRU饰剥,那么可能有些熱門商品就會(huì)被清理出緩存,從而得不償失了摧阅。

  • First In First Out (FIFO)
  • Last In First Out (LIFO)
  • Least Recently Used (LRU)
  • Time aware Least Recently Used (TLRU)
    擁有過期時(shí)間的LRU汰蓉,常見的比如http緩存
  • Most Recently Used (MRU)
  • Random Replacement (RR)
  • Segmented LRU (SLRU)
  • Least-Frequently Used (LFU)
  • Least Frequent Recently Used (LFRU)
  • LFU with Dynamic Aging (LFUDA)

如果真的有如此特殊的場(chǎng)景,就需要我們?nèi)ミx擇最優(yōu)的策略來保證緩存的命中率了棒卷。

memory map

其中很多方案都提到了內(nèi)存映射的技術(shù)顾孽。

內(nèi)存映射會(huì)少去很多的解析編碼祝钢、內(nèi)存拷貝操作,所以性能上會(huì)優(yōu)于普通的文件讀寫若厚。

但是內(nèi)存映射本身就存在一些缺陷拦英,比如32/64操作系統(tǒng)的兼容性,大端小端的兼容性测秸,字節(jié)對(duì)齊問題疤估。所以并不是任何情況下都適合使用內(nèi)存映射。如果需要保證兼容性霎冯,則需要在設(shè)計(jì)的時(shí)候就要考慮到這樣的問題铃拇。

搜索優(yōu)化

作為數(shù)據(jù)存儲(chǔ)最頻繁的當(dāng)然是查詢功能,那么如何保證查詢的性能呢沈撞,那么就涉及到索引了慷荔。

操作系統(tǒng)本身的文件系統(tǒng)就帶有B/B+數(shù)所做的索引,所以我們?cè)谀夸浵虏檎乙粋€(gè)文件其實(shí)是很快的缠俺,就算這個(gè)文件夾下內(nèi)容非常的多显晶。所以一般情況下我們并不需要為文件系統(tǒng)做額外的索引優(yōu)化。

如果是內(nèi)存中的緩存壹士,那么使用hash表是最通用的一種方式了磷雇。如果是數(shù)組則要考慮好承載能力了,少量的數(shù)據(jù)可能沒有問題墓卦,當(dāng)數(shù)量到達(dá)一定程度后就會(huì)暴露出來倦春。這時(shí)候可以使用自平衡二叉樹、B樹落剪、跳躍鏈表等來做優(yōu)化了睁本。

sqlite是我們使用最多的一種數(shù)據(jù)存儲(chǔ)方式,提升sqlite搜索速度的方式就是對(duì)某列增加索引忠怖,具體需要根據(jù)具體情況來分析呢堰。默認(rèn)的sqlite索引是B樹,也可以配置為R樹索引凡泣,在坐標(biāo)數(shù)據(jù)庫(kù)表可能會(huì)表現(xiàn)更優(yōu)秀枉疼。

存儲(chǔ)格式

數(shù)據(jù)的存儲(chǔ)格式也是非常關(guān)鍵的一個(gè)部分。

像UserDefault這種全量更新的方式鞋拟,在單一數(shù)據(jù)變化的時(shí)候就需要全部重新序列化并且全部保存骂维,所以如果擁有大量數(shù)據(jù)或者數(shù)據(jù)非常龐大的時(shí)候,就會(huì)變得效率低下贺纲。

像ImageCache這種按照單文件保存航闺,如果是小數(shù)據(jù),每次都需要去讀磁盤,反而效率會(huì)降低潦刃。由于磁盤的讀取和寫入并不是單字節(jié)的侮措,都是按塊讀寫是最有效率的,所以多個(gè)小數(shù)據(jù)可以一次性讀取和寫入乖杠。

如果是像sqlite那樣按照chunk來局部更新文件分扎,則需要非常小心的處理每個(gè)數(shù)據(jù)存儲(chǔ)模塊,同時(shí)也要非常小心處理多線程的問題胧洒。另外也需要添加索引來確保效率畏吓。

如果是隨機(jī)讀為主的情況下,sqlite能夠完成這個(gè)任務(wù)略荡,但是如果是以寫為主庵佣,那么sqlite就可能出現(xiàn)性能問題(雖然按照移動(dòng)客戶端來說不太可能有這么大的寫的需求)。

最后

如何去選擇緩存和存儲(chǔ)方案汛兜,還是需要根據(jù)實(shí)際情況巴粪,通常一個(gè)通用的方案已經(jīng)足夠,但是在某些特殊場(chǎng)景還是需要我們?nèi)プ约涸O(shè)計(jì)這一套方案粥谬。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末肛根,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子漏策,更是在濱河造成了極大的恐慌派哲,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,188評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件掺喻,死亡現(xiàn)場(chǎng)離奇詭異芭届,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)感耙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門褂乍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人即硼,你說我怎么就攤上這事逃片。” “怎么了只酥?”我有些...
    開封第一講書人閱讀 165,562評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵褥实,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我裂允,道長(zhǎng)损离,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評(píng)論 1 295
  • 正文 為了忘掉前任绝编,我火速辦了婚禮草冈,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘瓮增。我一直安慰自己怎棱,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評(píng)論 6 392
  • 文/花漫 我一把揭開白布绷跑。 她就那樣靜靜地躺著拳恋,像睡著了一般。 火紅的嫁衣襯著肌膚如雪砸捏。 梳的紋絲不亂的頭發(fā)上谬运,一...
    開封第一講書人閱讀 51,708評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音垦藏,去河邊找鬼梆暖。 笑死,一個(gè)胖子當(dāng)著我的面吹牛掂骏,可吹牛的內(nèi)容都是我干的轰驳。 我是一名探鬼主播,決...
    沈念sama閱讀 40,430評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼弟灼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼级解!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起田绑,我...
    開封第一講書人閱讀 39,342評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤勤哗,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后掩驱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體芒划,經(jīng)...
    沈念sama閱讀 45,801評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評(píng)論 3 337
  • 正文 我和宋清朗相戀三年欧穴,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了民逼。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,115評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡苔可,死狀恐怖缴挖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情焚辅,我是刑警寧澤映屋,帶...
    沈念sama閱讀 35,804評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站同蜻,受9級(jí)特大地震影響棚点,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜湾蔓,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評(píng)論 3 331
  • 文/蒙蒙 一瘫析、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦贬循、人聲如沸咸包。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽烂瘫。三九已至,卻和暖如春奇适,著一層夾襖步出監(jiān)牢的瞬間坟比,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工嚷往, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留葛账,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,365評(píng)論 3 373
  • 正文 我出身青樓皮仁,卻偏偏與公主長(zhǎng)得像籍琳,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子魂贬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容