leveldb 的壓縮原理

層級(jí)壓縮

Jx6znO.png

為什么需要壓縮

因?yàn)?sstable 文件越來越多,會(huì)耗盡磁盤空間,并且也會(huì)影響查找效率,所以需要壓縮和合并 sstable枷畏。我們把修改、刪除都當(dāng)作添加操作導(dǎo)致了 sstable 中有大量冗余數(shù)據(jù)虱饿,所以壓縮就是保留最新數(shù)據(jù)拥诡,丟棄舊數(shù)據(jù)触趴。

日志文件

假設(shè)用戶新增一個(gè)鍵值對(duì),如果我們修改 memtable 后就返回成功給用戶渴肉,然后系統(tǒng)立刻崩潰重啟冗懦,用戶就會(huì)發(fā)現(xiàn)新增成功,但是找不到該數(shù)據(jù)仇祭。所以披蕉,為了防止系統(tǒng)崩潰時(shí)丟失最新數(shù)據(jù),在處理用戶請(qǐng)求之前乌奇,先往日志文件中追加一條記錄没讲,再修改 memtable。只要日志文件中有操作記錄华弓,即使系統(tǒng)崩潰了食零,用戶數(shù)據(jù)也不會(huì)丟失困乒。(因?yàn)橹貑⒑蠹牌粒到y(tǒng)可以根據(jù)日志文件重新構(gòu)建一個(gè)完整的 memtable

那么每次寫操作都要寫文件,對(duì)性能會(huì)不會(huì)有影響呢娜搂?相比純內(nèi)存操作迁霎,多了寫文件的操作,性能肯定會(huì)下降百宇。但是我們獲得了持久化的存儲(chǔ)考廉,這樣的性能代價(jià)也是能接受的。而且携御,往日志文件中追加記錄屬于順序?qū)懖粒碚撋夏苓_(dá)到磁盤I/O的速率,也不會(huì)太慢啄刹。

Level 0

每處理一個(gè)用戶請(qǐng)求涮坐,日志文件就會(huì)多出一條日志記錄。隨著時(shí)間的流逝誓军,日志文件會(huì)越來越大袱讹,直到超過一個(gè)固定大小(默認(rèn)1MB),

  • memtable 的內(nèi)容寫到一個(gè)不可修改的 sstable 文件中(存儲(chǔ)在磁盤上)
  • 添加這個(gè)新的 sstable* 到 Level-0

當(dāng) Level-0 的文件數(shù)量達(dá)到某個(gè)閾值時(shí)(當(dāng)前是4)昵时,Level-0 的所有文件將與 Level-1 中(和 Level-0 )重疊的文件合并捷雕,生成一系列新的 Level-1 文件(Level-1 中每個(gè)文件的大小為2MB)。

Level-0 的特殊之處在于:處于 Level-0 的 sstable 的 key space 可能是互相重疊的壹甥。

Level >= 1

Level >= 1 :處于同一層級(jí)的 sstable 的 key space 不會(huì)重疊救巷。

當(dāng) Level-T 的大小超過它的限制時(shí),我們就會(huì)在一個(gè)后臺(tái)線程中壓縮它句柠。這個(gè)壓縮線程會(huì)從選擇 Level-T 的某個(gè)文件和 Level-(T+1) 中重疊的所有文件征绸,然后合并它們久橙,生成一系列新的 Level-(T+1) 文件。每個(gè)文件大小默認(rèn)是2MB管怠。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末淆衷,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子渤弛,更是在濱河造成了極大的恐慌祝拯,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,744評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件她肯,死亡現(xiàn)場(chǎng)離奇詭異佳头,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)晴氨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,505評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門康嘉,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人籽前,你說我怎么就攤上這事亭珍。” “怎么了枝哄?”我有些...
    開封第一講書人閱讀 163,105評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵肄梨,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我挠锥,道長(zhǎng)众羡,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,242評(píng)論 1 292
  • 正文 為了忘掉前任蓖租,我火速辦了婚禮粱侣,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘蓖宦。我一直安慰自己齐婴,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,269評(píng)論 6 389
  • 文/花漫 我一把揭開白布球昨。 她就那樣靜靜地躺著尔店,像睡著了一般。 火紅的嫁衣襯著肌膚如雪主慰。 梳的紋絲不亂的頭發(fā)上嚣州,一...
    開封第一講書人閱讀 51,215評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音共螺,去河邊找鬼该肴。 笑死,一個(gè)胖子當(dāng)著我的面吹牛藐不,可吹牛的內(nèi)容都是我干的匀哄。 我是一名探鬼主播秦效,決...
    沈念sama閱讀 40,096評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼涎嚼!你這毒婦竟也來了阱州?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,939評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤法梯,失蹤者是張志新(化名)和其女友劉穎苔货,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體立哑,經(jīng)...
    沈念sama閱讀 45,354評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡夜惭,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,573評(píng)論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了铛绰。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片诈茧。...
    茶點(diǎn)故事閱讀 39,745評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖捂掰,靈堂內(nèi)的尸體忽然破棺而出敢会,到底是詐尸還是另有隱情,我是刑警寧澤尘颓,帶...
    沈念sama閱讀 35,448評(píng)論 5 344
  • 正文 年R本政府宣布走触,位于F島的核電站晦譬,受9級(jí)特大地震影響疤苹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜敛腌,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,048評(píng)論 3 327
  • 文/蒙蒙 一卧土、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧像樊,春花似錦尤莺、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,683評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至涂滴,卻和暖如春友酱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背柔纵。 一陣腳步聲響...
    開封第一講書人閱讀 32,838評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工缔杉, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人搁料。 一個(gè)月前我還...
    沈念sama閱讀 47,776評(píng)論 2 369
  • 正文 我出身青樓或详,卻偏偏與公主長(zhǎng)得像系羞,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子霸琴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,652評(píng)論 2 354