RocksDB系列五:MemTable

??MemTable是一種在內(nèi)存中保存數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)衣形,然后再在合適的時機,MemTable中的數(shù)據(jù)會flush到SST file中倒源。MemTable既可以支持讀服務(wù)也可以支持寫服務(wù)句狼,寫操作會首先將數(shù)據(jù)寫入Memtable,讀操作在query SST files之前會首先從MemTable中query數(shù)據(jù)(因為MemTable中的數(shù)據(jù)一直是最新的)腻菇。一旦MemTable滿了,就會轉(zhuǎn)換為只讀的不可改變的糖耸,然后會創(chuàng)建一個新的MemTable來提供新的寫操作骏令。后臺線程負(fù)責(zé)將MemTable中的數(shù)據(jù)flush到SST file,然后這個MemTable就會被銷毀周拐。
??重要的配置

  • memtable_factory:memtable的工廠對象凰兑。通過這個工廠對象,用戶可以改變memtable的底層實現(xiàn)并提供個性化的實現(xiàn)配置吏够。
  • write_buff_size :單個內(nèi)存表的大小限制
  • db_write_buff_size: 所有列族的內(nèi)存表總大小。這個配置可以管理內(nèi)存表的總內(nèi)存占用播急。
  • write_buffer_manager : 這個配置不是管理所有memtable的總內(nèi)存占用售睹,而是,提供用戶自定義的write buffer manager來管理整體的內(nèi)存表內(nèi)存使用捶枢。這個配置會覆蓋db_write_buffer_size飞崖。
  • max_write_buffer_number:內(nèi)存表的最大個數(shù)

??memtable的默認(rèn)實現(xiàn)是skiplist。除了默認(rèn)memtable實現(xiàn)外蒜鸡,用戶也可以使用其他類型的實現(xiàn)方法比如 HashLinkList、HashSkipList or Vector 來提高查詢性能逢防。

Skiplist MemTable

??基于Skiplist的memtable在支持讀、寫、隨機訪問和順序scan時提供了較好的性能伶椿。此外,還支持了一些其他實現(xiàn)不能支持的feature比如concurrent insert和 insert with hint导狡。

HashSkiplist MemTable

??如其名偎痛,HashSkipList是在hash table中組織數(shù)據(jù),hash table中的每個bucket都是一個skip list枚赡,HashLinkList也是在hash table中組織數(shù)據(jù)谓谦,但是每一個bucket是一個有序的單鏈表。這兩種結(jié)構(gòu)實現(xiàn)目的都是在執(zhí)行query操作時可以減少比較次數(shù)反粥。一種使用場景就是把這種memtable和PlainTable SST格式結(jié)合在一起,然后將數(shù)據(jù)保存在RAMFS中莫湘。
??當(dāng)執(zhí)行檢索或者插入一個key時郑气,key的前綴可以通過Options.prefix_extractor來檢索,之后就找到了相應(yīng)的hash bucket军洼。進入到 hash bucket內(nèi)部后演怎,使用全部的key數(shù)據(jù)來進行比較操作。使用hash實現(xiàn)的memtable的最大限制是:當(dāng)在多個key前綴上執(zhí)行scan操作需要執(zhí)行copy和sort操作甘桑,非常慢且很耗內(nèi)存。

flush

在以下三種情況下跑杭,內(nèi)存表的flush操作會被觸發(fā):

  • 內(nèi)存表大小超過了write_buffer_size
  • 全部列族的所有內(nèi)存表大小超過了db_write_buffer_size,或者wrtie_buffer_manager發(fā)出了flush的指令爹橱。這種情況下窄做,最大的內(nèi)存表會被選擇進行flush操作。
  • 全部的WAL文件大小超過max_total_wal_size组砚。在這種場景下掏颊,內(nèi)存中數(shù)據(jù)最老的內(nèi)存表會被選擇執(zhí)行flush操作,然后這個內(nèi)存表對應(yīng)的WAL file會被回收乌叶。

所以,內(nèi)存表也可以在未滿時執(zhí)行flush操作陈肛。這也是產(chǎn)生的SST file比對應(yīng)的內(nèi)存表小的一個原因兄裂,壓縮是是另一個原因(內(nèi)存表總的數(shù)據(jù)是沒有壓縮的,SST file是壓縮過的)谈撒。

Concurrent Insert

如果不支持concurrent insert to memtable的話匾南,來自多個線程的concurrent 寫會順序地寫入memtable。默認(rèn)是打開concurrent insert to memtable溯乒,也可以通過設(shè)置allow_concurrent_memtable_write來關(guān)閉豹爹。

Comparison

F7AC6702-7706-4f33-84BA-4ECC4047F567.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末臂聋,一起剝皮案震驚了整個濱河市或南,隨后出現(xiàn)的幾起案子艾君,更是在濱河造成了極大的恐慌,老刑警劉巖冰垄,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件虹茶,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機拾徙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門尼啡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人崖瞭,你說我怎么就攤上這事∵罅欤” “怎么了雌续?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長受啥。 經(jīng)常有香客問我鸽心,道長,這世上最難降的妖魔是什么藤肢? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任糯景,我火速辦了婚禮跟束,結(jié)果婚禮上丑孩,老公的妹妹穿的比我還像新娘。我一直安慰自己略贮,他們只是感情好仗岖,可當(dāng)我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著揽祥,像睡著了一般檩电。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上俐末,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天卓箫,我揣著相機與錄音,去河邊找鬼闷盔。 笑死旅急,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的坠非。 我是一名探鬼主播,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼盟迟,長吁一口氣:“原來是場噩夢啊……” “哼潦闲!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起辖众,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎戏阅,沒想到半個月后啤它,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡离赫,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年塌碌,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片翎猛。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡频丘,死狀恐怖泡态,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情桐汤,我是刑警寧澤靶壮,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布,位于F島的核電站拣度,受9級特大地震影響螃壤,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜奸晴,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一寄啼、第九天 我趴在偏房一處隱蔽的房頂上張望代箭。 院中可真熱鬧涕刚,春花似錦、人聲如沸副女。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽沟涨。三九已至,卻和暖如春喜庞,著一層夾襖步出監(jiān)牢的瞬間棋返,已是汗流浹背延都。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工晰房, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留射沟,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓猖吴,卻偏偏與公主長得像挥转,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子绑谣,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容