RocksDB系列十六:Indexing SST Files for Better Lookup Performance

??當RocksDB收到一條Get()請求時奋刽,會依次從memtable瓦侮、immutable memtable和SST files中去查找。SST files是按照層次組織的佣谐。
??在level 0肚吏,文件是按照flush的時間戳順序存儲。每個file的key range(FileMetaData.smallest and FileMetaData.largest)大部分情況下都是有重疊的狭魂,所以需要查詢每一個L0 file罚攀。
??compaction會定期執(zhí)行,從Ln層選擇SST files雌澄,然后merge到一起生成一個新的SST file斋泄,然后下推到Ln+1層。所以镐牺,key/value s從L0依次沿著LSM tree 下降到Ln層炫掐。執(zhí)行compaction操作時會把key/value s進行排序,然后拆分到多個文件中睬涧。從level 1到level n,SST files按照key 排序募胃,且每個文件的key range互相不重疊。為了check一個key可能存在于哪一個一個SST file中畦浓,RocksDB并沒有依次遍歷每一個SST file然后去檢查key是否在這個file的key range 內痹束,而是執(zhí)行二分搜索算法(FileMetaData.largest )去定位這個SST file。二者相比讶请,復雜度從O(N)下降到了O(logn)祷嘶。然而,針對某些極端情況夺溢,logn的復雜度仍然無法接受论巍。比如:上層到下一層的文件的扇出率是10的話,則level 3就有1000個文件风响。要將一個key locate到一個特定的文件环壤,需要執(zhí)行10次比較操作。這對于每秒執(zhí)行幾百萬次查詢的in-memory database來說钞诡,是個很大的消耗郑现。
??針對這個問題,解決方法可以如下:LSM tree build成功后荧降,每一個層次的SST file的位置是對齊的接箫,甚至,相對于下一層次的文件的位置也是對齊的朵诫⌒劣眩基于次,我們可以縮小二分搜索的范圍。

                                         file 1                                          file 2
                                      +----------+                                    +----------+
level 1:                              | 100, 200 |                                    | 300, 400 |
                                      +----------+                                    +----------+
           file 1     file 2      file 3      file 4       file 5       file 6       file 7       file 8
         +--------+ +--------+ +---------+ +----------+ +----------+ +----------+ +----------+ +----------+
level 2: | 40, 50 | | 60, 70 | | 95, 110 | | 150, 160 | | 210, 230 | | 290, 300 | | 310, 320 | | 410, 450 |
         +--------+ +--------+ +---------+ +----------+ +----------+ +----------+ +----------+ +----------+ 

??如上圖废累,Level 1有2個文件邓梅,level 2有8個文件。現在邑滨,我們要檢索 key=80日缨。基于FileMetaData.largest 的二分搜索可以得出file 1是候選文件掖看。然后比較80與file 1的FileMetaData.smallest和FileMetaData.largest來判斷80是否在file1的range中匣距。比較結果是80 小于FileMetaData.smallest (100),所以file 1不可能包含key 80哎壳。接下來去檢索level 2,毅待。通常情況下,我們會對level 2中的8個文件去執(zhí)行二分查找归榕。但是尸红,由于我們已經知道了80 小于100且只有file 1到file3才有可能包含小于100的key,我們就可以很明確地排除其他文件而不去檢索刹泄。此時外里,我們的檢索范圍就從8個文件縮減到了3個。
??再看一個例子循签,現在要檢索的是key=230。在level1上執(zhí)行二分搜索可以將key先定位到 file2疙咸。然后將230與file 2的上下界進行比較县匠,得出key 是小于file 2's FileMetaData.smallest 300。即使撒轮,此時我們沒有在level 1中找到目標key乞旦,但是可以推斷出目標key是在200和300之間。此時题山,level 2中key range不包含[200, 300]的SST file可以被排除兰粉。此時,我們只需要檢索level 2中的file5 和file 6即可顶瞳。
??基于上面的方法玖姑,我們可以在compaction時提前在level 1構建一些指針,這些指針指向level 2的某個范圍內的文件列表慨菱。比如焰络,level 1中的file1 左指針指向level 2中的file 3,右指針指向level 2中的file4符喝。File 2的左右指針分別指向level2 中的file 6和7闪彼。查找時,這些指針可以用來確定二分查找的文件范圍协饲。
??benchmark中顯示SST file Index優(yōu)化提升了5%的look up qps畏腕。

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末缴川,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子描馅,更是在濱河造成了極大的恐慌把夸,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,376評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件流昏,死亡現場離奇詭異扎即,居然都是意外死亡,警方通過查閱死者的電腦和手機况凉,發(fā)現死者居然都...
    沈念sama閱讀 90,126評論 2 385
  • 文/潘曉璐 我一進店門谚鄙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人刁绒,你說我怎么就攤上這事闷营。” “怎么了知市?”我有些...
    開封第一講書人閱讀 156,966評論 0 347
  • 文/不壞的土叔 我叫張陵傻盟,是天一觀的道長。 經常有香客問我嫂丙,道長娘赴,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,432評論 1 283
  • 正文 為了忘掉前任跟啤,我火速辦了婚禮诽表,結果婚禮上,老公的妹妹穿的比我還像新娘隅肥。我一直安慰自己竿奏,他們只是感情好,可當我...
    茶點故事閱讀 65,519評論 6 385
  • 文/花漫 我一把揭開白布腥放。 她就那樣靜靜地躺著泛啸,像睡著了一般。 火紅的嫁衣襯著肌膚如雪秃症。 梳的紋絲不亂的頭發(fā)上候址,一...
    開封第一講書人閱讀 49,792評論 1 290
  • 那天,我揣著相機與錄音种柑,去河邊找鬼宗雇。 笑死,一個胖子當著我的面吹牛莹规,可吹牛的內容都是我干的赔蒲。 我是一名探鬼主播,決...
    沈念sama閱讀 38,933評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼舞虱!你這毒婦竟也來了欢际?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,701評論 0 266
  • 序言:老撾萬榮一對情侶失蹤矾兜,失蹤者是張志新(化名)和其女友劉穎损趋,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體椅寺,經...
    沈念sama閱讀 44,143評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡浑槽,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,488評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了返帕。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片桐玻。...
    茶點故事閱讀 38,626評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖荆萤,靈堂內的尸體忽然破棺而出镊靴,到底是詐尸還是另有隱情,我是刑警寧澤链韭,帶...
    沈念sama閱讀 34,292評論 4 329
  • 正文 年R本政府宣布偏竟,位于F島的核電站,受9級特大地震影響敞峭,放射性物質發(fā)生泄漏踊谋。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,896評論 3 313
  • 文/蒙蒙 一旋讹、第九天 我趴在偏房一處隱蔽的房頂上張望殖蚕。 院中可真熱鬧,春花似錦骗村、人聲如沸嫌褪。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,742評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至裙秋,卻和暖如春琅拌,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背摘刑。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工进宝, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人枷恕。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓党晋,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子未玻,可洞房花燭夜當晚...
    茶點故事閱讀 43,494評論 2 348

推薦閱讀更多精彩內容

  • 背景 一年多以前我在知乎上答了有關LeetCode的問題, 分享了一些自己做題目的經驗灾而。 張土汪:刷leetcod...
    土汪閱讀 12,738評論 0 33
  • Lua 5.1 參考手冊 by Roberto Ierusalimschy, Luiz Henrique de F...
    蘇黎九歌閱讀 13,763評論 0 38
  • 泡一杯茗茶, 拿一支妙筆扳剿, 鋪一張萱紙旁趟, 思一詞一句, 寫一行美詩庇绽, 舒一下美眉锡搜。 兒子誕生了, 開心地笑了瞧掺, 可...
    亮靚_27d5閱讀 348評論 29 56
  • 2017年5月25日:云妮 人生最曼妙的風景是內心的淡定和從容-----楊絳 很早的時候夸盟,因為《圍城》認識了錢鐘書...
    遇見云妮閱讀 650評論 2 9
  • 曾幾何時蛾方,我也像個詩人一樣,用最晦澀的語言上陕,來隱喻人生桩砰。 那時的我,有少年人最旺盛的熱情释簿,每天都會發(fā)現點有趣的故事...
    湯初閱讀 270評論 0 1