01. HBase的LSM存儲思想

什么是LSM樹?

三種基本的存儲引擎——LSM樹的由來

  • 哈希存儲引擎 是哈希表的持久化實現(xiàn),支持增铺敌、刪、改以及隨機讀取操作屁擅,但不支持順序掃描偿凭,對應的存儲系統(tǒng)為key-value存儲系統(tǒng)。對于key-value的插入以及查詢派歌,哈希表的復雜度都是O(1)弯囊,明顯比樹的操作O(n)快,如果不需要有序的遍歷數(shù)據(jù)胶果,哈希表就是最佳選擇匾嘱。
  • B樹存儲引擎 是B樹(關(guān)于B樹的由來)的持久化實現(xiàn),不僅支持單條記錄的增早抠、刪霎烙、讀、改操作蕊连,還支持順序掃描(B+樹的葉子節(jié)點之間的指針)悬垃,對應的存儲系統(tǒng)就是關(guān)系數(shù)據(jù)庫(Mysql等)。
  • LSM樹(Log-Structured Merge Tree)存儲引擎 和B樹存儲引擎一樣甘苍,同樣支持增尝蠕、刪、讀载庭、改看彼、順序掃描操作廊佩。而且通過批量存儲技術(shù)規(guī)避磁盤隨機寫入問題。當然凡事有利有弊靖榕,LSM樹和B+樹相比标锄,LSM樹犧牲了部分讀性能,用來大幅提高寫性能序矩。

LSM樹設(shè)計思想

將對數(shù)據(jù)的修改增量保持在內(nèi)存中鸯绿,達到指定的大小限制后將這些修改操作批量寫入磁盤,不過讀取的時候稍微麻煩簸淀,需要合并磁盤中歷史數(shù)據(jù)和內(nèi)存中最近修改操作瓶蝴,所以寫入性能大大提升,讀取時可能需要先看是否命中內(nèi)存租幕,否則需要訪問較多的磁盤文件舷手。極端的說,基于LSM樹實現(xiàn)的HBase的寫性能比Mysql高了一個數(shù)量級劲绪,讀性能低了一個數(shù)量級男窟。


image.png

LSM樹原理把一棵大樹拆分成N棵小樹,它首先寫入內(nèi)存中贾富,隨著小樹越來越大歉眷,內(nèi)存中的小樹會flush到磁盤中,磁盤中的樹定期可以做merge操作颤枪,合并成一棵大樹汗捡,以優(yōu)化讀性能。

HBase的LSM樹的簡易模型描述

image.png

HBase中的LSM存儲實現(xiàn)

image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末畏纲,一起剝皮案震驚了整個濱河市扇住,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌盗胀,老刑警劉巖艘蹋,帶你破解...
    沈念sama閱讀 218,386評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異票灰,居然都是意外死亡女阀,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評論 3 394
  • 文/潘曉璐 我一進店門屑迂,熙熙樓的掌柜王于貴愁眉苦臉地迎上來浸策,“玉大人,你說我怎么就攤上這事屈糊。” “怎么了琼了?”我有些...
    開封第一講書人閱讀 164,704評論 0 353
  • 文/不壞的土叔 我叫張陵逻锐,是天一觀的道長夫晌。 經(jīng)常有香客問我,道長昧诱,這世上最難降的妖魔是什么晓淀? 我笑而不...
    開封第一講書人閱讀 58,702評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮盏档,結(jié)果婚禮上凶掰,老公的妹妹穿的比我還像新娘。我一直安慰自己蜈亩,他們只是感情好懦窘,可當我...
    茶點故事閱讀 67,716評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著稚配,像睡著了一般畅涂。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上道川,一...
    開封第一講書人閱讀 51,573評論 1 305
  • 那天午衰,我揣著相機與錄音,去河邊找鬼冒萄。 笑死臊岸,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的尊流。 我是一名探鬼主播帅戒,決...
    沈念sama閱讀 40,314評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼奠旺!你這毒婦竟也來了蜘澜?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,230評論 0 276
  • 序言:老撾萬榮一對情侶失蹤响疚,失蹤者是張志新(化名)和其女友劉穎鄙信,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體忿晕,經(jīng)...
    沈念sama閱讀 45,680評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡装诡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,873評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了践盼。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鸦采。...
    茶點故事閱讀 39,991評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖咕幻,靈堂內(nèi)的尸體忽然破棺而出渔伯,到底是詐尸還是另有隱情,我是刑警寧澤肄程,帶...
    沈念sama閱讀 35,706評論 5 346
  • 正文 年R本政府宣布锣吼,位于F島的核電站选浑,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏玄叠。R本人自食惡果不足惜古徒,卻給世界環(huán)境...
    茶點故事閱讀 41,329評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望读恃。 院中可真熱鬧隧膘,春花似錦、人聲如沸寺惫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽肌蜻。三九已至互墓,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蒋搜,已是汗流浹背篡撵。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留豆挽,地道東北人育谬。 一個月前我還...
    沈念sama閱讀 48,158評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像帮哈,于是被迫代替她去往敵國和親膛檀。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,941評論 2 355

推薦閱讀更多精彩內(nèi)容