Hbase hfile索引再次探究

HFile數(shù)據(jù)完整索引流程

1:數(shù)據(jù)不大的時候只有一層。

2:數(shù)據(jù)多的時候有且最多三層。

3:最下面一層為數(shù)據(jù)層。

圖中紅線表示一次查詢的索引過程(HBase中相關(guān)類為HFileBlockIndex和HFileReaderV2),基本流程可以表示為:


1. 用戶輸入rowkey為fb骗随,在root index block中通過二分查找定位到fb在’a’和’m’之間,因此需要訪問索引’a’指向的中間節(jié)點赴叹。因為root index block常駐內(nèi)存鸿染,所以這個過程很快。

2. 將索引’a’指向的中間節(jié)點索引塊加載到內(nèi)存乞巧,然后通過二分查找定位到fb在index ‘d’和’h’之間涨椒,接下來訪問索引’d’指向的葉子節(jié)點。

3. 同理绽媒,將索引’d’指向的中間節(jié)點索引塊加載到內(nèi)存蚕冬,一樣通過二分查找定位找到fb在index ‘f’和’g’之間,最后需要訪問索引’f’指向的數(shù)據(jù)塊節(jié)點是辕。

4. 將索引’f’指向的數(shù)據(jù)塊加載到內(nèi)存囤热,通過遍歷的方式找到對應的keyvalue。

上述流程中因為中間節(jié)點获三、葉子節(jié)點和數(shù)據(jù)塊都需要加載到內(nèi)存旁蔼,所以io次數(shù)正常為3次。但是實際上HBase為block提供了緩存機制疙教,可以將頻繁使用的block緩存在內(nèi)存中棺聊,可以進一步加快實際讀取過程。所以松逊,在HBase中躺屁,通常一次隨機讀請求最多會產(chǎn)生3次io肯夏,如果數(shù)據(jù)量芯辍(只有一層索引),數(shù)據(jù)已經(jīng)緩存到了內(nèi)存驯击,就不會產(chǎn)生io烁兰。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市徊都,隨后出現(xiàn)的幾起案子沪斟,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,695評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件主之,死亡現(xiàn)場離奇詭異择吊,居然都是意外死亡,警方通過查閱死者的電腦和手機槽奕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評論 3 399
  • 文/潘曉璐 我一進店門几睛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人粤攒,你說我怎么就攤上這事所森。” “怎么了夯接?”我有些...
    開封第一講書人閱讀 168,130評論 0 360
  • 文/不壞的土叔 我叫張陵焕济,是天一觀的道長。 經(jīng)常有香客問我盔几,道長晴弃,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,648評論 1 297
  • 正文 為了忘掉前任逊拍,我火速辦了婚禮肝匆,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘顺献。我一直安慰自己旗国,他們只是感情好,可當我...
    茶點故事閱讀 68,655評論 6 397
  • 文/花漫 我一把揭開白布注整。 她就那樣靜靜地躺著能曾,像睡著了一般。 火紅的嫁衣襯著肌膚如雪肿轨。 梳的紋絲不亂的頭發(fā)上寿冕,一...
    開封第一講書人閱讀 52,268評論 1 309
  • 那天,我揣著相機與錄音椒袍,去河邊找鬼驼唱。 笑死,一個胖子當著我的面吹牛驹暑,可吹牛的內(nèi)容都是我干的玫恳。 我是一名探鬼主播,決...
    沈念sama閱讀 40,835評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼优俘,長吁一口氣:“原來是場噩夢啊……” “哼京办!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起帆焕,我...
    開封第一講書人閱讀 39,740評論 0 276
  • 序言:老撾萬榮一對情侶失蹤惭婿,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體财饥,經(jīng)...
    沈念sama閱讀 46,286評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡换吧,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,375評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了钥星。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片式散。...
    茶點故事閱讀 40,505評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖打颤,靈堂內(nèi)的尸體忽然破棺而出暴拄,到底是詐尸還是另有隱情,我是刑警寧澤编饺,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布乖篷,位于F島的核電站,受9級特大地震影響透且,放射性物質(zhì)發(fā)生泄漏撕蔼。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,873評論 3 333
  • 文/蒙蒙 一秽誊、第九天 我趴在偏房一處隱蔽的房頂上張望鲸沮。 院中可真熱鬧,春花似錦锅论、人聲如沸讼溺。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽怒坯。三九已至,卻和暖如春藻懒,著一層夾襖步出監(jiān)牢的瞬間剔猿,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評論 1 272
  • 我被黑心中介騙來泰國打工嬉荆, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留归敬,地道東北人。 一個月前我還...
    沈念sama閱讀 48,921評論 3 376
  • 正文 我出身青樓鄙早,卻偏偏與公主長得像汪茧,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子蝶锋,可洞房花燭夜當晚...
    茶點故事閱讀 45,515評論 2 359

推薦閱讀更多精彩內(nèi)容

  • HBase存儲架構(gòu)圖 HBase Master 為Region server分配region 負責Region s...
    kimibob閱讀 5,588評論 0 52
  • HBase那些事 @(大數(shù)據(jù)工程學院)[HBase, Hadoop, 優(yōu)化, HadoopChen, hbase]...
    分癡閱讀 3,948評論 3 17
  • 該文檔是用Hbase默認配置文件生成的陆爽,文件源是Hbase-default.xml hbase.rootdir 這...
    我是嘻哈大哥閱讀 4,765評論 0 7
  • 原創(chuàng)文章,轉(zhuǎn)載請注明原作地址:http://www.reibang.com/p/0f9578df7fbc 一. 架...
    EchoZhan閱讀 15,162評論 4 33
  • 很少寫技術(shù)博客驴剔,一是覺得自己技術(shù)有限,怕誤人子弟粥庄;二是文筆較差丧失,比較排斥寫作之類的工作。話說不鍛煉惜互,哪會有進步呢布讹,...
    奔跑的番茄醬閱讀 42,333評論 7 132