Hbase讀流程解析

Hbase讀寫流程解析(總括)

上節(jié)課我們詳細(xì)說明了Hbase的架構(gòu)螟炫,包括HMaster,HRegionServerf(RS),Hlog,HRegion,Store及HFile各自的作用曙旭,本節(jié)詳細(xì)解析hbase的讀寫流程迷守。

讀數(shù)據(jù)

客戶端在讀取數(shù)據(jù)時,比如我們在Hbase shell下面執(zhí)行:

get  'stable',' rowkey'

或者我們執(zhí)行Java Hbase API去查詢(其實上面的命令行窗口也是轉(zhuǎn)化API接口去查詢的)
通常我們會在網(wǎng)上或者博客上看到贱枣,Hbase是強(qiáng)依賴Zookeeper的,ZK保存著Hbase的元數(shù)據(jù)。

  1. 那么第一步我們查詢數(shù)據(jù)時捌议,提交請求,Client會去ZK里查找Meta表的元數(shù)據(jù)(舊版本實際上還有一個-ROOT-表)引有,ZK里到底保存了Meta的哪些信息呢瓣颅,我們可以看下:
[zk: localhost:2181(CONNECTED) 6] get /hbase/meta-region-server
??regionserver:16201dH1??Q?PBUF
??yang05??~??????-???

實際上我們可以看到,里面就是保存了Meta表的一個location,說明Meta表是在哪個RS里保存著呢譬正,這樣Client就可以得到Meta表所在的RS地址

  1. Client通過ZK得到Meta的位置所在的RS宫补,那么就去請求這臺RS,訪問Meta表的內(nèi)容,如下:
hbase(main):005:0> scan 'hbase:meta'
ROW                     COLUMN+CELL                                                     
 bigdata:student,,15529 column=info:regioninfo, timestamp=1552929136826, value={ENCODED 
 29135868.6b4b97fd206e5 => 6b4b97fd206e5d78aac5bb30e6a0cc7a, NAME => 'bigdata:student,,1
 d78aac5bb30e6a0cc7a.   552929135868.6b4b97fd206e5d78aac5bb30e6a0cc7a.', STARTKEY => '',
                         ENDKEY => ''}                                                  
 bigdata:student,,15529 column=info:seqnumDuringOpen, timestamp=1552929136826, value=\x0
 29135868.6b4b97fd206e5 0\x00\x00\x00\x00\x00\x00\x02                                   
 d78aac5bb30e6a0cc7a.                                                                   
 bigdata:student,,15529 column=info:server, timestamp=1552929136826, value=yang05:16201 
 29135868.6b4b97fd206e5                                                                 
 d78aac5bb30e6a0cc7a.                                                                   
 bigdata:student,,15529 column=info:serverstartcode, timestamp=1552929136826, value=1552
 29135868.6b4b97fd206e5 878081913                                                       

顯示上面內(nèi)容就是記錄了我們自己業(yè)務(wù)表的信息(元數(shù)據(jù))曾我,其實通過上面的數(shù)據(jù)粉怕,我們知道,Meta表的每一條記錄您单,都記錄了業(yè)務(wù)表的一個region的數(shù)據(jù)斋荞,如上面的STARTKEY ,ENDKEY就是rowkey的范圍

  1. 知道了數(shù)據(jù)的元數(shù)據(jù),即知道數(shù)據(jù)是在哪個RS中的哪個region里虐秦,客戶端就可以再次請求相應(yīng)的RS平酿。
    這里讀請求也是非常復(fù)雜的凤优,我們這里只是簡單說明,后面文章會對這塊詳細(xì)解析蜈彼,Client先在MemStore里找數(shù)據(jù)筑辨,如果MemStore沒有找到數(shù)據(jù),接著會在對應(yīng)的BlockCache里找幸逆,這里也就是Hbase所謂的二級緩沖棍辕,如果還是沒有找到數(shù)據(jù),那么就去Hdfs的上HFile里找數(shù)據(jù)了还绘。

接著從總括上說下Hbase的寫流程...

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末楚昭,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子拍顷,更是在濱河造成了極大的恐慌抚太,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件昔案,死亡現(xiàn)場離奇詭異尿贫,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)踏揣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門庆亡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人捞稿,你說我怎么就攤上這事又谋。” “怎么了娱局?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵搂根,是天一觀的道長。 經(jīng)常有香客問我铃辖,道長,這世上最難降的妖魔是什么猪叙? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任娇斩,我火速辦了婚禮,結(jié)果婚禮上穴翩,老公的妹妹穿的比我還像新娘犬第。我一直安慰自己,他們只是感情好芒帕,可當(dāng)我...
    茶點故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般榜贴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上哮幢,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天,我揣著相機(jī)與錄音志珍,去河邊找鬼橙垢。 笑死,一個胖子當(dāng)著我的面吹牛伦糯,可吹牛的內(nèi)容都是我干的柜某。 我是一名探鬼主播,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼敛纲,長吁一口氣:“原來是場噩夢啊……” “哼喂击!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起淤翔,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤翰绊,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后办铡,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體辞做,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年寡具,在試婚紗的時候發(fā)現(xiàn)自己被綠了秤茅。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡童叠,死狀恐怖框喳,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情厦坛,我是刑警寧澤五垮,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站杜秸,受9級特大地震影響放仗,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜撬碟,卻給世界環(huán)境...
    茶點故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一诞挨、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧呢蛤,春花似錦惶傻、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春蜈敢,著一層夾襖步出監(jiān)牢的瞬間辜荠,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工扶认, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留侨拦,地道東北人。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓辐宾,卻偏偏與公主長得像狱从,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子叠纹,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,440評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 簡介 [HBase]——Hadoop Database的簡稱季研,Google BigTable的另一種開源實現(xiàn)方式,...
    高廣超閱讀 2,352評論 1 27
  • 比特科技: 存儲誉察、數(shù)據(jù)庫与涡、大數(shù)據(jù)技術(shù) ? HBase原理和設(shè)計 http://www.bitstech.net/...
    葡萄喃喃囈語閱讀 729評論 0 11
  • 簡介 HBase —— Hadoop Database的簡稱,Google BigTable的另一種開源實現(xiàn)方式持偏,...
    編碼前線閱讀 279評論 0 0
  • 簡介 HBase —— Hadoop Database的簡稱驼卖,Google BigTable的另一種開源實現(xiàn)方式,...
    尼小摩閱讀 533評論 0 3
  • HBase存儲架構(gòu)圖 HBase Master 為Region server分配region 負(fù)責(zé)Region s...
    kimibob閱讀 5,588評論 0 52