hbase數(shù)據(jù)存儲(chǔ)

自0.96版本之后窥摄,hbase 源碼結(jié)構(gòu)上做了很大的優(yōu)化套腹,目錄結(jié)構(gòu)也發(fā)生了變化另假,做了精簡(jiǎn)和優(yōu)化像屋,這里以1.2.0-cdh5.7.2為例介紹,目錄如下:
1边篮,在hdfs的路徑

[root@namenode1 ~]# hadoop fs -ls /hbase
Found 9 items
drwxr-xr-x   - hbase hbase          0 2017-01-07 16:02 /hbase/.tmp --當(dāng)對(duì)表做創(chuàng)建或者刪除操作的時(shí)候己莺,會(huì)將表move 到該 .tmp 目錄下,然后再去做處理操作苟耻。
drwxr-xr-x   - hbase hbase          0 2017-01-15 18:59 /hbase/MasterProcWALs
drwxr-xr-x   - hbase hbase          0 2017-01-06 20:34 /hbase/WALs
drwxr-xr-x   - hbase hbase          0 2017-01-10 10:47 /hbase/archive --HBase 在做 Split或者 compact 操作完成之后篇恒,會(huì)將 HFile 移到archive 目錄中,然后將之前的 hfile 刪除掉,該目錄由 HMaster 上的一個(gè)定時(shí)任務(wù)定期去清理.
drwxr-xr-x   - hbase hbase          0 2016-08-17 13:50 /hbase/corrupt --存儲(chǔ)HBase做損壞的日志文件扶檐,一般都是為空的
drwxr-xr-x   - hbase hbase          0 2016-12-26 15:33 /hbase/data --這個(gè)才是 hbase 的核心目錄凶杖,0.98版本里支持 namespace 的概念模型,系統(tǒng)會(huì)預(yù)置兩個(gè) namespace 即:hbase和default
-rw-r--r--   3 hbase hbase         42 2016-08-05 17:24 /hbase/hbase.id -- 它是一個(gè)文件款筑,存儲(chǔ)集群唯一的 cluster id 號(hào)智蝠,是一個(gè) uuid
-rw-r--r--   3 hbase hbase          7 2016-08-05 17:24 /hbase/hbase.version --同樣也是一個(gè)文件,存儲(chǔ)集群的版本號(hào)奈梳,貌似是加密的杈湾,看不到,只能通過(guò)web-ui 才能正確顯示出來(lái)
drwxr-xr-x   - hbase hbase          0 2017-01-15 18:38 /hbase/oldWALs --這里對(duì)應(yīng)0.94的.oldlogs 目錄

** /hbase/data/hbase**
這個(gè)namespace 下面存儲(chǔ)了 HBase 的 namespace攘须、meta 和acl 三個(gè)表漆撞,這里的 meta 表跟0.94版本的.META.是一樣的,自0.96之后就已經(jīng)將 ROOT 表去掉了于宙,直接從Zookeeper 中找到meta 表的位置浮驳,然后通過(guò) meta 表定位到 region。 namespace 中存儲(chǔ)了 HBase 中的所有 namespace 信息捞魁,包括預(yù)置的hbase 和 default至会。acl 則是表的用戶權(quán)限控制。
如果自定義一些 namespace 的話谱俭,就會(huì)再/hbase/data 目錄下新建一個(gè) namespace 文件夾奉件,該 namespace 下的表都將 flush 到該目錄下。

//表空間的查看
[root@namenode1 ~]# hadoop fs -ls /hbase/data
Found 4 items
drwxr-xr-x   - hbase hbase          0 2016-11-16 10:00 /hbase/data/bdcbasApp
drwxr-xr-x   - hbase hbase          0 2017-01-07 16:02 /hbase/data/default
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns
drwxr-xr-x   - hbase hbase          0 2016-08-05 17:24 /hbase/data/hbase

2昆著,每張表都維護(hù) tabledesc和regioninfo

[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM
Found 3 items
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc  --這里存儲(chǔ)tabledesc的信息
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79     --這里存儲(chǔ)的有regioninfo的信息
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc
Found 1 items
-rw-r--r--   3 hbase hbase        292 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc/.tableinfo.0000000001
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/
Found 3 items
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tabledesc
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/.tmp
[root@namenode1 ~]# hadoop fs -ls /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79
Found 4 items
-rw-r--r--   3 hbase hbase         47 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/.regioninfo
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/.tmp
drwxr-xr-x   - hbase hbase          0 2017-01-09 16:44 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/info   --列族
drwxr-xr-x   - hbase hbase          0 2017-01-09 15:43 /hbase/data/eca_ns/ECA_SMDA_NORM/f9ff9447086496a3d7adc4bff4aade79/recovered.edits

hbase在zk的目錄結(jié)構(gòu)

[zk: localhost:2181(CONNECTED) 1] ls /hbase
[replication, meta-region-server, rs, splitWAL, backup-masters, table-lock, flush-table-proc, region-in-transition, online-snapshot, master, running, recovering-regions, draining, namespace, hbaseid, table]

hbase(main):001:0> zk_dump
HBase is rooted at /hbase
Active master address: datanode1,60000,1483706056881
Backup master addresses:
Region server holding hbase:meta: datanode3,60020,1483706055770
Region servers:
 datanode2,60020,1483706054731
 datanode0,60020,1483706054027
 datanode4,60020,1483706055881
 datanode3,60020,1483706055770
 datanode7,60020,1483706055693
 datanode5,60020,1483706054452
/hbase/replication: 
/hbase/replication/peers: 
/hbase/replication/rs: 
/hbase/replication/rs/datanode5,60020,1483706054452: 
/hbase/replication/rs/datanode7,60020,1483706055693: 
/hbase/replication/rs/datanode3,60020,1483706055770: 
/hbase/replication/rs/datanode4,60020,1483706055881: 
/hbase/replication/rs/datanode0,60020,1483706054027: 
/hbase/replication/rs/datanode2,60020,1483706054731: 
Quorum Server Statistics:
 localhost:2181
  Zookeeper version: 3.4.5-cdh5.7.2--1, built on 07/22/2016 19:18 GMT
  Clients:
   /172.16.171.9:48487[1](queued=0,recved=5107,sent=5107)
   /172.16.171.17:36252[1](queued=0,recved=50936,sent=50936)
   /172.16.171.20:47011[1](queued=0,recved=19631,sent=19631)
   /172.16.171.19:62253[1](queued=0,recved=7455,sent=7455)
   /127.0.0.1:18625[1](queued=0,recved=22,sent=22)
   /172.16.171.11:34643[1](queued=0,recved=7456,sent=7456)
   /127.0.0.1:18621[1](queued=0,recved=3,sent=3)
   /172.16.171.21:38192[1](queued=0,recved=7467,sent=7467)
   /172.16.171.17:36254[1](queued=0,recved=50936,sent=50936)
   /172.16.171.5:60302[1](queued=0,recved=7456,sent=7456)
   /172.16.171.9:48540[1](queued=0,recved=25518,sent=25518)
   /172.16.171.9:32467[1](queued=0,recved=7455,sent=7455)
   /172.16.171.8:61522[1](queued=0,recved=10566,sent=10586)
   /172.16.171.19:16777[1](queued=0,recved=25518,sent=25518)
   /127.0.0.1:18626[0](queued=0,recved=1,sent=0)
   /172.16.171.8:45515[1](queued=0,recved=7455,sent=7455)
   /172.16.171.12:18371[1](queued=0,recved=381742,sent=381742)
  
  Latency min/avg/max: 0/3/51663
  Received: 1431771
  Sent: 1461307
  Connections: 17
  Outstanding: 0
  Zxid: 0x2600046a80
  Mode: follower
  Node count: 5349
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末县貌,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子凑懂,更是在濱河造成了極大的恐慌窃这,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,248評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異杭攻,居然都是意外死亡祟敛,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評(píng)論 2 381
  • 文/潘曉璐 我一進(jìn)店門兆解,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)馆铁,“玉大人,你說(shuō)我怎么就攤上這事锅睛〔壕蓿” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 153,443評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵现拒,是天一觀的道長(zhǎng)辣垒。 經(jīng)常有香客問(wèn)我,道長(zhǎng)印蔬,這世上最難降的妖魔是什么勋桶? 我笑而不...
    開(kāi)封第一講書人閱讀 55,475評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮侥猬,結(jié)果婚禮上例驹,老公的妹妹穿的比我還像新娘。我一直安慰自己退唠,他們只是感情好鹃锈,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,458評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著瞧预,像睡著了一般屎债。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上垢油,一...
    開(kāi)封第一講書人閱讀 49,185評(píng)論 1 284
  • 那天盆驹,我揣著相機(jī)與錄音,去河邊找鬼秸苗。 笑死召娜,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的惊楼。 我是一名探鬼主播玖瘸,決...
    沈念sama閱讀 38,451評(píng)論 3 401
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼檀咙!你這毒婦竟也來(lái)了雅倒?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 37,112評(píng)論 0 261
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤弧可,失蹤者是張志新(化名)和其女友劉穎蔑匣,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,609評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡裁良,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,083評(píng)論 2 325
  • 正文 我和宋清朗相戀三年凿将,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片价脾。...
    茶點(diǎn)故事閱讀 38,163評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡牧抵,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出侨把,到底是詐尸還是另有隱情犀变,我是刑警寧澤,帶...
    沈念sama閱讀 33,803評(píng)論 4 323
  • 正文 年R本政府宣布秋柄,位于F島的核電站获枝,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏骇笔。R本人自食惡果不足惜省店,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,357評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蜘拉。 院中可真熱鬧萨西,春花似錦有鹿、人聲如沸旭旭。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,357評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)持寄。三九已至,卻和暖如春娱俺,著一層夾襖步出監(jiān)牢的瞬間稍味,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,590評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工荠卷, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留模庐,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,636評(píng)論 2 355
  • 正文 我出身青樓油宜,卻偏偏與公主長(zhǎng)得像掂碱,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子慎冤,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,925評(píng)論 2 344

推薦閱讀更多精彩內(nèi)容

  • 入門指南 1. 簡(jiǎn)介 Quickstart會(huì)讓你啟動(dòng)和運(yùn)行一個(gè)單節(jié)點(diǎn)單機(jī)HBase疼燥。 2. 快速啟動(dòng) – 單點(diǎn)HB...
    和心數(shù)據(jù)閱讀 4,522評(píng)論 1 41
  • 最近在逐步跟進(jìn)Hbase的相關(guān)工作,由于之前對(duì)Hbase并不怎么了解蚁堤,因此系統(tǒng)地學(xué)習(xí)了下Hbase醉者,為了加深對(duì)Hb...
    飛鴻無(wú)痕閱讀 50,182評(píng)論 19 271
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器撬即,智...
    卡卡羅2017閱讀 134,601評(píng)論 18 139
  • 該文檔是用Hbase默認(rèn)配置文件生成的立磁,文件源是Hbase-default.xml hbase.rootdir 這...
    我是嘻哈大哥閱讀 4,745評(píng)論 0 7
  • 零.導(dǎo)讀 HBase,基于Google Bigtable實(shí)現(xiàn)的開(kāi)源剥槐、分布式息罗、可伸縮的列式存儲(chǔ)數(shù)據(jù)庫(kù),誕生于Hado...
    阿羅閱讀 9,077評(píng)論 3 38