有沒有這樣一樣情況鸣哀，把一個集群中的某個表導到另一個群集中坦刀，或者hbase的表結(jié)構(gòu)發(fā)生了更改，但是數(shù)據(jù)還要臭杰，比如預分區(qū)沒做粤咪，導致某臺RegionServer很吃緊，Hbase的導出導出都可以很快的完成這些操作渴杆。
環(huán)境使用
現(xiàn)在環(huán)境上面有一張表logTable寥枝，有一個ext列簇
但是沒有做預分區(qū)，雖然可以強制拆分表磁奖，但是split的start,end范圍無法精確控制囊拜。
方式一 (先導出再導出)
- 創(chuàng)建導出目錄
hadoop fs -mkdir /tmp/hbase-export
- 備份表數(shù)據(jù)
使用hbase內(nèi)置的mr命令,會默認導出到hdfs中
hbase org.apache.hadoop.hbase.mapreduce.Export \
-D hbase.mapreduce.scan.column.family=ext \
logTable hdfs:///tmp/hbase-export/logTable
- 刪除表
disable 'logTable'
drop 'logTable'
- 創(chuàng)建表
數(shù)據(jù)3天過期，可以根據(jù)RegionServer的個數(shù)做預分區(qū)比搭，假設有8臺冠跷，則使用下面的方式。
由于我們是使用MD5("uid")前兩位作為打散,范圍為00~ff256個分片,可以使用如下方式。
# scala shell 創(chuàng)建方式
(0 until 256 by 256/8).map(Integer.toHexString).map(i=>s"0$i".takeRight(2))
hbase創(chuàng)表
create 'logTable',{ \
NAME => 'ext',TTL => '3 DAYS', \
CONFIGURATION => {
'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy', \
'KeyPrefixRegionSplitPolicy.prefix_length' => '2'
}, \
COMPRESSION => 'SNAPPY' \
}, \
SPLITS => ['20', '40', '60', '80', 'a0', 'c0', 'e0']
- 導出備份數(shù)據(jù)
hbase org.apache.hadoop.hbase.mapreduce.Import logTable hdfs:///tmp/hbase-export/logTable
注意事項
- 默認導出所有列簇蜜托，可通過指定
-D hbase.mapreduce.scan.column.family=ext,info參數(shù)導出弟疆。 - 如果另一張表沒有源表對應的列簇將會出錯。
