有沒(méi)有這樣一樣情況子库，把一個(gè)集群中的某個(gè)表導(dǎo)到另一個(gè)群集中，或者h(yuǎn)base的表結(jié)構(gòu)發(fā)生了更改，但是數(shù)據(jù)還要旗唁，比如預(yù)分區(qū)沒(méi)做畦浓，導(dǎo)致某臺(tái)RegionServer很吃緊，Hbase的導(dǎo)出導(dǎo)出都可以很快的完成這些操作检疫。
環(huán)境使用
現(xiàn)在環(huán)境上面有一張表logTable讶请，有一個(gè)ext列簇
但是沒(méi)有做預(yù)分區(qū)，雖然可以強(qiáng)制拆分表电谣，但是split的start,end范圍無(wú)法精確控制秽梅。
方式一 (先導(dǎo)出再導(dǎo)出)
- 創(chuàng)建導(dǎo)出目錄
hadoop fs -mkdir /tmp/hbase-export
- 備份表數(shù)據(jù)
使用hbase內(nèi)置的mr命令,會(huì)默認(rèn)導(dǎo)出到hdfs中
hbase org.apache.hadoop.hbase.mapreduce.Export \
-D hbase.mapreduce.scan.column.family=ext \
logTable hdfs:///tmp/hbase-export/logTable
- 刪除表
disable 'logTable'
drop 'logTable'
- 創(chuàng)建表
數(shù)據(jù)3天過(guò)期，可以根據(jù)RegionServer的個(gè)數(shù)做預(yù)分區(qū)剿牺，假設(shè)有8臺(tái)，則使用下面的方式环壤。
由于我們是使用MD5("uid")前兩位作為打散,范圍為00~ff256個(gè)分片,可以使用如下方式晒来。
# scala shell 創(chuàng)建方式
(0 until 256 by 256/8).map(Integer.toHexString).map(i=>s"0$i".takeRight(2))
hbase創(chuàng)表
create 'logTable',{ \
NAME => 'ext',TTL => '3 DAYS', \
CONFIGURATION => {
'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy', \
'KeyPrefixRegionSplitPolicy.prefix_length' => '2'
}, \
COMPRESSION => 'SNAPPY' \
}, \
SPLITS => ['20', '40', '60', '80', 'a0', 'c0', 'e0']
- 導(dǎo)出備份數(shù)據(jù)
hbase org.apache.hadoop.hbase.mapreduce.Import logTable hdfs:///tmp/hbase-export/logTable
注意事項(xiàng)
- 默認(rèn)導(dǎo)出所有列簇，可通過(guò)指定
-D hbase.mapreduce.scan.column.family=ext,info參數(shù)導(dǎo)出郑现。 - 如果另一張表沒(méi)有源表對(duì)應(yīng)的列簇將會(huì)出錯(cuò)湃崩。
