1谎柄、概述

HBase的存儲結構和關系型數(shù)據(jù)庫不一樣阻星，HBase面向半結構化數(shù)據(jù)進行存儲朋鞍。所以，對于結構化的SQL語言查詢妥箕，HBase自身并沒有接口支持滥酥。在大數(shù)據(jù)應用中，雖然也有SQL查詢引擎可以查詢HBase畦幢，比如Phoenix坎吻、Drill這類。但是閱讀這類SQL查詢引擎的底層實現(xiàn)宇葱，依然是調(diào)用了HBase的Java API來實現(xiàn)查詢瘦真，寫入等操作。這類查詢引擎在業(yè)務層創(chuàng)建Schema來映射HBase表結構黍瞧，然后通過解析SQL語法數(shù)吗氏，最后底層在調(diào)用HBase的Java API實現(xiàn)。
本篇內(nèi)容筆者并不是給大家來介紹HBase的SQL引擎雷逆，我們來關注HBase更低層的東西，那就是HBase的存儲實現(xiàn)污尉。以及跨集群的HBase集群數(shù)據(jù)遷移膀哲。

2往产、內(nèi)容

HBase數(shù)據(jù)庫是唯一索引就是RowKey，所有的數(shù)據(jù)分布和查詢均依賴RowKey某宪。所以仿村，HBase數(shù)據(jù)庫在表的設計上會有很嚴格的要求，從存儲架構上來看兴喂，HBase是基于分布式來實現(xiàn)的蔼囊，通過Zookeeper集群來管理HBase元數(shù)據(jù)信息，比如表名就存放在Zookeeper的/hbase/table目錄下衣迷。如下圖所示

Architecture
HBase是一個分布式存儲系統(tǒng)畏鼓，底層數(shù)據(jù)存儲依賴Hadoop的分布式存儲系統(tǒng)(HDFS)。HBase架構分三部分來組成壶谒，它們分別是：ZooKeeper云矫、HMaster和HRegionServer。

ZooKeeper
HBase的元數(shù)據(jù)信息汗菜、HMaster進程的地址让禀、Master和RegionServer的監(jiān)控維護（節(jié)點之間的心跳，判斷節(jié)點是否下線）等內(nèi)容均需要依賴ZooKeeper來完成陨界。是HBase集群中不可缺少的核心之一巡揍。

HMaster
HMaster進程在HBase中承擔Master的責任，負責一些管理操作菌瘪，比如給表分配Region腮敌、和數(shù)據(jù)節(jié)點的心跳維持等。一般客戶端的讀寫數(shù)據(jù)的請求操作不會經(jīng)過Master麻车，所以在分配JVM內(nèi)存的適合缀皱，一般32GB大小即可。

HRegionServer
HRegionServer進程在HBase中承擔RegionServer的責任动猬，負責數(shù)據(jù)的存儲啤斗。每個RegionServer由多個Region組成，一個Region維護一定區(qū)間的RowKey的數(shù)據(jù)赁咙。如下圖所示

圖中Region(dn2:16030)維護的RowKey范圍為0001～0002钮莲。

HBase為了保證高可用性(HA)，一般都會部署兩個Master節(jié)點彼水，其中一個作為主崔拥，另一個作為Backup節(jié)點。這里誰是主凤覆，誰是Backup取決于那個HMaster進程能從Zookeeper上對應的Master目錄中競爭到Lock链瓦，持有該目錄Lock的HMaster進程為主Master，而另外一個為Backup，當主Master發(fā)生意外或者宕機時慈俯，Backup的Master會立刻競爭到Master目錄下的Lock從而接管服務渤刃，成為主Master對外提供服務，保證HBase集群的高可用性贴膘。

RegionServer
HBase負責數(shù)據(jù)存儲的就是RegionServer卖子，簡稱RS。在HBase集群中刑峡，如果只有一份副本時洋闽，整個HBase集群中的數(shù)據(jù)都是唯一的，沒有冗余的數(shù)據(jù)存在突梦，也就是說HBase集群中的每個RegionServer節(jié)點上保存的數(shù)據(jù)都是不一樣的诫舅，這種模式由于副本數(shù)只有一份，即是配置多個RegionServer組成集群阳似，也并不是高可用的骚勘。這樣的RegionServer是存在單點問題的。雖然撮奏，HBase集群內(nèi)部數(shù)據(jù)有Region存儲和Region遷移機制俏讹，RegionServer服務的單點問題可能花費很小的代價可以恢復，但是一旦停止RegionServre上含有ROOT或者META表的Region畜吊，那這個問題就嚴重泽疆，由于數(shù)據(jù)節(jié)點RegionServer停止，該節(jié)點的數(shù)據(jù)將在短期內(nèi)無法訪問玲献，需要等待該節(jié)點的HRegionServer進程重新啟動才能訪問其數(shù)據(jù)殉疼。這樣HBase的數(shù)據(jù)讀寫請求如果恰好指向該節(jié)點將會收到影響，比如：拋出連接異常捌年、RegionServer不可用等異常瓢娜。

3、日志信息

HBase在實現(xiàn)WAL方式時會產(chǎn)生日志信息礼预，即HLog眠砾。每一個RegionServer節(jié)點上都有一個HLog，所有該RegionServer節(jié)點上的Region寫入數(shù)據(jù)均會被記錄到該HLog中托酸。HLog的主要職責就是當遇到RegionServer異常時褒颈，能夠盡量的恢復數(shù)據(jù)。

在HBase運行的過程當中励堡，HLog的容量會隨著數(shù)據(jù)的寫入越來越大谷丸，HBase會通過HLog過期策略來進行定期清理HLog，每個RegionServer內(nèi)部均有一個HLog的監(jiān)控線程应结。HLog數(shù)據(jù)從MemStore Flush到底層存儲(HDFS)上后刨疼，說明該時間段的HLog已經(jīng)不需要了，就會被移到“oldlogs”這個目錄中，HLog監(jiān)控線程監(jiān)控該目錄下的HLog揩慕，當該文件夾中的HLog達到“hbase.master.logcleaner.ttl”(單位是毫秒)屬性所配置的閥值后游两，監(jiān)控線程會立即刪除過期的HLog數(shù)據(jù)。

4漩绵、數(shù)據(jù)存儲

HBase通過MemStore來緩存Region數(shù)據(jù)，大小可以通過“hbase.hregion.memstore.flush.size”(單位byte)屬性來進行設置肛炮。RegionServer在寫完HLog后止吐，數(shù)據(jù)會接著寫入到Region的MemStore。由于MemStore的存在侨糟，HBase的數(shù)據(jù)寫入并非是同步的碍扔，不需要立刻響應客戶端。由于是異步操作秕重，具有高性能和高資源利用率等優(yōu)秀的特性不同。數(shù)據(jù)在寫入到MemStore中的數(shù)據(jù)后都是預先按照RowKey的值來進行排序的，這樣便于查詢的時候查找數(shù)據(jù)溶耘。

5二拐、Region分割

在HBase存儲中，通過把數(shù)據(jù)分配到一定數(shù)量的Region來達到負載均衡凳兵。一個HBase表會被分配到一個或者多個Region百新，這些Region會被分配到一個或者多個RegionServer中。在自動分割策略中庐扫，當一個Region中的數(shù)據(jù)量達到閥值就會被自動分割成兩個Region饭望。HBase的表中的Region按照RowKey來進行排序，并且一個RowKey所對應的Region只有一個形庭，保證了HBase的一致性铅辞。
一個Region中由一個或者多個Store組成，每個Store對應一個列族萨醒。一個Store中包含一個MemStore和多個Store Files斟珊，每個列族是分開存放以及分開訪問的。自動分割有三種策略验靡，分別是

ConstantSizeRegionSplitPolicy
在HBase-0.94版本之前是默認和唯一的分割策略倍宾。當某一個Store的大小超過閥值時（hbase.hregion.max.filesize，默認時10G）胜嗓，Region會自動分割高职。

IncreasingToUpperBoundRegionSplitPolicy
在HBase-0.94中，這個策略分割大小和表的RegionServer中的Region有關系辞州。分割計算公式為：Min(RR'hbase.hregion.memstore.flush.size','hbase.hregion.max.filesize')怔锌，其中，R表示RegionServer中的Region數(shù)。
比如：hbase.hregion.memstore.flush.size=256MB埃元，hbase.hregion.max.filesize=20GB涝涤，那么第一次分割的大小為Min(11256,20GB)=256MB，也就是在第一次大到256MB會分割成2個Region岛杀，后續(xù)以此公式類推計算阔拳。

KeyPrefixRegionSplitPolicy
可以保證相同前綴的RowKey存放在同一個Region中，可以通過hbase.regionserver.region.split.policy屬性來指定分割策略类嗤。

6糊肠、磁盤合理規(guī)劃

部署HBase集群時，磁盤和內(nèi)存的規(guī)劃是有計算公式的遗锣。隨意分配可能造成集群資源利用率不高導致存在浪費的情況货裹。公式如下：

#通過磁盤維度的Region數(shù)和Java Heap維度的Region數(shù)來推導 
Disk Size/(RegionSize*ReplicationFactor)=Java Heap*HeapFractionForMemstore/(MemstoreSize/2)

公式中對應的hbase-site.xml文件中的屬性中，見下表

在實際使用中，MemstoreSize空間打下只使用了一半(1/2)的容量笔咽。 舉個例子搔预，一個RegionServer的副本數(shù)配置為3，RegionSize為10G拓轻，HBase的JVM內(nèi)存分配45G斯撮，HBase的MemstoreSize為128M，那此時根據(jù)公式計算得出理想的磁盤容量為45G10240.4210G10243/128M=8.5T左右磁盤空間扶叉。如果此時勿锅，分配一個節(jié)點中掛載10個可用盤，共27T枣氧。那將有兩倍的磁盤空間不匹配造成浪費溢十。 為了提升磁盤匹配度，可以將RegionSize值提升至30G达吞，磁盤空間計算得出25.5T张弛，基本和27T磁盤容量匹配。

7酪劫、數(shù)據(jù)遷移

對HBase集群做跨集群數(shù)據(jù)遷移時吞鸭，可以使用Distcp方案來進行遷移。該方案需要依賴MapReduce任務來完成覆糟，所以在執(zhí)行遷移命令之前確保新集群的ResourceManager刻剥、NodeManager進程已啟動。同時滩字，為了查看遷移進度造虏，推薦開啟proxyserver進程和historyserver進程御吞，開啟這2個進程可以方便在ResourceManager業(yè)務查看MapReduce任務進行的進度。 遷移的步驟并不復雜漓藕，在新集群中執(zhí)行distcp命令即可陶珠。具體操作命令如下所示

# 在新集群的NameNode節(jié)點執(zhí)行命令
[hadoop@nna ~]$ hadoop distcp \
-Dmapreduce.job.queue.name=queue_0001_01 \
-update -skipcrccheck \
-m 100 hdfs://old_hbase:9000/hbase/data/tabname /hbase/data/tabname

為了遷移方便，可以將上述命令封裝成一個Shell腳本享钞。具體實現(xiàn)如下所示

#! /bin/bash
for i in `cat /home/hadoop/hbase/tbl`
do
echo $i
hadoop distcp -Dmapreduce.job.queue.name=queue_0001_01 -update -skipcrccheck -m 100 hdfs://old_hbase:9000/hbase/data/$i /hbase/data/$i
done
hbase hbck -repairHoles

將待遷移的表名記錄在/home/hadoop/hbase/tbl文件中揍诽，一行代表一個表。內(nèi)容如下所示：

[hadoop@nna ~]$ vi /home/hadoop/hbase/tbl
# 表名列表
tbl1
tbl2
tbl3
tbl4

最后栗竖，在循環(huán)迭代遷移完成后寝姿，執(zhí)行HBase命令“hbase hbck -repairHoles”來修復HBase表的元數(shù)據(jù)，如表名划滋、表結構等內(nèi)容，會從新注冊到新集群的Zookeeper中埃篓。

修復HBase表的元數(shù)據(jù)

[hadoop@nna ~]$ hbase hbck -repairHoles

8处坪、總結

HBase集群中如果RegionServer上的Region數(shù)量很大，可以適當調(diào)整“hbase.hregion.max.filesize”屬性值的大小架专，來減少Region分割的次數(shù)同窘。在執(zhí)行HBase跨集群數(shù)據(jù)遷移時，使用Distcp方案來進行部脚，需要保證HBase集群中的表是靜態(tài)數(shù)據(jù)想邦，換言之，需要停止業(yè)務表的寫入委刘。如果在執(zhí)行HBase表中數(shù)據(jù)遷移時丧没，表持續(xù)有數(shù)據(jù)寫入，導致遷移異常锡移，拋出某些文件找不到。