HBase集群運維與優(yōu)化

1、HBase安全重啟HRegionServer

bin/graceful_stop.sh   --restart   hostname

以上命令執(zhí)行的時候佛掖,HBase會把hostname下的region安全轉(zhuǎn)移到集群的其他機器中贴捡,然后再重啟,重啟完成后再遷移回來法严,達到安全重啟的目的损敷。

2、修改handler.count參數(shù)

<property>
  <name>hbase.regionserver.handler.count</name>
  <value>200</value>
  <description>Default : 10.
      Count of RPC Listener instances spun up on RegionServers.
      Same property is used by the Master for count of master handlers.
  </description>
</property>

RegionServer端開啟的RPC監(jiān)聽器實例個數(shù)深啤,也即RegionServer能夠處理的IO請求線程數(shù)拗馒。默認是10.

此參數(shù)與內(nèi)存息息相關(guān)。該值設(shè)置的時候溯街,以監(jiān)控內(nèi)存為主要參考诱桂。

對于單次請求內(nèi)存消耗較高的Big PUT場景(大容量單次PUT或設(shè)置了較大cache的scan,均屬于Big PUT)或ReigonServer的內(nèi)存比較緊張的場景呈昔,可以設(shè)置的相對較小挥等。

對于單次請求內(nèi)存消耗低,TPS(TransactionPerSecond堤尾,每秒事務(wù)處理量)要求非常高的場景触菜,可以設(shè)置的相對大些,通常都調(diào)到100~200之間哀峻,提高regionserver性能涡相。

3、HBase0.94遷移數(shù)據(jù)到HBase1.0的過程

(1)從hbase0.94導(dǎo)出指定表的數(shù)據(jù)到hdfs中

 hbase org.apache.hadoop.hbase.mapreduce.Export adt_device_click_compaign /data/yann/data

注意: export 目錄不能存在

(2)把導(dǎo)出的文件拷貝到HBase1.0所在的hdfs目錄

可以通過打包后get/put的方式剩蟀,但是推薦使用集群之間的拷貝工具distcp

hadoop-2.6.0-cdh5.5.0/bin/hadoop distcp  -D mapreduce.job.queuename=default -update -skipcrccheck hftp://hostname:50070/data/output/*   hdfs://hdfs/data/output/

(3)在 hbase1.0 下創(chuàng)建對應(yīng)的表后催蝗,執(zhí)行以下命令進行導(dǎo)入

hbase -Dhbase.import.version=0.94 org.apache.hadoop.hbase.mapreduce.Import adt_device_click_compaign /data/yann/data

這里要注意一點是,-Dhbase.import.version參數(shù)的值是寫遷出的hbase版本

4育特、HBase的hbck工具

hbase hbck [opts] {only tables}

(1) opts通用可選項

-help 展示help信息丙号;
-detail 展示所有Region的詳情先朦;
-timelag <秒級時間>  處理在過去的指定時間內(nèi)沒有發(fā)生過元數(shù)據(jù)更新的region;
-sleepBeforeRerun <秒級時間>  在執(zhí)行-fix指令后時睡眠指定的時間后再檢查fix是否生效犬缨;
-summary 只打印表和狀態(tài)的概要信息喳魏;
-metaonly 只檢查hbase:meta表的狀態(tài);
-sidelineDir <hdfs://> 備份當(dāng)前的元數(shù)據(jù)到HDFS上怀薛;
-boundaries  校驗META表和StoreFiles的Region邊界是否一致刺彩;

(2) 元數(shù)據(jù)修復(fù)選項

在不確定的情況下,慎用以下指令枝恋。

-fix 嘗試修復(fù)Region的分配创倔,通常用于向后兼容;
-fixAssignments 嘗試修復(fù)Region的分配焚碌,用來替換-fix指令畦攘;
-fixMeta  嘗試修復(fù)元數(shù)據(jù)問題;這里假設(shè)HDFS上的region信息是正確的十电;
-noHdfsChecking  不從HDFS加載/檢查Region信息知押;這里假設(shè)hbase:meta表中的Region信息是正確的,不會在檢查或修復(fù)任何HDFS相關(guān)的問題鹃骂,如黑洞(hole)台盯、孤島(orphan)或是重疊(overlap);
-fixHdfsHoles  嘗試修復(fù)HDFS中的Region黑洞偎漫;
-fixHdfsOrphans  嘗試修復(fù)hdfs中沒有.regioninfo文件的region目錄爷恳;
-fixTableOrphans  嘗試修復(fù)hdfs中沒有.tableinfo文件的table目錄(只支持在線模式)有缆;
-fixHdfsOverlaps  嘗試修復(fù)hdfs中region重疊的現(xiàn)象象踊;
-fixVersionFile  嘗試修復(fù)hdfs中hbase.version文件缺失的問題;
-maxMerge <n>  在修復(fù)region重疊的現(xiàn)時棚壁,允許merge最多<n>個region(默認n等于5)杯矩;
-sidelineBigOverlaps  在修復(fù)region重疊問題時,允許暫時擱置重疊量較大的部分袖外;
-maxOverlapsToSideline <n>  在修復(fù)region重疊問題時史隆,允許一組里暫時擱置最多n個region不處理(默認n等于2);
-fixSplitParents 嘗試強制將下線的split parents上線曼验;
-ignorePreCheckPermission  在執(zhí)行檢查時忽略文件系統(tǒng)權(quán)限泌射;
-fixReferencesFiles 嘗試下線引用斷開(lingering reference)的StoreFile;
-fixEmptyMetaCells  嘗試修復(fù)hbase:meta表中沒有引用到任何region的entry(REGIONINFO_QUALIFIER為空的行)鬓照。

(3) Datafile修復(fù)選項

專業(yè)命令熔酷,慎用。

-checkCorruptHFiles  檢查所有HFile--通過逐一打開所有的HFile來確定其是否可用豺裆;
-sidelineCorruptHFiles  隔離損壞的HFile拒秘。該指令中包含-checkCorruptHFiles操作。

(4) Meta修復(fù)快捷指令

-repair  是以下指令的簡寫:-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps -fixReferenceFiles -fixTableLocks -fixOrphanedTableZnodes;

-repairHoles  是以下指令的簡寫:-fixAssignments -fixMeta -fixHdfsHoles躺酒。

(5) Table lock選項

-fixTableLocks 刪除已持有超過很長時間的table lock((hbase.table.lock.expire.ms配置項押蚤,默認值為10分鐘)。

(6) Table Znode選項

-fixOrphanedTableZnodes  如果表不存在羹应,則將其在zookeeper中ZNode狀態(tài)設(shè)置為disabled揽碘。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市量愧,隨后出現(xiàn)的幾起案子钾菊,更是在濱河造成了極大的恐慌,老刑警劉巖偎肃,帶你破解...
    沈念sama閱讀 216,651評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件煞烫,死亡現(xiàn)場離奇詭異,居然都是意外死亡累颂,警方通過查閱死者的電腦和手機滞详,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來紊馏,“玉大人料饥,你說我怎么就攤上這事≈旒啵” “怎么了岸啡?”我有些...
    開封第一講書人閱讀 162,931評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長赫编。 經(jīng)常有香客問我巡蘸,道長,這世上最難降的妖魔是什么擂送? 我笑而不...
    開封第一講書人閱讀 58,218評論 1 292
  • 正文 為了忘掉前任悦荒,我火速辦了婚禮,結(jié)果婚禮上嘹吨,老公的妹妹穿的比我還像新娘搬味。我一直安慰自己,他們只是感情好蟀拷,可當(dāng)我...
    茶點故事閱讀 67,234評論 6 388
  • 文/花漫 我一把揭開白布碰纬。 她就那樣靜靜地躺著,像睡著了一般问芬。 火紅的嫁衣襯著肌膚如雪悦析。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,198評論 1 299
  • 那天愈诚,我揣著相機與錄音她按,去河邊找鬼牛隅。 笑死,一個胖子當(dāng)著我的面吹牛酌泰,可吹牛的內(nèi)容都是我干的媒佣。 我是一名探鬼主播,決...
    沈念sama閱讀 40,084評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼陵刹,長吁一口氣:“原來是場噩夢啊……” “哼默伍!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起衰琐,我...
    開封第一講書人閱讀 38,926評論 0 274
  • 序言:老撾萬榮一對情侶失蹤也糊,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后羡宙,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體狸剃,經(jīng)...
    沈念sama閱讀 45,341評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,563評論 2 333
  • 正文 我和宋清朗相戀三年狗热,在試婚紗的時候發(fā)現(xiàn)自己被綠了钞馁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,731評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡匿刮,死狀恐怖僧凰,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情熟丸,我是刑警寧澤训措,帶...
    沈念sama閱讀 35,430評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站光羞,受9級特大地震影響绩鸣,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜狞山,卻給世界環(huán)境...
    茶點故事閱讀 41,036評論 3 326
  • 文/蒙蒙 一全闷、第九天 我趴在偏房一處隱蔽的房頂上張望叉寂。 院中可真熱鬧萍启,春花似錦、人聲如沸屏鳍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽钓瞭。三九已至驳遵,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間山涡,已是汗流浹背堤结。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評論 1 269
  • 我被黑心中介騙來泰國打工唆迁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人竞穷。 一個月前我還...
    沈念sama閱讀 47,743評論 2 368
  • 正文 我出身青樓唐责,卻偏偏與公主長得像,于是被迫代替她去往敵國和親瘾带。 傳聞我的和親對象是個殘疾皇子鼠哥,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,629評論 2 354

推薦閱讀更多精彩內(nèi)容