hbase-region個數(shù)

hbase-region數(shù)量

單個regionserver配置region個數(shù)的兩種方案:
根據(jù)官方推薦配置(硬盤容量)孤澎;根據(jù)內存配置

一:官方推薦配置(硬盤容量):

官方文檔給出的推薦:
regionserver上的region個數(shù)范圍在20~200簸州;每個region的大小在10G~30G之間跨嘉,比較符合實際抗悍。
配置:
regionSize的大小配置:hbase.hregion.max.filesize
單臺regionserver上的數(shù)據(jù)量=hbase.hregion.max.filesize*region個數(shù)*3

如果一臺RegionServer存儲12T數(shù)據(jù),那按照單Region為10G計算脸狸,就會分裂出400個Region最仑,很顯然不合理。此時就需要調整參數(shù)hbase.hregion.max.filesize炊甲,將此值適度調大泥彤,調整為20G或者30G。而實際上當下單臺物理機所能配置的硬盤越來越大卿啡,比如36T已經(jīng)很普遍吟吝,如果想把所有容量都用來存儲數(shù)據(jù),依然假設一臺RegionServer上分布100個Region颈娜,那么每個Region的 大小將會達到可怕的120G剑逃,一旦執(zhí)行Compaction將會是一個災難。
然而隨著硬件成本的不斷下降揭鳞,單臺RegionServer可以輕松配置40T+的硬盤容量炕贵,如果按照上述說法梆奈,越來越多的硬盤其實只是’鏡中月野崇,水中花’。社區(qū)也意識到了這樣的問題亩钟,在當前Region的概念下提出了Sub-Region的概念乓梨,可以簡單理解為將當前的Region切分為很多邏輯上小的Sub-Region鳖轰。Region還是以前的Region,只是所有之前以Region為單位進行的Compaction將會以更小的Sub-Region粒度執(zhí)行扶镀。這樣蕴侣,單Region就可以配置的很大,比如50G臭觉、100G昆雀,此時單臺RegionServer上也就可以存儲更多的數(shù)據(jù)

二:根據(jù)內存配置(hbase.regionserver.global.memstore.upperLimit)

hregionserver1對應n個region
單個region對應N個memstore及n個store
單個store對應N個storeFile(Hfile)及1個列簇
那么計算region個數(shù):((RS memory) * (total memstore fraction)) / ((memstore size)*(# column families))
實際測試大于這個計算結果的一兩倍也可以。

以上為參考性結果蝠筑。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末狞膘,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子什乙,更是在濱河造成了極大的恐慌挽封,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件臣镣,死亡現(xiàn)場離奇詭異辅愿,居然都是意外死亡,警方通過查閱死者的電腦和手機忆某,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門点待,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人弃舒,你說我怎么就攤上這事亦鳞。” “怎么了棒坏?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵燕差,是天一觀的道長。 經(jīng)常有香客問我坝冕,道長徒探,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任喂窟,我火速辦了婚禮测暗,結果婚禮上,老公的妹妹穿的比我還像新娘磨澡。我一直安慰自己碗啄,他們只是感情好,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布稳摄。 她就那樣靜靜地躺著稚字,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上胆描,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天瘫想,我揣著相機與錄音,去河邊找鬼昌讲。 笑死国夜,一個胖子當著我的面吹牛,可吹牛的內容都是我干的短绸。 我是一名探鬼主播车吹,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼醋闭!你這毒婦竟也來了礼搁?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤目尖,失蹤者是張志新(化名)和其女友劉穎馒吴,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體瑟曲,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡饮戳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了洞拨。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扯罐。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖烦衣,靈堂內的尸體忽然破棺而出歹河,到底是詐尸還是另有隱情,我是刑警寧澤花吟,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布秸歧,位于F島的核電站,受9級特大地震影響衅澈,放射性物質發(fā)生泄漏键菱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一今布、第九天 我趴在偏房一處隱蔽的房頂上張望经备。 院中可真熱鬧,春花似錦部默、人聲如沸侵蒙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽纷闺。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間急但,已是汗流浹背澎媒。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工搞乏, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留波桩,地道東北人。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓请敦,卻偏偏與公主長得像镐躲,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子侍筛,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內容