HBase分裂策略

在Hbase中split是一個(gè)很重要的功能掌桩,Hbase是通過(guò)把數(shù)據(jù)分配到一定數(shù)量的region來(lái)達(dá)到負(fù)載均衡的边锁。一個(gè)table會(huì)被分配到一個(gè)或多個(gè)region中,這些region會(huì)被分配到一個(gè)或者多個(gè)regionServer中波岛。在自動(dòng)split策略中茅坛,當(dāng)一個(gè)region達(dá)到一定的大小就會(huì)自動(dòng)split成兩個(gè)region。table在region中是按照row key來(lái)排序的,并且一個(gè)rowkey所對(duì)應(yīng)的行只會(huì)存儲(chǔ)在一個(gè)region中贡蓖,這一點(diǎn)保證了Hbase的強(qiáng)一致性 曹鸠。犧牲的是可用性,分裂的時(shí)候系統(tǒng)不可用斥铺。

預(yù)分裂

默認(rèn)一開(kāi)始的時(shí)候系統(tǒng)會(huì)只向一個(gè)RegionServer寫(xiě)數(shù)據(jù)彻桃,系統(tǒng)不值得startRow和endRow,我們可以在運(yùn)行的時(shí)候提前Split晾蜘,提高并發(fā)寫(xiě)邻眷。

UniformSplit:

會(huì)把行鍵均勻地分割多個(gè)部分,如果行將rowkey是隨機(jī)的字節(jié)數(shù)組剔交,用UniformSplit就比較合適

firstRowBytes和lastRowBytes可以設(shè)置

Bytes.split方法:

iterateOnSplit方法把a(bǔ)和b轉(zhuǎn)換為BigInteger然后平均分配數(shù)值

HexStringSplit:

以十六進(jìn)制字符串作為行鍵rowkey或者行鍵rowkey的前綴是十六進(jìn)制字符串肆饶,用HexStringSplit

HexStringSplit是把轉(zhuǎn)換為BigInteger的時(shí)候輸入的參數(shù)是16,會(huì)依據(jù)16進(jìn)制進(jìn)行轉(zhuǎn)換岖常。

UniformSplit是按照字節(jié)如果兩個(gè)自己數(shù)不相等則前補(bǔ)0驯镊,然后前面都加上1,0(1代表是整數(shù),0解析的時(shí)候會(huì)跳過(guò))

自分類(lèi)策略????

ConstantSizeRegionSplitPolicy

0.94.0版本以前默認(rèn)的分裂策略竭鞍,任何一個(gè)Store也就是列族到底閾值都會(huì)分裂

有一個(gè)Store不能分裂則不分裂 是指任何一個(gè)StoreFile被引用阿宅,否則有一個(gè)store的大小達(dá)到閾值則分裂

IncreasingToUpperBoundRegionSplitPolicy

initialSize默認(rèn)值

tableRegionsCount是有幾個(gè)Region

sizetoCheck取值:如果Region數(shù)在0-1000之間那么是initialSize*Regin數(shù)的立方

大于100是desireMaxFileSize默認(rèn)10G

DelimitedKeyPrefixRegionSplitPolicy

是IncreasingToUpperBoundRegionSplitPolicy的子類(lèi)分裂的條件和IncreasingToUpperBoundRegionSplitPolicy一樣但是尋找分裂點(diǎn)方法重寫(xiě)了

找到父類(lèi)的分裂點(diǎn)(中間點(diǎn)),只要delimiter前的作為分離點(diǎn)

KeyPrefixRegionSplitPolicy

是IncreasingToUpperBoundRegionSplitPolicy的子類(lèi)分裂的條件和IncreasingToUpperBoundRegionSplitPolicy一樣但是尋找分裂點(diǎn)方法重寫(xiě)了

支取splitPoint的前prefixLength個(gè)

prefixLength的配置方法


SteppingSplitPolicy

是IncreasingToUpperBoundRegionSplitPolicy的子類(lèi)只重寫(xiě)了getSizeToCheck


如果只有一個(gè)Region大小是initialSize默認(rèn)flushSize*2其他的都是desiredMaxFileSize默認(rèn)10G

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末笼蛛,一起剝皮案震驚了整個(gè)濱河市洒放,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌滨砍,老刑警劉巖往湿,帶你破解...
    沈念sama閱讀 218,682評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異惋戏,居然都是意外死亡领追,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)响逢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)绒窑,“玉大人,你說(shuō)我怎么就攤上這事舔亭⌒┡颍” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,083評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵钦铺,是天一觀的道長(zhǎng)订雾。 經(jīng)常有香客問(wèn)我,道長(zhǎng)矛洞,這世上最難降的妖魔是什么洼哎? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,763評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上噩峦,老公的妹妹穿的比我還像新娘锭沟。我一直安慰自己,他們只是感情好识补,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,785評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布族淮。 她就那樣靜靜地躺著,像睡著了一般李请。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上厉熟,一...
    開(kāi)封第一講書(shū)人閱讀 51,624評(píng)論 1 305
  • 那天导盅,我揣著相機(jī)與錄音,去河邊找鬼揍瑟。 笑死白翻,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的绢片。 我是一名探鬼主播滤馍,決...
    沈念sama閱讀 40,358評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼底循!你這毒婦竟也來(lái)了巢株?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,261評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤熙涤,失蹤者是張志新(化名)和其女友劉穎阁苞,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體祠挫,經(jīng)...
    沈念sama閱讀 45,722評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡那槽,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,900評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了等舔。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片骚灸。...
    茶點(diǎn)故事閱讀 40,030評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖慌植,靈堂內(nèi)的尸體忽然破棺而出甚牲,到底是詐尸還是另有隱情,我是刑警寧澤蝶柿,帶...
    沈念sama閱讀 35,737評(píng)論 5 346
  • 正文 年R本政府宣布鳖藕,位于F島的核電站,受9級(jí)特大地震影響只锭,放射性物質(zhì)發(fā)生泄漏著恩。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,360評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望喉誊。 院中可真熱鬧邀摆,春花似錦、人聲如沸伍茄。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,941評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)敷矫。三九已至例获,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間曹仗,已是汗流浹背榨汤。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,057評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留怎茫,地道東北人收壕。 一個(gè)月前我還...
    沈念sama閱讀 48,237評(píng)論 3 371
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像轨蛤,于是被迫代替她去往敵國(guó)和親蜜宪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,976評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容