HBase Region Locality

因為DataNode和RegionServer通常會部署在相同的機器上,所以會產(chǎn)生Locality這樣的概念。

HBase的Locality是通過HDFS的Block復制實現(xiàn)的旷痕。在復制Block時欺抗,HBase是這樣選擇副本的位置的:

第一個副本寫到本地節(jié)點上强重;
第二個副本寫到另一個機架的隨機節(jié)點上;
第三個副本寫到相同機架的一個隨機選擇的其他節(jié)點上报强;
如果還有更多的副本拱燃,這些副本將會寫到集群上的隨機節(jié)點上。

就是這樣召嘶,在flush或compact后弄跌,HBase的Region實現(xiàn)了Locality尝苇。

當一個RegionServer處在failover的情況下(rebalance或重啟)時,可能會分配到一些沒有本地StoreFiles的Region(因為此時沒有可用的本地副本)淳玩。然而非竿,有新數(shù)據(jù)再寫入這些Region的時候红柱,或者是對表進行compact的時候,StoreFiles將會被重寫韧骗,這些Region也會再次變成RegionServer的“l(fā)ocal”Region铁蹈。

有一個相關的指標“data locality”众眨,即Region保存在本地的StoreFile的百分比容诬。這個指標影響了major compact的執(zhí)行览徒。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末习蓬,一起剝皮案震驚了整個濱河市措嵌,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌枫慷,老刑警劉巖或听,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件誉裆,死亡現(xiàn)場離奇詭異缸濒,居然都是意外死亡,警方通過查閱死者的電腦和手機斩跌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進店門滔驶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來卿闹,“玉大人,你說我怎么就攤上這事锻霎。” “怎么了吏口?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵产徊,是天一觀的道長。 經(jīng)常有香客問我舟铜,道長谆刨,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任刁岸,我火速辦了婚禮她我,結果婚禮上,老公的妹妹穿的比我還像新娘根吁。我一直安慰自己合蔽,他們只是感情好,可當我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布沃斤。 她就那樣靜靜地躺著刃宵,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哮针。 梳的紋絲不亂的頭發(fā)上坦袍,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天,我揣著相機與錄音蛮放,去河邊找鬼包颁。 笑死,一個胖子當著我的面吹牛娩嚼,可吹牛的內容都是我干的。 我是一名探鬼主播待锈,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼竿音,長吁一口氣:“原來是場噩夢啊……” “哼拴驮!你這毒婦竟也來了?” 一聲冷哼從身側響起宽气,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤萄涯,失蹤者是張志新(化名)和其女友劉穎唆鸡,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體燃逻,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡伯襟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年握童,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片稽揭。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡英古,死狀恐怖,靈堂內的尸體忽然破棺而出膨桥,到底是詐尸還是另有隱情,我是刑警寧澤只嚣,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布册舞,位于F島的核電站蕴掏,受9級特大地震影響盛杰,放射性物質發(fā)生泄漏藐石。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一逗嫡、第九天 我趴在偏房一處隱蔽的房頂上張望驱证。 院中可真熱鬧恋腕,春花似錦抹锄、人聲如沸祈远。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至庄吼,卻和暖如春总寻,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背轰坊。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留肴沫,地道東北人。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像站蝠,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子郁副,可洞房花燭夜當晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內容

  • HBase那些事 @(大數(shù)據(jù)工程學院)[HBase, Hadoop, 優(yōu)化, HadoopChen, hbase]...
    分癡閱讀 3,944評論 3 17
  • 1. HBase介紹拔疚,Hbase是什么? HBase -- Hadoop Database 稚失,是一個高可靠、高性能...
    奉先閱讀 3,751評論 1 36
  • 原創(chuàng)文章吸占,轉載請注明原作地址:http://www.reibang.com/p/0f9578df7fbc 一. 架...
    EchoZhan閱讀 15,149評論 4 33
  • 摘自:http://debugo.com/hbase-params/ 通用和master配置hbase.rootd...
    wangliang938閱讀 2,721評論 1 5
  • Hbase架構與原理 HBase是一個分布式的矾屯、面向列的開源數(shù)據(jù)庫,該技術來源于 Fay Chang所撰寫的Goo...
    全能程序猿閱讀 86,296評論 2 37