HBase的應(yīng)用關(guān)鍵點(diǎn)

表創(chuàng)建

HBase的表創(chuàng)建可以通過hbase shellJava API。另外如果需要對(duì)列簇進(jìn)行修改的時(shí)候荸型,需要先去disable表盹靴。
通過Java API修改列簇例如

Configuration config = HBaseConfiguration.create();
Admin admin = new Admin(conf);
TableName table = TableName.valueOf("myTable");

admin.disableTable(table);

HColumnDescriptor cf1 = ...;
admin.addColumn(table, cf1);      // adding new ColumnFamily
HColumnDescriptor cf2 = ...;
admin.modifyColumn(table, cf2);    // modifying existing ColumnFamily

admin.enableTable(table);

表設(shè)計(jì)關(guān)鍵點(diǎn)

因?yàn)閿?shù)據(jù)集千差萬別,有很多不同的期望瑞妇,所以根據(jù)官網(wǎng)的這些經(jīng)驗(yàn)只是作為一個(gè)參考稿静。

  • 每個(gè)region的size保持在10--50G
  • 每個(gè)cell最好不要超過10MB,如果使用HBaseMob辕狰,不要超過50MB改备。否則,直接存儲(chǔ)數(shù)據(jù)到HDFS上蔓倍,然后存儲(chǔ)一個(gè)指標(biāo)索引到HBase中悬钳。
  • 一個(gè)典型的表設(shè)計(jì)在1--3個(gè)列簇盐捷。
  • 一張表中region數(shù)量最好在50--100個(gè),一個(gè)region上存儲(chǔ)的是列簇?cái)?shù)據(jù)的連續(xù)段默勾。
  • 保證列簇的名字盡可能的短碉渡,列簇名在每個(gè)value中都有存儲(chǔ),不要認(rèn)為它類似于RDBMS表中的列名一樣母剥,具備解釋說明的含義滞诺。
  • 如果說rowkey的設(shè)計(jì)是基于時(shí)間線或者日志信息來設(shè)計(jì)的,對(duì)表操作的讀寫环疼,基本會(huì)落在新region上铭段,較舊的數(shù)據(jù)不會(huì)進(jìn)行太多讀寫操作,這時(shí)候可以允許多region的存儲(chǔ)秦爆。
  • 如果只有一個(gè)列簇有比較大規(guī)模的寫入請(qǐng)求序愚,且只有寫入請(qǐng)求占用內(nèi)存,這時(shí)候可以調(diào)配內(nèi)存資源在寫入模式上等限。

RegionServer的設(shè)計(jì)關(guān)鍵點(diǎn)

Personally I would place the maximum disk space per machine that can be served exclusively with HBase around 6T, unless you have a very read-heavy workload. In that case the Java heap should be 32GB (20G regions, 128M memstores, the rest defaults).
— Lars Hofhansl

從這段指導(dǎo)原則來看爸吮,我們?cè)诖罱℉Base集群的時(shí)候,盡可能的使用大機(jī)器來做regionserver望门。對(duì)于寫操作而言形娇,每個(gè)region 20G大小,可以設(shè)置128M的memstores筹误。

列簇的設(shè)計(jì)

對(duì)于列簇而言桐早,設(shè)計(jì)原則是盡可能的少,如果是有兩個(gè)列簇厨剪,盡可能的保證數(shù)量size一致哄酝。因?yàn)槿绻粋€(gè)列簇A行有100萬,列簇B行有10億祷膳。這時(shí)候因?yàn)榱写谹分配在多個(gè)region上陶衅,會(huì)導(dǎo)致其scan的效率過低。

rowkey的設(shè)計(jì)

rowkey的設(shè)計(jì)關(guān)鍵點(diǎn)就是防止熱點(diǎn)數(shù)據(jù)的產(chǎn)生直晨,也就防止把數(shù)據(jù)都集中在少數(shù)的region上搀军,導(dǎo)致讀寫效率的問題。要設(shè)計(jì)一個(gè)好的rowkey勇皇,就需要給rowkey進(jìn)行Salting罩句,通用的方式就是使用散列算法添加前綴。例如:

a-foo0003
b-foo0001
c-foo0003
c-foo0004
d-foo0002

關(guān)于rowkey的設(shè)計(jì)還有很多需要注意的地方敛摘,在此不做展開討論门烂。

版本的設(shè)計(jì)

不建議將最大版本數(shù)設(shè)置為過高的水平(例如,數(shù)百個(gè)或更多)着撩,除非非常需要那些舊值诅福,因?yàn)檫@會(huì)大大增加StoreFile的大小。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末拖叙,一起剝皮案震驚了整個(gè)濱河市氓润,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌薯鳍,老刑警劉巖咖气,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異挖滤,居然都是意外死亡崩溪,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門斩松,熙熙樓的掌柜王于貴愁眉苦臉地迎上來伶唯,“玉大人,你說我怎么就攤上這事惧盹∪樾遥” “怎么了?”我有些...
    開封第一講書人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵钧椰,是天一觀的道長(zhǎng)粹断。 經(jīng)常有香客問我,道長(zhǎng)嫡霞,這世上最難降的妖魔是什么瓶埋? 我笑而不...
    開封第一講書人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮诊沪,結(jié)果婚禮上养筒,老公的妹妹穿的比我還像新娘。我一直安慰自己端姚,他們只是感情好闽颇,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著寄锐,像睡著了一般兵多。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上橄仆,一...
    開封第一講書人閱讀 49,829評(píng)論 1 290
  • 那天剩膘,我揣著相機(jī)與錄音,去河邊找鬼盆顾。 笑死怠褐,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的您宪。 我是一名探鬼主播奈懒,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼奠涌,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了磷杏?” 一聲冷哼從身側(cè)響起溜畅,我...
    開封第一講書人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎极祸,沒想到半個(gè)月后慈格,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡遥金,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年浴捆,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片稿械。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡选泻,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出美莫,到底是詐尸還是另有隱情滔金,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布茂嗓,位于F島的核電站餐茵,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏述吸。R本人自食惡果不足惜忿族,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蝌矛。 院中可真熱鬧道批,春花似錦、人聲如沸入撒。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽茅逮。三九已至璃赡,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間献雅,已是汗流浹背碉考。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留挺身,地道東北人侯谁。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親墙贱。 傳聞我的和親對(duì)象是個(gè)殘疾皇子热芹,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容