HBase學(xué)習(xí)筆記——高表與寬表的選擇

hbase中的寬表是指很多列較少行,即列多行少的表小压,一行中的數(shù)據(jù)量較大线梗,行數(shù)少;高表是指很多行較少列怠益,即行多列少仪搔,一行中的數(shù)據(jù)量較少,行數(shù)大蜻牢。

hbase的row key是分布式的索引僻造,也是分片的依據(jù)憋他。

hbase的row key + column family + column qualifier + timestamp + value 是HFile中數(shù)據(jù)排列依據(jù)。HFile據(jù)此髓削,對(duì)數(shù)據(jù)的索引到data block級(jí)別竹挡,而不是行級(jí)別。所以這種key是HFile內(nèi)部的粗粒度(data block粒度)本地索引的主鍵立膛。

據(jù)此揪罕,在HBase中使用寬表、高表的優(yōu)劣總結(jié)如下:

查詢(xún)性能:高表更好宝泵,因?yàn)椴樵?xún)條件都在row key中, 是全局分布式索引的一部分好啰。高表一行中的數(shù)據(jù)較少。所以查詢(xún)緩存BlockCache能緩存更多的行儿奶,以行數(shù)為單位的吞吐量會(huì)更高框往。

分片能力:高表分片粒度更細(xì),各個(gè)分片的大小更均衡闯捎。因?yàn)楦弑硪恍械臄?shù)據(jù)較少椰弊,寬表一行的數(shù)據(jù)較多。HBase按行來(lái)分片瓤鼻。

元數(shù)據(jù)開(kāi)銷(xiāo):高表元數(shù)據(jù)開(kāi)銷(xiāo)更大秉版。高表行多,row key多茬祷,可能造成region數(shù)量也多清焕,- root -、 .meta表數(shù)據(jù)量更大祭犯。過(guò)大的元數(shù)據(jù)開(kāi)銷(xiāo)秸妥,可能引起HBase集群的不穩(wěn)定、master更大的負(fù)擔(dān)(這方面后續(xù)再好好總結(jié))沃粗。

事務(wù)能力:寬表事務(wù)性更好筛峭。HBase對(duì)一行的寫(xiě)入(Put)是有事務(wù)原子性的,一行的所有列要么全部寫(xiě)入成功陪每,要么全部沒(méi)有寫(xiě)入影晓。但是多行的更新之間沒(méi)有事務(wù)性保證。

數(shù)據(jù)壓縮比:如果我們對(duì)一行內(nèi)的數(shù)據(jù)進(jìn)行壓縮檩禾,寬表能獲得更高的壓縮比挂签。因?yàn)閷挶碇校恍械臄?shù)據(jù)量較大盼产,往往存在更多相似的二進(jìn)制字節(jié)饵婆,有利于提高壓縮比。通過(guò)壓縮戏售,緩解了寬表一行數(shù)據(jù)量太大侨核,并導(dǎo)致分片大小不均勻的問(wèn)題草穆。查詢(xún)時(shí),我們根據(jù)row key找到壓縮后的數(shù)據(jù)搓译,進(jìn)行解壓縮悲柱。而且解壓縮可以通過(guò)協(xié)處理器(coproesssor)在HBase服務(wù)器上做,而不是在業(yè)務(wù)應(yīng)用的服務(wù)器上做些己,以充分應(yīng)用HBase集群的CPU能力豌鸡。

設(shè)計(jì)表時(shí),可以不絕對(duì)追求高表段标、寬表涯冠,而是在兩者之間做好**平衡**。根據(jù)查詢(xún)模式逼庞,需要分布式索引蛇更、分片、**有很高選擇度**(即能據(jù)此查詢(xún)條件迅速鎖定很小范圍的一些行)的查詢(xún)用字段赛糟,應(yīng)該放入row key派任;能夠均勻地劃分?jǐn)?shù)據(jù)字節(jié)數(shù)的字段,也應(yīng)該放入row key虑灰,作為分片的依據(jù)吨瞎。選擇度較低痹兜,并且不需要作為分片依據(jù)的查詢(xún)用字段穆咐,放入column family和column qualifier,不放入row key字旭。


原文鏈接

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末对湃,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子遗淳,更是在濱河造成了極大的恐慌拍柒,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,188評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屈暗,死亡現(xiàn)場(chǎng)離奇詭異拆讯,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)养叛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)种呐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人弃甥,你說(shuō)我怎么就攤上這事爽室。” “怎么了淆攻?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,562評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵阔墩,是天一觀的道長(zhǎng)嘿架。 經(jīng)常有香客問(wèn)我,道長(zhǎng)啸箫,這世上最難降的妖魔是什么耸彪? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,893評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮筐高,結(jié)果婚禮上搜囱,老公的妹妹穿的比我還像新娘。我一直安慰自己柑土,他們只是感情好蜀肘,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著稽屏,像睡著了一般扮宠。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上狐榔,一...
    開(kāi)封第一講書(shū)人閱讀 51,708評(píng)論 1 305
  • 那天坛增,我揣著相機(jī)與錄音,去河邊找鬼薄腻。 笑死收捣,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的庵楷。 我是一名探鬼主播罢艾,決...
    沈念sama閱讀 40,430評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼尽纽!你這毒婦竟也來(lái)了咐蚯?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,342評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤弄贿,失蹤者是張志新(化名)和其女友劉穎春锋,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體差凹,經(jīng)...
    沈念sama閱讀 45,801評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡期奔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評(píng)論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了危尿。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呐萌。...
    茶點(diǎn)故事閱讀 40,115評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖脚线,靈堂內(nèi)的尸體忽然破棺而出搁胆,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評(píng)論 5 346
  • 正文 年R本政府宣布渠旁,位于F島的核電站攀例,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏顾腊。R本人自食惡果不足惜粤铭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望杂靶。 院中可真熱鬧梆惯,春花似錦、人聲如沸吗垮。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,008評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)烁登。三九已至怯屉,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間饵沧,已是汗流浹背锨络。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,135評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留狼牺,地道東北人羡儿。 一個(gè)月前我還...
    沈念sama閱讀 48,365評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像是钥,于是被迫代替她去往敵國(guó)和親掠归。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容