Hbase rowkey設(shè)計(jì)

hbase的rowkey設(shè)計(jì)決定了數(shù)據(jù)的分區(qū)和查詢的方式养篓,是使用hbase前一定要想清楚的烂完,以下簡(jiǎn)單列舉了設(shè)計(jì)hbase rowkey時(shí)需要考慮的問(wèn)題

1. rowkey是唯一的嗎?

rowkey相同的記錄在hbase里被認(rèn)為是同一條數(shù)據(jù)的多個(gè)版本茄菊,查詢時(shí)默認(rèn)返回最新版本的數(shù)據(jù)疯潭,所以通常rowkey都需要保證唯一,除非用到多版本特性

最佳設(shè)計(jì)實(shí)踐:

rowkey就好比數(shù)據(jù)庫(kù)的里的主鍵面殖,他唯一確定了一條記錄竖哩,它可以是一個(gè)字段也可以是多個(gè)字段拼接起來(lái):

每個(gè)用戶只有一條記錄: [userid]

每個(gè)用戶有多條交易記錄:[userid][orderid]

2. 滿足查詢場(chǎng)景嗎?

rowkey的設(shè)計(jì)限制了數(shù)據(jù)的查詢方式脊僚,hbase只有兩種查詢方式:

1. 根據(jù)完整的rowkey查詢(get)

類似傳統(tǒng)DB的sql:

select * from table where rowkey = ‘a(chǎn)bcde’

這種查詢方式需要知道完整的rowkey相叁,即組成rowkey的所有字段的值都是確定的

2. 根據(jù)rowkey的范圍查詢(scan):

類似傳統(tǒng)DB的sql:

select * from table where ‘a(chǎn)bc’ < rowkey <’abcx’

這種查詢方式需要知道數(shù)據(jù)rowkey左邊的值,就好像一本英文字典辽幌,你可以查詢pre開(kāi)頭的所有單詞增淹,也可以查詢prefi開(kāi)頭的所有單詞,但是沒(méi)辦法查詢中間是efi或結(jié)尾是ix的所有單詞乌企,除非翻閱整個(gè)字典

最佳設(shè)計(jì)實(shí)踐:

在有限的查詢方式下如何實(shí)現(xiàn)復(fù)雜查詢:

1.再建另外一張表作為索引表虑润,應(yīng)用雙寫

2.使用filter,在服務(wù)端過(guò)濾掉不需要的數(shù)據(jù)

3.使用二級(jí)索引

4.如何實(shí)現(xiàn)倒序(新的數(shù)據(jù)排在前面加酵,如:order by orderTime desc):

? 使用反向scan:scan.setReverse(true)

? #反向scan的性能比正常scan要差拳喻,如果倒序的場(chǎng)景占大頭可以設(shè)計(jì)上就把數(shù)據(jù)倒序:

? [hostname][log-event][timestamp]? => [hostname][log-event][Long.MAX_VALUE – timestamp]

3. 數(shù)據(jù)足夠分散,會(huì)產(chǎn)生熱點(diǎn)嗎猪腕?

散列的目的是數(shù)據(jù)可以分散到不同的分區(qū)冗澈,不至于產(chǎn)生熱點(diǎn),把某一臺(tái)服務(wù)器累死码撰,其他服務(wù)器閑置渗柿,充分發(fā)揮分布式和并發(fā)的優(yōu)勢(shì)

最佳設(shè)計(jì)實(shí)踐:

1.md5

? [userId][orderid]? =>? [md5(userid).subStr(0,4)][userId][orderid]

2.反轉(zhuǎn)

? [userId][orderid] => [reverse(userid)][orderid]

3.取模

? [timestamp][hostname][log-event]? => [bucket][timestamp][hostname][log-event]

? long bucket = timestamp % numBuckets;

4.增加隨機(jī)數(shù)

? [userId][orderid] => [userId][orderid][random(100)]

4. rowkey可以再短點(diǎn)嗎?

短的rowkey可以減少數(shù)據(jù)量 ,提高查詢寫入性能

最佳設(shè)計(jì)實(shí)踐:

1. 使用long或int型代替String

? 如: '2015122410' => Long(2015122410)

2. 使用編碼代替名稱

? 如:’淘寶‘ => tb

5. scan時(shí)會(huì)不會(huì)查詢出不需要的數(shù)據(jù)?

假設(shè)有以下場(chǎng)景:

table1的rowkey是: colume1+ colume2+ colume3

現(xiàn)在需要查詢colume1= host1 的所有數(shù)據(jù):

scan 'table1',{startkey=> 'host1',endkey=> 'host2'}

此時(shí)如果有一條記錄colume1=host12朵栖,這條記錄也會(huì)被查詢出來(lái):因?yàn)?

'host1' < 'host12' < 'host2'

但顯然這條記錄不是我們想要的

最佳設(shè)計(jì)實(shí)踐:

1. 字段定長(zhǎng)

? [colume1][colume2] => [rpad(colume1,'x',20)][colume2]

2. 添加分隔符

? [colume1][colume2] => [colume1][_][colume2]

常見(jiàn)設(shè)計(jì)實(shí)例:

日志類颊亮、時(shí)間序列數(shù)據(jù)

查詢場(chǎng)景:

1.查詢某臺(tái)機(jī)器某個(gè)指標(biāo)某段時(shí)間內(nèi)的數(shù)據(jù)

[hostname][log-event][timestamp]

2.查詢某臺(tái)機(jī)器某個(gè)指標(biāo)最新的幾條數(shù)據(jù)

timestamp = Long.MAX_VALUE – timestamp

[hostname][log-event][timestamp]

3.數(shù)據(jù)只有時(shí)間一個(gè)維度或某一個(gè)維度數(shù)據(jù)量特別大

long bucket = timestamp % numBuckets;

[bucket][timestamp][hostname][log-event]

交易類數(shù)據(jù)

查詢場(chǎng)景:

1.查詢某個(gè)賣家某段時(shí)間內(nèi)的交易記錄

[seller id][timestmap][order number]

2.查詢某個(gè)買家某段時(shí)間內(nèi)的交易記錄

[buyer id][timestmap][order number]

3.根據(jù)訂單號(hào)查詢

[order number]

4.同時(shí)滿足1,2陨溅,3

三張表:

一張買家維度表终惑,rowkey為:

[buyer id][timestmap][order number]

一張賣家維度表,rowkey為:

[seller id][timestmap][order number]

一張訂單索引表门扇,rowkey為:

[order number]

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末雹有,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子臼寄,更是在濱河造成了極大的恐慌霸奕,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件吉拳,死亡現(xiàn)場(chǎng)離奇詭異质帅,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)留攒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門煤惩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人炼邀,你說(shuō)我怎么就攤上這事魄揉。” “怎么了拭宁?”我有些...
    開(kāi)封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵洛退,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我杰标,道長(zhǎng)不狮,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任在旱,我火速辦了婚禮,結(jié)果婚禮上推掸,老公的妹妹穿的比我還像新娘桶蝎。我一直安慰自己,他們只是感情好谅畅,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布登渣。 她就那樣靜靜地躺著,像睡著了一般毡泻。 火紅的嫁衣襯著肌膚如雪胜茧。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音呻顽,去河邊找鬼雹顺。 笑死,一個(gè)胖子當(dāng)著我的面吹牛廊遍,可吹牛的內(nèi)容都是我干的嬉愧。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼喉前,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼没酣!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起卵迂,我...
    開(kāi)封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤裕便,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后见咒,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體偿衰,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年论颅,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了哎垦。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡恃疯,死狀恐怖漏设,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情今妄,我是刑警寧澤郑口,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站盾鳞,受9級(jí)特大地震影響犬性,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜腾仅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一乒裆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧推励,春花似錦鹤耍、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至跌造,卻和暖如春杆怕,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工陵珍, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留寝杖,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓撑教,卻偏偏與公主長(zhǎng)得像朝墩,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子伟姐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • hbase的rowkey設(shè)計(jì)決定了數(shù)據(jù)的分區(qū)和查詢的方式收苏,是使用hbase前一定要想清楚的,以下簡(jiǎn)單列舉了設(shè)計(jì)hb...
    程序猿小哥閱讀 3,369評(píng)論 0 2
  • rowkey長(zhǎng)度原則 rowkey是一個(gè)二進(jìn)制碼流愤兵,可以是任意字符串鹿霸,最大長(zhǎng)度 64kb ,實(shí)際應(yīng)用中一般為10-...
    blotstorm閱讀 337評(píng)論 0 4
  • Hbase RowKey 設(shè)計(jì) 使用Spark或通過(guò)REST/API 方式存取Hbase秆乳,性能影響最大的因素在于H...
    阿海與蝸牛閱讀 5,656評(píng)論 0 10
  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理懦鼠,服務(wù)發(fā)現(xiàn),斷路器屹堰,智...
    卡卡羅2017閱讀 134,599評(píng)論 18 139
  • 如今的生活肛冶,比小時(shí)候豐富多彩了三倍之多,開(kāi)心扯键、快樂(lè)沒(méi)有隨著時(shí)間的推移與日俱增睦袖!因此,在閑暇的時(shí)光里我們不由得又懷念...
    夏目心葉閱讀 1,061評(píng)論 1 11