HBase學(xué)習(xí)筆記

HBase概述

Hbase是運行在Hadoop上的NoSQL數(shù)據(jù)庫恭应,它是一個分布式的和可擴展的大數(shù)據(jù)倉庫绘搞,也就是說HBase能夠利用HDFS的分布式處理模式够委,并從Hadoop的MapReduce程序模型中獲益。這意味著在一組商業(yè)硬件上存儲許多具有數(shù)十億行和上百萬列的大表肃叶。除去Hadoop的優(yōu)勢蹂随,HBase本身就是十分強大的數(shù)據(jù)庫,它能夠融合key/value存儲模式帶來實時查詢的能力因惭,以及通過MapReduce進行離線處理或者批處理的能力岳锁。總的來說蹦魔,Hbase能夠讓你在大量的數(shù)據(jù)中查詢記錄激率,也可以從中獲得綜合分析報告。

HBase不是一個關(guān)系型數(shù)據(jù)庫版姑,它需要不同的方法定義你的數(shù)據(jù)模型柱搜,HBase實際上定義了一個四維數(shù)據(jù)模型,下面就是每一維度的定義:

  • 行鍵:每行都有唯一的行鍵剥险,行鍵沒有數(shù)據(jù)類型,它內(nèi)部被認為是一個字節(jié)數(shù)組宪肖。
  • 列簇:數(shù)據(jù)在行中被組織成列簇表制,每行有相同的列簇健爬,但是在行之間,相同的列簇不需要有相同的列修飾符么介。在引擎中娜遵,HBase將列簇存儲在它自己的數(shù)據(jù)文件中,所以壤短,它們需要事先被定義设拟,此外,改變列簇并不容易久脯。
  • 列修飾符:列簇定義真實的列纳胧,被稱之為列修飾符,你可以認為列修飾符就是列本身帘撰。
  • 版本:每列都可以有一個可配置的版本數(shù)量跑慕,你可以通過列修飾符的制定版本獲取數(shù)據(jù)。
image

如圖摧找,通過行鍵獲取一個指定的行核行,它由一個或多個列簇構(gòu)成,每個列簇有一個或多個列修飾符(圖中稱為列)蹬耘,每列又可以有一個或多個版本芝雪。為了獲取指定數(shù)據(jù),你需要知道它的行鍵综苔、列簇绵脯、列修飾符以及版本。當設(shè)計HBase數(shù)據(jù)模型時休里,對考慮數(shù)據(jù)是如何被獲取是十分有幫助的蛆挫。你可以通過以下兩種方式獲得HBase數(shù)據(jù):

  • 通過他們的行鍵,或者一系列行鍵的表掃描
  • 使用map-reduce進行批操作

HBase通過key/value存儲來支持實時分析妙黍,以及通過map-reduce支持批處理分析悴侵。讓我們首先來看實時數(shù)據(jù)獲取,作為key/value存儲拭嫁,key是行鍵可免,value是列簇的集合。由于HBase是Key/Value存儲的做粤,所以行鍵的設(shè)計非常重要浇借。有以下兩個原因:

  1. 表掃描是對行鍵進行操作的,行鍵的設(shè)計控制著你能夠通過HBase執(zhí)行的實時/直接獲取量
  2. 當在生產(chǎn)環(huán)境中運行HBase時怕品,它在HDFS上部運行妇垢,數(shù)據(jù)基于行鍵通過HDFS,如果你所有的行鍵都是以user-開頭,那么很有可能你大部分數(shù)據(jù)都被分配一個節(jié)點上(違背了分布式數(shù)據(jù)的初衷)闯估,因此灼舍,你的行鍵應(yīng)該是有足夠的差異性以便分布式地通過整個部署。

HBase與關(guān)系型數(shù)據(jù)庫比較

比較項 HBase 關(guān)系型數(shù)據(jù)庫
存儲方式 列式存儲涨薪,不同列的文件是分離的 行式存儲
擴展性 列不固定骑素,方便擴展 固定列
數(shù)據(jù)查詢 只能通過RowKey查詢 多種查詢
數(shù)據(jù)類型 只有字符 豐富的類型
數(shù)據(jù)操作 表是分離的,表與表沒有關(guān)系 有各種連接操作
數(shù)據(jù)維護 更新是插入新的數(shù)據(jù) 修改數(shù)據(jù)

關(guān)系型數(shù)據(jù)庫的優(yōu)勢:

  1. 保持數(shù)據(jù)的一致性(事務(wù)處理)
    2.由于以標準化為前提刚夺,數(shù)據(jù)更新的開銷很邢壮蟆(相同的字段基本上都只有一處)
  2. 可以進行Join等復(fù)雜查詢
    其中能夠保持數(shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢。

關(guān)系型數(shù)據(jù)庫的不足:

  1. 大量數(shù)據(jù)的寫入處理
  2. 為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更
  3. 字段不固定時應(yīng)用
  4. 對簡單查詢需要快速返回結(jié)果的處理

HBase的Shell操作

#創(chuàng)建blog_user表格
create 'blog_user','userInfo'

#往表格寫數(shù)據(jù)
put'blog_user','www.aboutyun.com','userInfo:user_Name','aboutyun'
put'blog_user','www.aboutyun.com','userInfo:user_Password','aboutyun'

#掃描表格數(shù)據(jù)
scan 'blog_user'

#刪除表格列的數(shù)據(jù)
delete 'blog_user','www.aboutyun.com','userInfo:user_Password'

#刪除記錄
deleteall 'blog_user','www.aboutyun.com'

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末侠姑,一起剝皮案震驚了整個濱河市创橄,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌结借,老刑警劉巖筐摘,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異船老,居然都是意外死亡咖熟,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進店門柳畔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來馍管,“玉大人,你說我怎么就攤上這事薪韩∪贩校” “怎么了?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵俘陷,是天一觀的道長罗捎。 經(jīng)常有香客問我,道長拉盾,這世上最難降的妖魔是什么桨菜? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮捉偏,結(jié)果婚禮上倒得,老公的妹妹穿的比我還像新娘。我一直安慰自己夭禽,他們只是感情好霞掺,可當我...
    茶點故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著讹躯,像睡著了一般菩彬。 火紅的嫁衣襯著肌膚如雪缠劝。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天挤巡,我揣著相機與錄音剩彬,去河邊找鬼酷麦。 笑死矿卑,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的沃饶。 我是一名探鬼主播母廷,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼糊肤!你這毒婦竟也來了琴昆?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤馆揉,失蹤者是張志新(化名)和其女友劉穎业舍,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體升酣,經(jīng)...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡舷暮,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了噩茄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片下面。...
    茶點故事閱讀 39,795評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖绩聘,靈堂內(nèi)的尸體忽然破棺而出沥割,到底是詐尸還是另有隱情,我是刑警寧澤凿菩,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布机杜,位于F島的核電站,受9級特大地震影響衅谷,放射性物質(zhì)發(fā)生泄漏椒拗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一会喝、第九天 我趴在偏房一處隱蔽的房頂上張望陡叠。 院中可真熱鬧,春花似錦肢执、人聲如沸枉阵。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽兴溜。三九已至侦厚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間拙徽,已是汗流浹背刨沦。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留膘怕,地道東北人想诅。 一個月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像岛心,于是被迫代替她去往敵國和親来破。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內(nèi)容