hbase操做

hbase web操作

訪問地址 http://hmaster:60010
hmaster的ip配置在$HBASE_HOME/conf/hbase-site.xml中
ip映射成主機名
    在env/hosts中配置
    在windows系統(tǒng)中的C:\Windows\System32\drivers\etc目錄下的hosts文件中配置）

hbase shell 基本操作：

hbase shell 進入hbase console命令
whoami 查用戶
help查看基本命令集合
help command 查看命令幫助
list看庫中所有表
status 查看當(dāng)前運行服務(wù)器狀態(tài)
version 版本查詢
exits '表名字' 判斷表存在

hbase shell中刪除為 ctrl + backspace（單按刪除鍵不好使）

1）建表

    語法：create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}

具體命令

    hbase(main):004:0> exists 'test'
    hbase(main):005:0> create 'test','cf'

    hbase> create 't1', {NAME => 'f1', VERSIONS => 5}
    hbase> create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}
    省略模式建立列族
    hbase> create 't1', 'f1', 'f2', 'f3'
    指定每個列族參數(shù)
    hbase> create 't1', {NAME => 'f1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}
    hbase> create 't1', 'f1', {SPLITS => ['10', '20', '30', '40']}
    hbase> create 't1', 'f1', {SPLITS_FILE => 'splits.txt'}
    hbase> # Optionally pre-split the table into NUMREGIONS, using
    hbase> # SPLITALGO ("HexStringSplit", "UniformSplit" or classname)
    hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}
    設(shè)置不同參數(shù)，提升表的讀取性能坪哄。
    create 'lmj_test',
        {NAME => 'adn', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}, 
        {NAME => 'fixeddim', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}, 
        {NAME => 'social', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}
    每個參數(shù)屬性都有性能意義质蕉，通過合理化的設(shè)置可以提升表的性能
     create 'lmj_test',
        {NAME => 'adn', BLOOMFILTER => 'ROWCOL', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', COMPRESSION => 'SNAPPY', BLOCKCACHE => 'false'},
        {NAME => 'fixeddim',BLOOMFILTER => 'ROWCOL', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', COMPRESSION => 'SNAPPY', BLOCKCACHE => 'false'},
        {NAME => 'social',BLOOMFILTER => 'ROWCOL', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0',COMPRESSION => 'SNAPPY', BLOCKCACHE => 'false'}

2）建表后查看表：describe

    得出
    {NAME => 'lmj_test', 
    FAMILIES => 
    [
    {NAME => 'adn', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}, 
                {NAME => 'fixeddim', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}, 
                {NAME => 'social', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROWCOL', REPLICATION_SCOPE => '0', COMPRESSION => 'SNAPPY', VERSIONS => '1', TTL => '15768000', MIN_VERSIONS => '0', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', ENCODE_ON_DISK => 'true', IN_MEMORY => 'false', BLOCKCACHE => 'false'}
            ]
        }

3）清空表：truncate ‘lmj_test’

4）刪除表：

        分兩步，首先disable 'lmj_test'翩肌，然后drop 'lmj_test'

5）修改表結(jié)構(gòu)：先disable后enable

        alter 't1', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}
        例如：修改表test1的cf的TTL為180天
            hbase(main)> disable 'test1'
            hbase(main)> alter 'test1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'}
            hbase(main)> enable 'test1'

6）對表中記錄的操作（4種行操作）

    put 增加一行
        語法：put <table>,<rowkey>,<family:column>,<value>,<timestamp>
        其中模暗，timestamp可以系統(tǒng)默認，也可以自己設(shè)定念祭，如

         put 't1', 'r1', 'c1', 'value', ts1
         put 'lmj_test','00001','adn:adn_3','aaa',1432483200000
         put 'lmj_test','00001','fixeddim:appcategory_1','1',1432483200000
         put 'lmj_test','00001','fixeddim:interest_15','100',1432483200000

    get查詢對應(yīng)數(shù)據(jù)(可以指定行兑宇、列族、列粱坤、版本)
        get 'lmj_test','000000104257464',{TIMESTAMP=>1432483200000}

    delete 刪除數(shù)據(jù)
        刪除指定行中指定列：
            delete <table>, <rowkey>,  <family:column> , <timestamp>(必須指定列名隶糕，刪除其所有版本數(shù)據(jù))
            delete 'lmj_test','000000104257464','f1:col1'
        刪除整行數(shù)據(jù)（可不指定列名）：
            deleteall <table>, <rowkey>,  <family:column> , <timestamp>
            deleteall 'lmj_test','000000104257464'

    scan 掃描全表，指定過濾條件比规，返回對應(yīng)行
        scan 'lxw_hbase', {LIMIT => 1}
            其他條件繼續(xù)添加在大括號中
    以上4個操作類是 org.apache.hadoop.hbase.client的子類若厚，參考官網(wǎng)API查看詳細信息

    count統(tǒng)計表中記錄數(shù)
         count 'lxw_hbase', {INTERVAL => 100, CACHE => 500}
         #每100條顯示一次，緩存區(qū)為500

7）表操作權(quán)限

    給用戶分配對每個表的操作權(quán)限蜒什，有RWXCA五種测秸，對應(yīng)READ, WRITE, EXEC, CREATE, ADMIN
    grant 'liu_mja','RW','lxw_hbase'    #分配給用戶liu_mja表lxw_hbase的讀寫權(quán)限
    還可以 查看權(quán)限
        user_permission 'lxw_hbase'
    收回權(quán)限
        revoke 'liu_mja','lxw_hbase'

8）命名空間

    關(guān)系數(shù)據(jù)庫系統(tǒng)中，命名空間namespace是表的邏輯分組,同一組中的表有類似的用途灾常。
    以下引自：
    （http://blog.csdn.net/u010967382/article/details/37878701?utm_source=tuicool&utm_medium=referral）

    hbase的表也有命名空間的管理方式霎冯，命名空間的概念為即將到來的多租戶特性打下基礎(chǔ)：
        配額管理（ Quota Management (HBASE-8410)）：限制一個namespace可以使用的資源，資源包括region和table等钞瀑； 
        命名空間安全管理（ Namespace Security Administration (HBASE-9206)）：提供了另一個層面的多租戶安全管理沈撞； 
        Region服務(wù)器組（Region server groups (HBASE-6721)）：一個命名空間或一張表，可以被固定到一組 regionservers上雕什，從而保證了數(shù)據(jù)隔離性缠俺。 

    命名空間可以被創(chuàng)建、移除贷岸、修改壹士。
    建表時可以指定命名空間，格式如下：<namespace>:<table>
    #Create a namespace
    create_namespace 'my_ns'

    #create my_table in my_ns namespace
    create 'my_ns:my_table', 'fam'

    #drop namespace
    drop_namespace 'my_ns'

    #alter namespace
    alter_namespace 'my_ns', {METHOD => 'set', 'PROPERTY_NAME' => 'PROPERTY_VALUE'}

    預(yù)定義的命名空間：
        有兩個系統(tǒng)內(nèi)置的預(yù)定義命名空間
        hbase   系統(tǒng)命名空間偿警，用于包含hbase的內(nèi)部表 
        default 所有未指定命名空間的表都自動進入該命名空間
    使用默認的命名空間
        #namespace=default and table qualifier=bar
        create 'bar', 'fam'
    指定命名空間
        #namespace=foo and table qualifier=bar
        create 'foo:bar', 'fam'

hbase原理及時間戳管理介紹

分布式的躏救、面向列的開源數(shù)據(jù)庫
hdfs文件存儲
MR處理數(shù)據(jù)
zookeeper做協(xié)同服務(wù)

hbase 表

數(shù)據(jù)以表存儲
 表含行、列，列分為列簇（family）

如圖盒使，

hbase數(shù)據(jù)存儲格式

key1,key2,key3是三條記錄的唯一row key值崩掘，
column-family1,column-family2,column-family3是三個列族
每個列族下包括幾列，如列族 column-family1包括兩列column1和column2

  row這個維度用于region切分
   column則不用于分片少办，和row不同的是苞慢，一個row中多個columns的put或者delete操作是一個原子事務(wù)（同一個原子事務(wù)中不能同時put和 delete）
   Row key和column key(HBase中也稱為qualifier)是bytes類型，而時間維度的key則是long integer類型凡泣，典型使用 java.util.Date.getTime()或者System.currentTimeMillis()來做為時間維度的key枉疼。
 唯一的確定一個cell數(shù)據(jù)：由row key1皮假、column-family1鞋拟、column1找到值集，值集按時間戳t排列惹资，按有效期取得每個對應(yīng)時間的值t1:abc,t2:gdxdf
   每個cell的值可能包含多個版本贺纲，以timestamp索引，倒序排列褪测，默認為最近一個版本猴誊，時間戳最大

 (1) Row Key：nosql數(shù)據(jù)庫中記錄的主鍵，在 hbase內(nèi)部保存為字節(jié)數(shù)組（字典序排列存儲）侮措，  任意字符串(最大長度是 64KB）懈叹。讀有位置相關(guān)性，經(jīng)常一起讀的行要放到一起存儲分扎。
       注意：int類型數(shù)據(jù)的字典序是1,10,100,118,11,12,128,15,16澄成。恢復(fù)成int數(shù)值的自然序畏吓，在行鍵的左側(cè)全部填充0(左填充0)墨状。

 (2)  列族 column family：是schema的一部分(而列不是)，必須在用表前先定義菲饼。列名以列族為前綴肾砂，
  create 'test','cf'
    put 'test','001','cf:c1','a1',1432483200000
    put 'test','002','cf:c2','a2'
    put 'test','001','cf2:c1','a1',1432483200000    報錯ERROR: Unknown column family! Valid column names: cf:*

 (3) cell: 無類型，全部存儲為字節(jié)碼
 (4)  時間戳 timestamp管理（多版本數(shù)據(jù)有效期設(shè)置）
     每個cell的值可能包含多個版本宏悦，以timestamp索引镐确，倒序排列（最近數(shù)據(jù)在最前面，默認取最近的數(shù)據(jù)）饼煞。時間戳的類型是 64 位整型源葫。時間戳可以自動生成，也可以自己設(shè)定派哲。避免數(shù)據(jù)版本沖突則時間戳必須具有唯一性臼氨。
      版本具有有效期，超過有效期則刪除芭届。有兩種方式回收版本储矩，稱為 GC（垃圾收集）
            列值版本的保存數(shù)量限制感耙，通過兩種方式設(shè)置
1， version設(shè)置保留版本數(shù)持隧。超過則刪除最老的即硼，
  創(chuàng)建Column Family時通過HColumnDescriptor.setMaxVersions(int versions)設(shè)置，這是Column Family級別屡拨，設(shè)置是即時生效只酥，讀取時讀不了，但物理刪除還是需要等到major compact操作中執(zhí)行呀狼。設(shè)置為1只保留一個
2裂允，TTL(Time To Live)設(shè)置保留時間。超過TTL則刪除哥艇，默認是forever绝编。
通過 HColumnDescriptor.setTimeToLive(int seconds)可以設(shè)置TTL。讀操作如Get/Scan等是即時生效貌踏，但物理清除要等到major compact十饥。一行row中所有cell的TTL都失效，則刪除整行祖乳，HBase不顯示建立或刪除行逗堵，行中cell有值且有效，行就存在眷昆。

注意蜒秤，version版本控制中，major compact不進行隙赁，則刪除最近版本后垦藏，失效版本可以重新恢復(fù)為有效值

put的時間戳
默認使用的是currentTimeMillis。應(yīng)用也可以使用自定義的值來做為每個列的 timestamp伞访，只需要是一個long integer的值即可掂骏，不一定是時間
而get默認返回timestamp最大值的數(shù)據(jù)
delete的時間戳
1. 刪除某個timestamp之前所有老版本
（指定timestamp比row中最新的版本大，則相當(dāng)于刪除整行厚掷，不是立即刪除元數(shù)據(jù)弟灼，而是等到major compact時）
2. 刪除某個timstamp點的版本