HBase學(xué)習(xí)

HBase 中用 put 命令添加數(shù)據(jù)烫沙,但在 HBase 中一次只能為一個表的一行數(shù)據(jù)的一個列确丢,也就是一個單元格添加一個數(shù)據(jù),這點和關(guān)系型數(shù)據(jù)庫是不一樣的奇钞,在關(guān)系型數(shù)據(jù)庫中直接是插入整行的數(shù)據(jù),所以 HBase 直接用 shell 命令插入數(shù)據(jù)效率很低漂坏,在實際應(yīng)用中景埃,一般都是利用編程操作 HBase 的。

1. HBase 操作命令

  • 表列表:

    命令格式:list

  • 創(chuàng)建表:

    命令格式(不指定默認(rèn)保存的版本數(shù)顶别,默認(rèn)值為 3):create '表名','列族1','列族2'

    命令格式(指定默認(rèn)保存的版本數(shù)):create '表名',{NAME=>'列族1',VERSIONS=>保存的版本數(shù)}, {NAME=>'列族2',VERSIONS=>保存的版本數(shù)}

  • 查看表描述:

    命令格式:describe '表名'

  • 刪除表:

    命令格式(先使該表不可用):disable '表名'

    命令格式(刪除表):drop '表名'

  • 添加數(shù)據(jù):

    命令格式(列族只有單個列名):put '表名','行號','列族','列值'

    命令格式(列族有多個列名):put '表名','行號','列族:列名','列值'

  • 刪除數(shù)據(jù):

    命令格式(刪除某個單元格數(shù)據(jù)):delete '表名','行號','列族'

    命令格式(刪除某行號數(shù)據(jù)):deleteall '表名','行號'

  • 修改數(shù)據(jù):

    命令格式(HBase中實際上是沒有修改數(shù)據(jù)命令的):put '表名','行號','列族','新的單元格值'

  • 查看數(shù)據(jù):

    命令格式(查看某個列族的數(shù)據(jù)):get '表名','行號',{COLUMN=>'列族',VERSIONS=>查看的版本數(shù)}

    命令格式(查看某行號數(shù)據(jù)):get '表名','行號'

    命令格式(查看整個表的數(shù)據(jù)):scan '表名'

2. Java 編程來操作 HBase

操作 HBase 所用的 jar 包谷徙,使用 Maven 導(dǎo)入,引入依賴 hbase-it驯绎,pom.xml 文件依賴部分如下:

說明:我安裝的 HBase 是 1.1.0 版本的完慧,所以這里使用的依賴版本也是 1.1.0,請保持 jar 包版本和 HBase 版本一致剩失。

<dependencies>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-it</artifactId>
      <version>1.1.0</version>
    </dependency>
  </dependencies>

HBase 的提供的 jar 包只是對 HBase 命令操作的基本封裝屈尼,為了便于使用册着,可以在此基礎(chǔ)上做進(jìn)一步的封裝來調(diào)用。

下面是 HBase 封裝后的工具類 HBaseUtil脾歧。

package com.weizhiwen.util;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;

public class HBaseUtil {
  public static Configuration configuration;
  public static Connection connection;
  public static Admin admin;
  /**
   * 建表甲捏。HBase的表中會有一個系統(tǒng)默認(rèn)的屬性作為主鍵,
   * 主鍵無需自行創(chuàng)建鞭执,默認(rèn)為put命令操作中表名后第一個數(shù)據(jù)摊鸡,
   * 因此此處無需創(chuàng)建id列
   * @param myTableName 表名
   * @param columnFamily 列族數(shù)組
   * @throws IOException 
   */
  @SuppressWarnings("all")
  public static void createTable(String myTableName, String[] columnFamily) throws IOException {
    init();
    TableName tableName = TableName.valueOf(myTableName);
    if(admin.tableExists(tableName)) {
      System.out.println(myTableName+" is exists");
    } else {
      HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
      for(String columnName : columnFamily) {
        HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(columnName);
        hTableDescriptor.addFamily(hColumnDescriptor);
      }
      admin.createTable(hTableDescriptor);
      System.out.println("create "+myTableName+" success");
    }
    close();
  }
  
  /**
   * 刪除指定表
   * @param myTableName 表名
   * @throws IOException
   */
  public static void deleteTable(String myTableName) throws IOException {
    init();
    TableName tableName = TableName.valueOf(myTableName);
    if (admin.tableExists(tableName)) {
        admin.disableTable(tableName); // 先使表無效
        admin.deleteTable(tableName); // 在刪除表
    }
    close();
  }
  
  /**
   * 查看已有表
   * @throws IOException
   */
  public static void listTables() throws IOException {
      init();
      HTableDescriptor hTableDescriptors[] = admin.listTables();
      for(HTableDescriptor hTableDescriptor : hTableDescriptors){
          System.out.println(hTableDescriptor.getNameAsString());
      }
      close();
  }
  
  /**
   * 向某一行的某一列插入數(shù)據(jù)
   * @param myTableName 表名
   * @param rowKey 行鍵
   * @param colFamily 列族名
   * @param column 列名(如果列族下沒有子列名,此參數(shù)可為空)
   * @param value 單元格值
   * @throws IOException
   */
  public static void insertRowData(String tableName, String rowKey, String colFamily, String column, String value) throws IOException {
    init();
    Table table = connection.getTable(TableName.valueOf(tableName));
    Put put = new Put(rowKey.getBytes());
    put.addColumn(colFamily.getBytes(), column.getBytes(), value.getBytes());
    table.put(put);
    table.close();
    close();
  }
  
  /**
   * 刪除數(shù)據(jù)
   * @param tableName 表名
   * @param rowKey 行鍵
   * @param colFamily 列族名
   * @param col 列名
   * @throws IOException
   */
  public static void deleteRow(String tableName,String rowKey,String colFamily,String col) throws IOException {
    init();
    Table table = connection.getTable(TableName.valueOf(tableName));
    Delete delete = new Delete(rowKey.getBytes());
    //刪除指定列族的所有數(shù)據(jù)
    //delete.addFamily(colFamily.getBytes());
    //刪除指定列的數(shù)據(jù)
    //delete.addColumn(colFamily.getBytes(), col.getBytes());

    table.delete(delete);
    table.close();
    close();
  }
  
  /**
   * 根據(jù)行鍵查詢數(shù)據(jù)
   * @param tableName 表名
   * @param rowKey 行鍵
   * @param colFamily 列族名
   * @param col 列名
   * @throws IOException
   */
  public static void getRowData(String tableName,String rowKey,String colFamily,String col)throws  IOException{
    init();
    Table table = connection.getTable(TableName.valueOf(tableName));
    Get get = new Get(rowKey.getBytes());
    get.addColumn(colFamily.getBytes(),col.getBytes());
    Result result = table.get(get);
    showCell(result);
    table.close();
    close();
  }
  
  /**
   * 格式化輸出
   * @param result
   */
  public static void showCell(Result result){
      Cell[] cells = result.rawCells();
      for(Cell cell:cells){
          System.out.println("RowName:"+new String(CellUtil.cloneRow(cell))+" ");
          System.out.println("Timetamp:"+cell.getTimestamp()+" ");
          System.out.println("column Family:"+new String(CellUtil.cloneFamily(cell))+" ");
          System.out.println("row Name:"+new String(CellUtil.cloneQualifier(cell))+" ");
          System.out.println("value:"+new String(CellUtil.cloneValue(cell))+" ");
      }
  }
  
  
  // 建立連接
  public static void init() {
    configuration = HBaseConfiguration.create();
    configuration.set("hbase.rootdir", "hdfs://localhost:9000/hbase");
    try {
      connection = ConnectionFactory.createConnection(configuration);
      admin = connection.getAdmin();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }
  
  // 關(guān)閉連接
  public static void close() {
    try {
      if(admin != null) {
        admin.close();
      }
      if(connection != null) {
        connection.close();
      }
    } catch (IOException e) {
      e.printStackTrace();
    }
  }
}

工具類的測試類 HBaseUtilTest蚕冬。

package com.weizhiwen.test;

import java.io.IOException;

import com.weizhiwen.util.HBaseUtil;

public class HBaseTest {
  public static void main(String[] args) throws IOException {
    // 查看 HBase 數(shù)據(jù)庫中的所有表
    HBaseUtil.listTables();
    // 刪除成績表(HBase 數(shù)據(jù)庫中已有數(shù)據(jù)表)
    HBaseUtil.deleteTable("chengji");
    // 重新創(chuàng)建成績表
    HBaseUtil.createTable("chengji", new String[]{"score"});
    // 插入數(shù)據(jù)
    HBaseUtil.insertRowData("chengji", "zhangsan", "score", "English", "98");
    HBaseUtil.insertRowData("chengji", "zhangsan", "score", "Math", "94");
    HBaseUtil.insertRowData("chengji", "zhangsan", "score", "Computer", "98");
    // 查看單行數(shù)據(jù)
    HBaseUtil.getRowData("chengji", "zhangsan", "score", "Math");
  }
}

上面 HBaseUtil 類的封裝也只是基本的封裝免猾,還可以根據(jù)實際使用 HBase 在來進(jìn)行自己需要的封裝,比如單行多列插入囤热,查詢整表等等猎提。

個人 GitHub 地址:https://github.com/weizhiwen,歡迎來訪旁蔼。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末锨苏,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子棺聊,更是在濱河造成了極大的恐慌伞租,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件限佩,死亡現(xiàn)場離奇詭異葵诈,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)祟同,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進(jìn)店門作喘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人晕城,你說我怎么就攤上這事泞坦。” “怎么了砖顷?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵贰锁,是天一觀的道長。 經(jīng)常有香客問我滤蝠,道長豌熄,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任几睛,我火速辦了婚禮房轿,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己囱持,他們只是感情好夯接,可當(dāng)我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著纷妆,像睡著了一般盔几。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上掩幢,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天逊拍,我揣著相機(jī)與錄音,去河邊找鬼际邻。 笑死芯丧,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的世曾。 我是一名探鬼主播缨恒,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼轮听!你這毒婦竟也來了骗露?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤血巍,失蹤者是張志新(化名)和其女友劉穎萧锉,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體述寡,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡柿隙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了辨赐。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片优俘。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖掀序,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情惭婿,我是刑警寧澤不恭,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站财饥,受9級特大地震影響换吧,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜钥星,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一沾瓦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦贯莺、人聲如沸风喇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽魂莫。三九已至,卻和暖如春爹耗,著一層夾襖步出監(jiān)牢的瞬間耙考,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工潭兽, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留倦始,地道東北人。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓山卦,卻偏偏與公主長得像楣号,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子怒坯,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容