大數(shù)據(jù)0基礎(chǔ)怎么學(xué)習(xí)巩检？科多大數(shù)據(jù)帶你快速了解HBase术幔。
1. HBase介紹
Hbase 是一個(gè)高可靠、高性能梯影、面向列巫员、可伸縮的分布式存儲系統(tǒng)，利用Hbase技術(shù)可在廉價(jià)PC Server上搭建 大規(guī)模結(jié)構(gòu)化存儲集群甲棍。HBase 是Google Bigtable 的開源實(shí)現(xiàn)疏遏，與Google Bigtable 利用GFS作為其文件存儲系統(tǒng)類似， HBase 利用Hadoop HDFS 作為其文件存儲系統(tǒng)救军；Google 運(yùn)行MapReduce 來處理Bigtable中的海量數(shù)據(jù)， HBase 同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)倘零；Google Bigtable 利用Chubby作為協(xié)同服務(wù)唱遭， HBase 利用Zookeeper作為對應(yīng)。
HBase特點(diǎn)：
1. 大：一個(gè)表可以有數(shù)十億行呈驶，上百萬列拷泽。
2. 無模式：每行都有一個(gè)可排序的主鍵和任意多的列，列可以根據(jù)需要動態(tài)的增加袖瞻，同一張表中不同的行可以有截然不同的列司致；
3. 面向列：面向列（族）的存儲和權(quán)限控制，列（族）獨(dú)立檢索
4. 稀疏：空（null）列并不占用存儲空間聋迎，表可以設(shè)計(jì)的非常稀疏
5. 數(shù)據(jù)多版本：每個(gè)單元中的數(shù)據(jù)可以有多個(gè)版本脂矫，默認(rèn)情況下版本號自動分配，是單元格插入時(shí)的時(shí)間戳
6. 數(shù)據(jù)類型單一：Hbase中的數(shù)據(jù)都是字符串霉晕，沒有類型庭再。
2. HBase 設(shè)計(jì)模型
HBase 中的每一張表就是所謂的 BigTable。BigTable 會存儲一系列的行記錄牺堰，行記錄有三個(gè)基本類型的定義：Row Key拄轻、Time Stamp、Column伟葫。
1. Row Key 是行在 BigTable 中的唯一標(biāo)識恨搓。
2. Time Stamp 是每次數(shù)據(jù)操作對應(yīng)關(guān)聯(lián)的時(shí)間戳，可以看做 SVN 的版本筏养。
3. Column 定義為< family>:< label>斧抱，通過這兩部分可以指定唯一的數(shù)據(jù)的存儲列，family 的定義和修改需要 對 HBase 進(jìn)行類似于 DB 的 DDL 操作撼玄，而 label 夺姑，不需要定義直接可以使用，這也為動態(tài)定制列提供了一種手段 掌猛。family 另一個(gè)作用體現(xiàn)在物理存儲優(yōu)化讀寫操作上盏浙，同 family 的數(shù)據(jù)物理上保存的會比較臨近眉睹，因此在業(yè)務(wù)設(shè)計(jì)的過程中可以利用這個(gè)特性。
3. HBase 存儲架構(gòu)
從HBase的架構(gòu)圖上可以看出废膘，HBase中的存儲包括HMaster竹海、HRegionServer、HRegion丐黄、Store斋配、MemStore、StoreFile灌闺、HFile艰争、HLog等， 以下是 HBase 存儲架構(gòu)圖:
4. Hbase 的部署安裝步驟
1. 節(jié)點(diǎn)信息
名稱
IP地址
用戶名
密碼
進(jìn)程
master
192.168.80.130
hadoop
admin@123
HMaster
host2
192.168.80.131
hadoop
admin@123
HMaster,HRegionServer
host3
192.168.80.132
hadoop
admin@123
HRegionServer
2. 上apache管網(wǎng)下載HBase1.2.4壓縮包
3. 解壓壓縮包
cd /usr/local
sudo tar -zvxf ~/下載/hbase-1.2.4-bin.tar.gz
suod chown -Rhadoophbase-1.2.4
4. 編輯hbase-env.sh文件
vim hbase-env.sh
#設(shè)置JDK路徑
export JAVA_HOME=/usr/lib/jdk1.7.0_51/
#告訴hbase使用外部的zk
export HBASE_MANAGES_ZK=false
5. 編輯hbase-site.xml
vi hbase-site.xml
hbase.rootdir
hdfs://hadoop-ha/hbase
hbase.master.info.port
60010
hbase.cluster.distributed
true
hbase.zookeeper.quorum
master:2181,host2:2181,host3:2181
6. 編輯regionservers
vi regionservers
host2
host3
7. 編輯backup-masters
host2
8. 將Hbase路徑信息增加到環(huán)境變量中
vi ~/.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/.bashrc
9. 將master節(jié)點(diǎn)上的hbase-1.2.4拷貝到其他節(jié)點(diǎn)的相同目
//將hbase目錄拷貝到host2節(jié)點(diǎn)
sudo scp -r hbase-1.2.4 hadoop@host2:~/下載
ssh host2
sudo mv -r hbase-1.2.4 /usr/local
vi ~.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/bashrc
exit
//將hbase目錄拷貝到host3節(jié)點(diǎn)
sudo scp -r hbase-1.2.4 hadoop@host3:~/下載
ssh host3
sudo mv -r hbase-1.2.4 /usr/local
vi ~.bashrc
export HBASE_HOME=/usr/local/hbase-1.2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH
source ~/bashrc
exit
10. 啟動hbase
在啟動hadoop后啟動hbase,在master節(jié)點(diǎn)上啟動
start-hbase.sh
11. 在hbase中新建一個(gè)表member
--進(jìn)入hbase命令行
hbase shell
--創(chuàng)建表'member'
create 'member','member_id','address','info'
-- 查看新建的表
list
12. Web查看Hbase信息
主Master
