docker已老, 函數(shù)式運(yùn)維即未來(lái)-04:hbase-2.1 on hadoop-3.1.1集群搭建

作為一個(gè)大數(shù)據(jù)從業(yè)者來(lái)說(shuō), hadoop, hbase, hive, spark, storm這是都是應(yīng)用得比較成熟的系統(tǒng)了,雖然維護(hù)性差较木,版本兼容性弱几迄,但是依然堅(jiān)挺著蔚龙。。映胁。

hive僅僅只是一個(gè)客戶端木羹,主流spark on yarn模式中spark也是個(gè)客戶端,對(duì)于storm來(lái)說(shuō), 被 twitter捐給apache后屿愚,主人離職移交權(quán)利汇跨,活生生成了棄子一顆。故本人亦從storm流式平臺(tái)轉(zhuǎn)向了KSQL流式平臺(tái)...

所以我們常用的大數(shù)據(jù)集群系統(tǒng)只有hadoop + hbase

hadoop分為兩塊組塊, 分布式文件系統(tǒng)hdfs以及資源管理器yarn妆距。
這里我們介紹的是hbase數(shù)據(jù)庫(kù)穷遂,建立在hadoop hdfs模塊之上,基于LSM存儲(chǔ)引擎讀寫(xiě)高性能的列式NOSQL數(shù)據(jù)庫(kù)娱据。目前已成為大數(shù)據(jù)服務(wù)的重要一環(huán)蚪黑。

這里選擇的版本是HADOOP 3.0盅惜,為什么呢?
因?yàn)閔adoop 2.0的兼容性太弱忌穿,當(dāng)前hbase跟spark都在積極擁抱hadoop 3.0.

其它也沒(méi)有太多要介紹的抒寂,那么就開(kāi)始正式的主題吧。

搭建hbase-2.1 on hadoop-3.1.1的集群

由于精力有限掠剑,hadoop及hbase均沒(méi)有加入HA功能屈芜,后續(xù)將會(huì)補(bǔ)充進(jìn)來(lái)。
分為以下四個(gè)過(guò)程:

  1. 創(chuàng)建虛擬機(jī)-createvm.sh
  2. 打包依賴-package.sh
  3. 部署集群-deploy.sh
  4. 啟動(dòng)集群-start.sh
  5. 測(cè)試集群

項(xiàng)目路徑: https://github.com/clojurians-org/my-env
代碼路徑:run.sh.d/hbase-example/{createvm.sh, package.sh, deploy.sh, start.sh}

第0步: 創(chuàng)建虛擬機(jī)-createvm.sh

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/hbase-example/createvm.sh 
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh create-vm nixos-hbase-001" && bash nix.sh create-vm nixos-hbase-001
echo -e "\n==== bash nix.sh create-vm nixos-hbase-002" && bash nix.sh create-vm nixos-hbase-002
echo -e "\n==== bash nix.sh create-vm nixos-hbase-003" && bash nix.sh create-vm nixos-hbase-003
image.png

成功創(chuàng)建三臺(tái)虛擬機(jī): 192.168.56.101, 192.168.56.102, 192.168.56.103

第1步: 打包依賴-package.sh

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/hbase-example/package.sh 
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh build tgz.hbase-2.1.0" && bash nix.sh build tgz.hbase-2.1.0

echo -e "\n==== bash nix.sh export tgz.nix-2.0.4" && bash nix.sh export tgz.nix-2.0.4
echo -e "\n==== bash nix.sh export nix.rsync-3.1.3" && bash nix.sh export nix.rsync-3.1.3
echo -e "\n==== bash nix.sh export nix.gettext-0.19.8.1" && bash nix.sh export nix.gettext-0.19.8.1

echo -e "\n==== bash nix.sh export nix.openjdk-8u172b11" && bash nix.sh export nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh export nix.zookeeper-3.4.13" && bash nix.sh export nix.zookeeper-3.4.13
echo -e "\n==== bash nix.sh export nix.hadoop-3.1.1" && bash nix.sh export nix.hadoop-3.1.1

由于hbase默認(rèn)是hadoop 2的版本朴译,故hbase on hadoop3需定制編譯井佑,打包時(shí)會(huì)自動(dòng)調(diào)用。
這里由于時(shí)間關(guān)系眠寿,沒(méi)有采用nix構(gòu)建躬翁,直接使用mvn打包,后續(xù)可能會(huì)優(yōu)化..

[larluo@larluo-nixos:~/my-env]$ cat nix.conf/hbase-2.1.0/build.sh 
mvn package -Dhadoop.profile=3.0 -Dhadoop-three.version=3.1.1 -DskipTests assembly:single

這里我們除了安裝nix, rsync, gettext基本工具外盯拱,添加了jdk,zookeeper,hadoop的nix軟件包盒发,最后調(diào)用hbase構(gòu)建過(guò)程.


image.png

第2步. 部署集群-deploy.sh

[larluo@larluo-nixos:~/my-env]$ cat run.sh.d/hbase-example/deploy.sh 
set -e
my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

echo -e "\n==== bash nix.sh create-user 192.168.56.101" && bash nix.sh create-user 192.168.56.101
echo -e "\n==== bash nix.sh create-user 192.168.56.102" && bash nix.sh create-user 192.168.56.102
echo -e "\n==== bash nix.sh create-user 192.168.56.103" && bash nix.sh create-user 192.168.56.103

echo -e "\n==== bash nix.sh install 192.168.56.101 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.101 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.102 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.102 tgz.nix-2.0.4
echo -e "\n==== bash nix.sh install 192.168.56.103 tgz.nix-2.0.4" && bash nix.sh install 192.168.56.103 tgz.nix-2.0.4

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.rsync-3.1.3" && bash nix.sh install 192.168.56.101 nix.rsync-3.1.3
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.rsync-3.1.3" && bash nix.sh install 192.168.56.102 nix.rsync-3.1.3
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.rsync-3.1.3" && bash nix.sh install 192.168.56.103 nix.rsync-3.1.3

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.101 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.102 nix.gettext-0.19.8.1
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1" && bash nix.sh install 192.168.56.103 nix.gettext-0.19.8.1

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.101 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.102 nix.openjdk-8u172b11
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11" && bash nix.sh install 192.168.56.103 nix.openjdk-8u172b11

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.zookeeper-3.4.13" && bash nix.sh install 192.168.56.101 nix.zookeeper-3.4.13
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.zookeeper-3.4.13" && bash nix.sh install 192.168.56.102 nix.zookeeper-3.4.13
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.zookeeper-3.4.13" && bash nix.sh install 192.168.56.103 nix.zookeeper-3.4.13

echo -e "\n==== bash nix.sh install 192.168.56.101 nix.hadoop-3.1.1" && bash nix.sh install 192.168.56.101 nix.hadoop-3.1.1
echo -e "\n==== bash nix.sh install 192.168.56.102 nix.hadoop-3.1.1" && bash nix.sh install 192.168.56.102 nix.hadoop-3.1.1
echo -e "\n==== bash nix.sh install 192.168.56.103 nix.hadoop-3.1.1" && bash nix.sh install 192.168.56.103 nix.hadoop-3.1.1

echo -e "\n==== bash nix.sh import 192.168.56.101 tgz.hbase-2.1.0" && bash nix.sh import 192.168.56.101 tgz.hbase-2.1.0
echo -e "\n==== bash nix.sh import 192.168.56.102 tgz.hbase-2.1.0" && bash nix.sh import 192.168.56.102 tgz.hbase-2.1.0
echo -e "\n==== bash nix.sh import 192.168.56.103 tgz.hbase-2.1.0" && bash nix.sh import 192.168.56.103 tgz.hbase-2.1.0

這個(gè)過(guò)程基本上與package打包一一對(duì)應(yīng),將軟件包分發(fā)至各個(gè)服務(wù)器


image.png

第3步. 啟動(dòng)集群-start.sh

my=$(cd -P -- "$(dirname -- "${BASH_SOURCE-$0}")" > /dev/null && pwd -P) && cd $my/../..

# start zookeeper
export ZK_ALL="192.168.56.101:2181,192.168.56.102:2181,192.168.56.103:2181"
# start zookeeper-3.4.12
echo -e "\n==== bash nix.sh start 192.168.56.101:2181 zookeeper-3.4.13 --all ${ZK_ALL}" && bash nix.sh start 192.168.56.101:2181 zookeeper-3.4.13 --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.102:2181 zookeeper-3.4.13 --all ${ZK_ALL}" && bash nix.sh start 192.168.56.102:2181 zookeeper-3.4.13 --all ${ZK_ALL}
echo -e "\n==== bash nix.sh start 192.168.56.103:2181 zookeeper-3.4.13 --all ${ZK_ALL}" && bash nix.sh start 192.168.56.103:2181 zookeeper-3.4.13 --all ${ZK_ALL}

# start hadoop-3.1.1
echo -e "\n==== bash nix.sh start 192.168.56.101:9000 hadoop-3.1.1:namenode" && bash nix.sh start 192.168.56.101:9000 hadoop-3.1.1:namenode
export HDFS_MASTER="192.168.56.101:9000"

echo -e "\n==== bash nix.sh start 192.168.56.101:5200 hadoop-3.1.1:datanode" && bash nix.sh start 192.168.56.101:5200 hadoop-3.1.1:datanode --master ${HDFS_MASTER}
echo -e "\n==== bash nix.sh start 192.168.56.102:5200 hadoop-3.1.1:datanode" && bash nix.sh start 192.168.56.102:5200 hadoop-3.1.1:datanode --master ${HDFS_MASTER}
echo -e "\n==== bash nix.sh start 192.168.56.103:5200 hadoop-3.1.1:datanode" && bash nix.sh start 192.168.56.103:5200 hadoop-3.1.1:datanode --master ${HDFS_MASTER}

# start hbase-2.1.0
echo -e "\n==== bash nix.sh start 192.168.56.101:16010 hbase-2.1.0:master --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}"
                bash nix.sh start 192.168.56.101:16010 hbase-2.1.0:master --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}

echo -e "\n==== bash nix.sh start 192.168.56.101:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}"
                bash nix.sh start 192.168.56.101:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}
echo -e "\n==== bash nix.sh start 192.168.56.102:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}"
                bash nix.sh start 192.168.56.102:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}
echo -e "\n==== bash nix.sh start 192.168.56.103:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}"
                bash nix.sh start 192.168.56.103:16030 hbase-2.1.0:regionserver --zookeepers ${ZK_ALL} --hdfs.master ${HDFS_MASTER}

第4步: 測(cè)試集群

  1. 測(cè)試 zookeeper
[larluo@larluo-nixos:~/my-env]$ echo ruok | nc 192.168.56.101 2181
imok
[larluo@larluo-nixos:~/my-env]$ echo ruok | nc 192.168.56.102 2181
imok
[larluo@larluo-nixos:~/my-env]$ echo ruok | nc 192.168.56.103 2181
imok
  1. 測(cè)試hdfs
[larluo@larluo-nixos:~/my-env]$ su - op -c "/nix/store/p7wlb2b81dsw2kqjxnsrq4s62i8nn6xi-hadoop-3.1.1/bin/hdfs dfsadmin -fs hdfs://192.168.56.101:9000 -report"    
Password: 
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
Configured Capacity: 31499022336 (29.34 GB)
Present Capacity: 15335188603 (14.28 GB)
DFS Remaining: 15334603519 (14.28 GB)
DFS Used: 585084 (571.37 KB)
DFS Used%: 0.00%
Replicated Blocks:
        Under replicated blocks: 0
        Blocks with corrupt replicas: 0
        Missing blocks: 0
        Missing blocks (with replication factor 1): 0
        Pending deletion blocks: 0
Erasure Coded Block Groups: 
        Low redundancy block groups: 0
        Block groups with corrupt internal blocks: 0
        Missing block groups: 0
        Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (3):

Name: 192.168.56.101:9866 (192.168.56.101)
Hostname: 192.168.56.101
Decommission Status : Normal
Configured Capacity: 10499674112 (9.78 GB)
DFS Used: 175484 (171.37 KB)
Non DFS Used: 4045742724 (3.77 GB)
DFS Remaining: 5094927957 (4.75 GB)
DFS Used%: 0.00%
DFS Remaining%: 48.52%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 13
Last contact: Sun Aug 26 14:37:35 CST 2018
Last Block Report: Sun Aug 26 14:15:08 CST 2018
Num of Blocks: 11


Name: 192.168.56.102:9866 (192.168.56.102)
Hostname: 192.168.56.102
Decommission Status : Normal
Configured Capacity: 10499674112 (9.78 GB)
DFS Used: 204800 (200 KB)
Non DFS Used: 4016508928 (3.74 GB)
DFS Remaining: 5124132437 (4.77 GB)
DFS Used%: 0.00%
DFS Remaining%: 48.80%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 13
Last contact: Sun Aug 26 14:37:36 CST 2018
Last Block Report: Sun Aug 26 14:16:41 CST 2018
Num of Blocks: 11


Name: 192.168.56.103:9866 (192.168.56.103)
Hostname: 192.168.56.103
Decommission Status : Normal
Configured Capacity: 10499674112 (9.78 GB)
DFS Used: 204800 (200 KB)
Non DFS Used: 4025098240 (3.75 GB)
DFS Remaining: 5115543125 (4.76 GB)
DFS Used%: 0.00%
DFS Remaining%: 48.72%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 13
Last contact: Sun Aug 26 14:37:35 CST 2018
Last Block Report: Sun Aug 26 14:17:31 CST 2018
Num of Blocks: 11
image.png
  1. 測(cè)試hbase
hbase(main):001:0>  create 'test', 'cf'
Created table test
Took 3.2068 seconds                                                                                                                                                           
=> Hbase::Table - test
hbase(main):002:0> list 'test'
TABLE                                                                                                                                                                         
test                                                                                                                                                                          
1 row(s)
Took 0.0540 seconds                                                                                                                                                           
=> ["test"]
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
Took 0.2722 seconds                                                                                                                                                           
hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
Took 0.0136 seconds      
hbase(main):005:0> scan 'test'
ROW                                          COLUMN+CELL                                                                                                                      
 row1                                        column=cf:a, timestamp=1535266220041, value=value1                                                                               
 row2                                        column=cf:b, timestamp=1535266224174, value=value2                                                                               
2 row(s)
Took 0.1010 seconds                                                                                                                                                           
hbase(main):008:0> 
image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末狡逢,一起剝皮案震驚了整個(gè)濱河市宁舰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌甚侣,老刑警劉巖明吩,帶你破解...
    沈念sama閱讀 222,807評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異殷费,居然都是意外死亡印荔,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)详羡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)仍律,“玉大人,你說(shuō)我怎么就攤上這事实柠∷” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,589評(píng)論 0 363
  • 文/不壞的土叔 我叫張陵窒盐,是天一觀的道長(zhǎng)草则。 經(jīng)常有香客問(wèn)我,道長(zhǎng)蟹漓,這世上最難降的妖魔是什么炕横? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,188評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮葡粒,結(jié)果婚禮上份殿,老公的妹妹穿的比我還像新娘膜钓。我一直安慰自己,他們只是感情好卿嘲,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,185評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布颂斜。 她就那樣靜靜地躺著,像睡著了一般拾枣。 火紅的嫁衣襯著肌膚如雪沃疮。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,785評(píng)論 1 314
  • 那天梅肤,我揣著相機(jī)與錄音忿磅,去河邊找鬼。 笑死凭语,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的撩扒。 我是一名探鬼主播似扔,決...
    沈念sama閱讀 41,220評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼搓谆!你這毒婦竟也來(lái)了炒辉?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,167評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤泉手,失蹤者是張志新(化名)和其女友劉穎黔寇,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體斩萌,經(jīng)...
    沈念sama閱讀 46,698評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡缝裤,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,767評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了颊郎。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片憋飞。...
    茶點(diǎn)故事閱讀 40,912評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖姆吭,靈堂內(nèi)的尸體忽然破棺而出榛做,到底是詐尸還是另有隱情,我是刑警寧澤内狸,帶...
    沈念sama閱讀 36,572評(píng)論 5 351
  • 正文 年R本政府宣布检眯,位于F島的核電站,受9級(jí)特大地震影響昆淡,放射性物質(zhì)發(fā)生泄漏锰瘸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,254評(píng)論 3 336
  • 文/蒙蒙 一瘪撇、第九天 我趴在偏房一處隱蔽的房頂上張望获茬。 院中可真熱鬧港庄,春花似錦、人聲如沸恕曲。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,746評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)佩谣。三九已至把还,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間茸俭,已是汗流浹背吊履。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,859評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留调鬓,地道東北人艇炎。 一個(gè)月前我還...
    沈念sama閱讀 49,359評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像腾窝,于是被迫代替她去往敵國(guó)和親缀踪。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,922評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容