Hadoop上搭建Zookeeper、HBase

環(huán)境

ubuntu 14.04
hadoop 2.7.1 搭建過(guò)程璃弄,請(qǐng)參考我的上幾篇文章
master 192.168.31.131
slave1 192.168.31.132
slave2 192.168.31.133

HBase依賴于zookeeper,故先搭建Zookeeper

Zookeeper是一個(gè)分布式開(kāi)源框架去枷,提供了協(xié)調(diào)分布式應(yīng)用的基本服務(wù),它向外部應(yīng)用暴露一組通用服務(wù)——分布式同步(Distributed Synchronization)邪码、命名服務(wù)(Naming Service)裕菠、集群維護(hù)(Group Maintenance)等,簡(jiǎn)化分布式應(yīng)用協(xié)調(diào)及其管理的難度闭专,提供高性能的分布式服務(wù)奴潘。ZooKeeper本身可以以單機(jī)模式安裝運(yùn)行,不過(guò)它的長(zhǎng)處在于通過(guò)分布式ZooKeeper集群(一個(gè)Leader影钉,多個(gè)Follower)画髓,基于一定的策略來(lái)保證ZooKeeper集群的穩(wěn)定性和可用性,從而實(shí)現(xiàn)分布式應(yīng)用的可靠性平委。

搭建Zookeeper

1.在zookeeper.apache.org上下載zookeeper-3.4.8.tar.gz
2.解壓 tar -xzvf zookeeper-3.4.8.tar.gz
3.修改權(quán)限 sudo chown -R cms(ubuntu用戶名) zookeeper-3.4.8
4.修改配置文件 /etc/profile奈虾,增加

export ZOOKEEPER_HOME=$HOME/zookeeper-3.4.8
export CLASSPATH=$ZOOKEEPER_HOME/lib
export PATH=$ZOOKEEPER_HOME/bin

5.對(duì)Zookeeper的配置文件的參數(shù)進(jìn)行設(shè)置
進(jìn)入zookeeper-3.4.5/conf
1)cp zoo_sample.cfg zoo.cfg

一是是修改dataDir的文件目錄位置

2)在zookeeper下新建一個(gè)存放數(shù)據(jù)的目錄
mkdir zookerperdata
3)vim zoo.cfg

dataDir=/home/cms/zookeeper-3.4.8/zookerperdata

二是配置id

   server.1=192.168.31.131:2888:3888  
   server.2=192.168.31.132:2888:3888  
   server.3=192.168.31.133:2888:3888 
圖示

注意上圖的配置中master,slave1分別為主機(jī)名
在上面的配置文件中"server.id=host:port:port"中的第一個(gè)port是從機(jī)器(follower)連接到主機(jī)器(leader)的端口號(hào)廉赔,第二個(gè)port是進(jìn)行l(wèi)eadership選舉的端口號(hào)肉微。

4)創(chuàng)建myid
接下來(lái)在dataDir所指定的目錄下(zookeeper-3.4.8/zookerperdata/)創(chuàng)建一個(gè)文件名為myid的文件,文件中的內(nèi)容只有一行蜡塌,為本主機(jī)對(duì)應(yīng)的id值碉纳,也就是上圖中server.id中的id。例如:在服務(wù)器1中的myid的內(nèi)容應(yīng)該寫入1馏艾。
vim myid

5)遠(yuǎn)程復(fù)制到slave1,slave2相同的目錄下
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/
scp -r zookeeper-3.4.8 cms@slave1:/home/cms/

6)修改slave1,slave2機(jī)器上的myid的值分別為2和3

啟動(dòng)ZooKeeper集群

在ZooKeeper集群的每個(gè)結(jié)點(diǎn)上劳曹,執(zhí)行啟動(dòng)ZooKeeper服務(wù)的腳本,如下所示:

cms@slave1:~/zookeeper-3.4.8$ bin/zkServer.sh start
cms@slave2:~/zookeeper-3.4.8$ bin/zkServer.sh start```
如下圖所示:

![master](http://upload-images.jianshu.io/upload_images/1908836-7a7a18d21e6a4ecf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![slave1](http://upload-images.jianshu.io/upload_images/1908836-ba8f4b1b6c5c9f81.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
其中琅摩,QuorumPeerMain是zookeeper進(jìn)程铁孵,啟動(dòng)正常。
如上依次啟動(dòng)了所有機(jī)器上的Zookeeper之后可以通過(guò)ZooKeeper的腳本來(lái)查看啟動(dòng)狀態(tài)房资,包括集群中各個(gè)結(jié)點(diǎn)的角色(或是Leader蜕劝,或是Follower),如下所示,是在ZooKeeper集群中的每個(gè)結(jié)點(diǎn)上查詢的結(jié)果:

![](http://upload-images.jianshu.io/upload_images/1908836-b09d963015dd31d3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![](http://upload-images.jianshu.io/upload_images/1908836-7d6521a6c2fa500c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
通過(guò)上面狀態(tài)查詢結(jié)果可見(jiàn)熙宇,slave1是集群的Leader鳖擒,其余的兩個(gè)結(jié)點(diǎn)是Follower。
另外烫止,可以通過(guò)客戶端腳本蒋荚,連接到ZooKeeper集群上。對(duì)于客戶端來(lái)說(shuō)馆蠕,ZooKeeper是一個(gè)整體(ensemble)期升,連接到ZooKeeper集群實(shí)際上感覺(jué)在獨(dú)享整個(gè)集群的服務(wù),所以互躬,你可以在任何一個(gè)結(jié)點(diǎn)上建立到服務(wù)集群的連接播赁,例如:
```zkCli.sh -server slave1:2181```

![](http://upload-images.jianshu.io/upload_images/1908836-01e92ca35045f795.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
quit退出
######停止zookeeper進(jìn)程:
```zkServer.sh stop```
至此,Zookeeper集群安裝大功告成吼渡!

######安裝HBase
1.下載以及解壓hbase-1.0.3.tar.gz
2.修改配置文件 /etc/profile容为,增加

export HBASE_HOME=$HOME/hbase-1.0.3
export CLASSPATH=$HBASE_HOME/lib
export PATH=$HBASE_HOME/bin

3.對(duì)Hbase的配置文件的參數(shù)進(jìn)行設(shè)置
進(jìn)入Hbase/conf
1)修改 hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HBASE_MANAGES_ZK=false // 告訴hbase使用外部的zk

2)修改hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/cms/zookeeper-3.4.8/zookerperdata</value>!-- 指定zk的數(shù)據(jù)文件夾 -->
</property>
</configuration>3)vim regionservers```
添加內(nèi)容

slave1 
slave2

4)遠(yuǎn)程復(fù)制到slave1,slave2相同的目錄下
scp -r hbase-1.0.3 cms@slave1:/home/cms/
scp -r hbase-1.0.3 cms@slave1:/home/cms/

啟動(dòng)Hbase

在啟動(dòng)hbase之前,要啟動(dòng)
1)啟動(dòng)hadoop集群
start-dfs.sh start-yarn.sh
2)分別啟動(dòng)zk(注意每個(gè)節(jié)點(diǎn)的zk都要啟動(dòng))
zkServer.sh start
3)啟動(dòng)hbase寺酪,在主節(jié)點(diǎn)上運(yùn)行:

start-hbase.sh```
jps

![](http://upload-images.jianshu.io/upload_images/1908836-63f89379701ddbfa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![](http://upload-images.jianshu.io/upload_images/1908836-a3c0c21ebaf53ff7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

####測(cè)試Hbase

![](http://upload-images.jianshu.io/upload_images/1908836-6529db009e02c583.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
顯示:

![](http://upload-images.jianshu.io/upload_images/1908836-d47f836e2f7e4150.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![](http://upload-images.jianshu.io/upload_images/1908836-5d71d532e4d6514b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
至此搭建成功
######參考文獻(xiàn)
[Zookeeper集群環(huán)境安裝過(guò)程詳解](http://blog.csdn.net/cruise_h/article/details/19046357)
[hbase集群搭建](https://my.oschina.net/sucre/blog/700481)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末坎背,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子寄雀,更是在濱河造成了極大的恐慌得滤,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,490評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件盒犹,死亡現(xiàn)場(chǎng)離奇詭異懂更,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)急膀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門沮协,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人卓嫂,你說(shuō)我怎么就攤上這事皂股。” “怎么了命黔?”我有些...
    開(kāi)封第一講書人閱讀 165,830評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)就斤。 經(jīng)常有香客問(wèn)我悍募,道長(zhǎng),這世上最難降的妖魔是什么洋机? 我笑而不...
    開(kāi)封第一講書人閱讀 58,957評(píng)論 1 295
  • 正文 為了忘掉前任坠宴,我火速辦了婚禮,結(jié)果婚禮上绷旗,老公的妹妹穿的比我還像新娘喜鼓。我一直安慰自己副砍,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,974評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布庄岖。 她就那樣靜靜地躺著豁翎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪隅忿。 梳的紋絲不亂的頭發(fā)上心剥,一...
    開(kāi)封第一講書人閱讀 51,754評(píng)論 1 307
  • 那天,我揣著相機(jī)與錄音背桐,去河邊找鬼优烧。 笑死,一個(gè)胖子當(dāng)著我的面吹牛链峭,可吹牛的內(nèi)容都是我干的畦娄。 我是一名探鬼主播,決...
    沈念sama閱讀 40,464評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼弊仪,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼熙卡!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起撼短,我...
    開(kāi)封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤再膳,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后曲横,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體喂柒,經(jīng)...
    沈念sama閱讀 45,847評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,995評(píng)論 3 338
  • 正文 我和宋清朗相戀三年禾嫉,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了灾杰。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,137評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡熙参,死狀恐怖艳吠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情孽椰,我是刑警寧澤昭娩,帶...
    沈念sama閱讀 35,819評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站黍匾,受9級(jí)特大地震影響栏渺,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜锐涯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,482評(píng)論 3 331
  • 文/蒙蒙 一磕诊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦霎终、人聲如沸滞磺。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,023評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)击困。三九已至,卻和暖如春保礼,著一層夾襖步出監(jiān)牢的瞬間沛励,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,149評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工炮障, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留目派,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,409評(píng)論 3 373
  • 正文 我出身青樓胁赢,卻偏偏與公主長(zhǎng)得像企蹭,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子智末,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,086評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 最近在學(xué)習(xí)大數(shù)據(jù)技術(shù)谅摄,朋友叫我直接學(xué)習(xí)Spark,英雄不問(wèn)出處系馆,菜鳥(niǎo)不問(wèn)對(duì)錯(cuò)送漠,于是我就開(kāi)始了Spark學(xué)習(xí)。 為什...
    Plokmijn閱讀 26,550評(píng)論 6 26
  • hadoop2集群搭建詳解------------------------天津九安醫(yī)療電子--吳偉 一由蘑、需要軟件 ...
    hogface閱讀 1,813評(píng)論 1 4
  • 搭建-安裝JDK 安裝Zookeeper之前闽寡,我們需要安裝JDK,JDK的安裝在實(shí)驗(yàn)一已經(jīng)介紹尼酿,本實(shí)驗(yàn)的環(huán)境已經(jīng)默...
    d6a12a231881閱讀 975評(píng)論 0 0
  • 1 Zookeeper概述# ZooKeeper是一個(gè)為分布式應(yīng)用所設(shè)計(jì)的分布的爷狈、開(kāi)源的協(xié)調(diào)服務(wù),它主要是用來(lái)解決...
    七寸知架構(gòu)閱讀 7,354評(píng)論 0 101
  • 安裝前提: ①. Jdk安裝并配置裳擎。 ②. Hadoop正確安裝涎永,并可以正常啟動(dòng)HDFS系統(tǒng)。 ③. 安裝ssh鹿响,...
    d6a12a231881閱讀 783評(píng)論 0 0