Zookeeper學(xué)習(xí) 安裝部署

ZooKeeper是Hadoop的正式子項(xiàng)目祟滴,它是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)麦到,提供的功能包括:配置維護(hù)、名字服務(wù)欠肾、分布式同步瓶颠、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)刺桃,將簡(jiǎn)單易用的接口和性能高效粹淋、功能穩(wěn)定的系統(tǒng)提供給用戶。

官網(wǎng) http://zookeeper.apache.org/
下載 http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/

單機(jī)模式配置

windows為例
解壓后重命名為 zookeeper 瑟慈,修改zoo.cfg廓啊,修改如下

tickTime=2000
initLimit=10
syncLimit=5
dataDir=D:\\Java\\zookeeper\\data
dataLogDir=D:\\Java\\zookeeper\\logs
clientPort=7011

需要手動(dòng)創(chuàng)建兩個(gè)目錄 dataDir 和 dataLogDir,設(shè)置端口為7011

啟動(dòng)server

啟動(dòng)客戶端連接

D:\Java\zookeeper\bin>zkCli.cmd -server localhost:7011

查看節(jié)點(diǎn)

[zk: localhost:7011(CONNECTED) 9] ls /
[zkclitest, zookeeper]

創(chuàng)建節(jié)點(diǎn)

[zk: localhost:7011(CONNECTED) 11] create /testcli hello
Created /testcli

再查看

[zk: localhost:7011(CONNECTED) 12] ls /
[testcli, zkclitest, zookeeper]

退出客戶端

[zk: localhost:7011(CONNECTED) 13] quit
Quitting...
2015-10-30 14:59:57,525 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x150b78
055c70000 closed
2015-10-30 14:59:57,525 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread
@512] - EventThread shut down

集群部署

zookeeper不僅可以單擊提供服務(wù)封豪,同時(shí)也支持多機(jī)組成集群來(lái)提供服務(wù)。集群模式有兩種

  • 偽集群:一臺(tái)物理機(jī)器運(yùn)行多個(gè)zookeeper實(shí)例
  • 集群:在多個(gè)物理機(jī)上運(yùn)行炒瘟,每個(gè)物理機(jī)只運(yùn)行一個(gè)zookeeper實(shí)例

簡(jiǎn)單說(shuō)下集群配置方式

環(huán)境:

  • linux
  • 172.28.20.101吹埠,172.28.20.102 兩臺(tái)機(jī)器

測(cè)試資源有限,在上述兩臺(tái)機(jī)器各部署兩個(gè)zookeeper 實(shí)例疮装。

下載解壓

將之前本機(jī)(windows)下載好的zookeeper上傳到服務(wù)器缘琅,并解壓重命名為zk2

tar -xzvf zookeeper-3.4.6.tar.gz
mv zookeeper-3.4.6 zk2

配置 zoo.cfg

打開bin目錄,將zoo_sample.cfg 備份并改名為zoo.cfg

cp zoo_sample.cfg zoo.cfg

zoo.cfg 是zookeeper的核心配置文件廓推,zk啟動(dòng)時(shí)候是通過(guò)配置文件的參數(shù)來(lái)初始化的刷袍。下面是本文的配置,

[hadoop@dc1 conf]$ vi zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hadoop/zk2/data
dataLogDir=/home/hadoop/zk2/logs
clientPort=7012

server.1=dc1:7021:7031
server.2=dc2:7021:7031
server.3=dc2:7022:7032
server.4=dc1:7022:7032

  • dataDir:數(shù)據(jù)存儲(chǔ)目錄
  • dataLogDir:日志存儲(chǔ)目錄
    這兩個(gè)目錄需要手動(dòng)先創(chuàng)建好樊展,否則會(huì)使用默認(rèn)的目錄呻纹,可能會(huì)與其他實(shí)例重復(fù)
  • clientPort:服務(wù)端口,同一臺(tái)機(jī)器 端口不能重復(fù)
  • server.A=B:C:D
    A: zk服務(wù)編號(hào)专缠,數(shù)字
    B:服務(wù)所在IP地址
    C:zk leader選舉端口
    D:zk 各實(shí)例之間通信端口

除了上述coo.cfg配置文件外雷酪,集群模式需要在dataDir目錄下配置一個(gè)文件myid,如果沒有涝婉,需要新建哥力。文件內(nèi)容就是上面server.A中A的數(shù)值,表示當(dāng)前啟動(dòng)的server編號(hào)墩弯。

這樣101上的一個(gè)zk實(shí)例就配置好了吩跋,參照這個(gè)配置,將另外3個(gè)實(shí)例也配置好渔工。

啟動(dòng)server

分別啟動(dòng)四個(gè)實(shí)例

啟動(dòng)101機(jī)器上兩個(gè)zk實(shí)例

啟動(dòng)zk1

[hadoop@dc1 bin]$ ./zkServer.sh start
JMX enabled by default
Using config: /home/hadoop/zk1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

啟動(dòng)zk2

[hadoop@dc1 bin]$ ./zkServer.sh start
JMX enabled by default
Using config: /home/hadoop/zk2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

jps 看下進(jìn)程

[hadoop@dc1 bin]$ jps
9969 QuorumPeerMain
10508 QuorumPeerMain
10542 Jps

用客戶端連到server

[hadoop@dc1 bin]$ ./zkCli.sh -server localhost:7012
Connecting to localhost:7012
2015-10-29 10:00:54,496 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2015-10-29 10:00:54,515 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:host.name=dc1
2015-10-29 10:00:54,515 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.version=1.6.0_29
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.vendor=Oracle Corporation
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.home=/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/jre
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.class.path=/home/hadoop/zk2/bin/../build/classes:/home/hadoop/zk2/bin/../build/lib/*.jar:/home/hadoop/zk2/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/hadoop/zk2/bin/../lib/slf4j-api-1.6.1.jar:/home/hadoop/zk2/bin/../lib/netty-3.7.0.Final.jar:/home/hadoop/zk2/bin/../lib/log4j-1.2.16.jar:/home/hadoop/zk2/bin/../lib/jline-0.9.94.jar:/home/hadoop/zk2/bin/../zookeeper-3.4.6.jar:/home/hadoop/zk2/bin/../src/java/lib/*.jar:/home/hadoop/zk2/bin/../conf:.:/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/lib/dt.jar:/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/lib/tools.jar
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.library.path=/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/jre/lib/amd64/jrockit:/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/jre/lib/amd64:/opt/app/cargo/jrockit-jdk1.6.0/jrockit-jdk1.6.0_29-R28.1.5-4.0.1/jre/../lib/amd64
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.io.tmpdir=/tmp
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:java.compiler=<NA>
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:os.name=Linux
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:os.arch=amd64
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:os.version=2.6.32-431.23.3.el6.x86_64
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:user.name=hadoop
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:user.home=/home/hadoop
2015-10-29 10:00:54,533 [myid:] - INFO  [Main Thread:Environment@100] - Client environment:user.dir=/home/hadoop/zk2/bin
2015-10-29 10:00:54,536 [myid:] - INFO  [Main Thread:ZooKeeper@438] - Initiating client connection, connectString=localhost:7012 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@9a031d8
Welcome to ZooKeeper!
JLine support is enabled
2015-10-29 10:00:54,649 [myid:] - INFO  [Main Thread-SendThread(localhost:7012):ClientCnxn$SendThread@975] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:7012. Will not attempt to authenticate using SASL (java.lang.SecurityException: 無(wú)法定位登錄配置)
[zk: localhost:7012(CONNECTING) 0] 2015-10-29 10:00:54,701 [myid:] - INFO  [Main Thread-SendThread(localhost:7012):ClientCnxn$SendThread@852] - Socket connection established to localhost/0:0:0:0:0:0:0:1:7012, initiating session
2015-10-29 10:00:54,754 [myid:] - INFO  [Main Thread-SendThread(localhost:7012):ClientCnxn$SendThread@1235] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:7012, sessionid = 0x450b15327460000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

連接成功锌钮,可以測(cè)試一些基本命令,ls/get/create 等等

Java應(yīng)用中連接zk Server

添加依賴

maven項(xiàng)目中 在pom.xml 添加依賴

<!--zookeeper-->
<dependency>
    <groupId>com.github.sgroschupf</groupId>
    <artifactId>zkclient</artifactId>
    <version>0.1</version>
    <scope>${jar-scope}</scope>
</dependency>

示例代碼

@Test
public void testZkClient() {
    ZkClient zkClient = new ZkClient("172.28.20.101:7011,172.28.20.101:7012,172.28.20.102:7011");
    String node = "/app/local/zkclitest";
    if (!zkClient.exists(node)) {
        zkClient.createPersistent(node, "hello zk");
    }
    System.out.println(zkClient.readData(node));
}

在zk服務(wù)器通過(guò)zkCli連接可以看到剛才創(chuàng)建的節(jié)點(diǎn):

[zk: localhost:7011(CONNECTED) 2] ls /app/local 
[ciq-web, mfoc-web, zkclitest, ctas-web, ccsp-bill]
[zk: localhost:7011(CONNECTED) 3] 

參考資料

http://www.cnblogs.com/sunddenly/p/4033574.html
http://www.cnblogs.com/shanyou/p/3221990.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末涨缚,一起剝皮案震驚了整個(gè)濱河市轧粟,隨后出現(xiàn)的幾起案子策治,更是在濱河造成了極大的恐慌,老刑警劉巖兰吟,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件通惫,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡混蔼,警方通過(guò)查閱死者的電腦和手機(jī)履腋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)惭嚣,“玉大人遵湖,你說(shuō)我怎么就攤上這事⊥硗蹋” “怎么了延旧?”我有些...
    開封第一講書人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)槽地。 經(jīng)常有香客問(wèn)我迁沫,道長(zhǎng),這世上最難降的妖魔是什么捌蚊? 我笑而不...
    開封第一講書人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任集畅,我火速辦了婚禮,結(jié)果婚禮上缅糟,老公的妹妹穿的比我還像新娘挺智。我一直安慰自己,他們只是感情好窗宦,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開白布赦颇。 她就那樣靜靜地躺著,像睡著了一般迫摔。 火紅的嫁衣襯著肌膚如雪沐扳。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,679評(píng)論 1 305
  • 那天句占,我揣著相機(jī)與錄音沪摄,去河邊找鬼。 笑死纱烘,一個(gè)胖子當(dāng)著我的面吹牛杨拐,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播擂啥,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼哄陶,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了哺壶?” 一聲冷哼從身側(cè)響起屋吨,我...
    開封第一講書人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤蜒谤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后至扰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鳍徽,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年敢课,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了阶祭。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡直秆,死狀恐怖濒募,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情圾结,我是刑警寧澤瑰剃,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站筝野,受9級(jí)特大地震影響培他,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜遗座,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望俊扳。 院中可真熱鬧途蒋,春花似錦、人聲如沸馋记。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)梯醒。三九已至宽堆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間茸习,已是汗流浹背畜隶。 一陣腳步聲響...
    開封第一講書人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留号胚,地道東北人籽慢。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像猫胁,于是被迫代替她去往敵國(guó)和親箱亿。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容