Zookeeper基礎(chǔ)及簡(jiǎn)單集群配置

基礎(chǔ)篇

1、zookeeper是什么
Zookeeper,一種分布式應(yīng)用的協(xié)作服務(wù),是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn),是Hadoop的分布式協(xié)調(diào)服務(wù),它包含一個(gè)簡(jiǎn)單的原語(yǔ)集,應(yīng)用于分布式應(yīng)用的協(xié)作服務(wù),使得分布式應(yīng)用可以基于這些接口實(shí)現(xiàn)諸如同步虫溜、配置維護(hù)和分集群或者命名的服務(wù)顶考。

zookeeper是一個(gè)由多個(gè)service組成的集群,一個(gè)leader,多個(gè)follower,每個(gè)server保存一份數(shù)據(jù)部分,全局?jǐn)?shù)據(jù)一致,分布式讀寫(xiě),更新請(qǐng)求轉(zhuǎn)發(fā)由leader實(shí)施.

更新請(qǐng)求順序進(jìn)行,來(lái)自同一個(gè)client的更新請(qǐng)求按其發(fā)送順序依次執(zhí)行,數(shù)據(jù)更新原子性,一次數(shù)據(jù)更新要么成功,要么失敗,全局唯一數(shù)據(jù)試圖,client無(wú)論連接到哪個(gè)server,數(shù)據(jù)試圖是一致的.

2维费、為什么要用zookeeper
大部分分布式應(yīng)用需要一個(gè)主控蝶缀、協(xié)調(diào)器或控制器來(lái)管理物理分布的子進(jìn)程(如資源扩借、任務(wù)分配等),目前,大部分應(yīng)用需要開(kāi)發(fā)私有的協(xié)調(diào)程序,缺乏一個(gè)通用的機(jī)制.協(xié)調(diào)程序的反復(fù)編寫(xiě)浪費(fèi),且難以形成通用裳凸、伸縮性好的協(xié)調(diào)器,ZooKeeper:提供通用的分布式鎖服務(wù),用以協(xié)調(diào)分布式應(yīng)用

3贱鄙、zookeeper工作原理
zookeeper的核心是原子廣播,這個(gè)機(jī)制保證了各個(gè)server之間的同步,實(shí)現(xiàn)這個(gè)機(jī)制的協(xié)議叫做Zab協(xié)議.Zab協(xié)議有兩種模式,他們分別是恢復(fù)模式和廣播模式.

(1)當(dāng)服務(wù)啟動(dòng)或者在領(lǐng)導(dǎo)者崩潰后,Zab就進(jìn)入了恢復(fù)模式,當(dāng)領(lǐng)導(dǎo)著被選舉出來(lái),且大多數(shù)server都完成了和leader的狀態(tài)同步后,恢復(fù)模式就結(jié)束了.狀態(tài)同步保證了leader和server具有相同的系統(tǒng)狀態(tài).

(2)一旦leader已經(jīng)和多數(shù)的follower進(jìn)行了狀態(tài)同步后,他就可以開(kāi)始廣播消息了,即進(jìn)入廣播狀態(tài).這時(shí)候當(dāng)一個(gè)server加入zookeeper服務(wù)中,它會(huì)在恢復(fù)模式下啟動(dòng),發(fā)下leader,并和leader進(jìn)行狀態(tài)同步,待到同步結(jié)束,它也參與廣播消息.

說(shuō)明:

廣播模式需要保證proposal被按順序處理,因此zk采用了遞增的事務(wù)id號(hào)(zxid)來(lái)保證.所有的提議(proposal)都在被提出的時(shí)候加上了zxid.實(shí)現(xiàn)中zxid是一個(gè)64為的數(shù)字,它高32位是epoch用來(lái)標(biāo)識(shí)leader關(guān)系是否改變,每次一個(gè)leader被選出來(lái),它都會(huì)有一個(gè)新的epoch.低32位是個(gè)遞增計(jì)數(shù).

當(dāng)leader崩潰或者leader失去大多數(shù)的follower,這時(shí)候zk進(jìn)入恢復(fù)模式,恢復(fù)模式需要重新選舉出一個(gè)新的leader,讓所有的server都恢復(fù)到一個(gè)正確的狀態(tài).

zookeeper服務(wù)一致維持在Broadcast狀態(tài),直到leader崩潰了或者leader失去了大部分的followers支持.

Broadcast模式極其類(lèi)似于分布式事務(wù)中的2pc(two-phrase commit 兩階段提交):即leader提起一個(gè)決議,由followers進(jìn)行投票,leader對(duì)投票結(jié)果進(jìn)行計(jì)算決定是否通過(guò)該決議,如果通過(guò)執(zhí)行該決議(事務(wù)),否則什么也不做.

3、Leader選舉
每個(gè)Server啟動(dòng)以后都詢(xún)問(wèn)其它的Server它要投票給誰(shuí),對(duì)于其他server的詢(xún)問(wèn),server每次根據(jù)自己的狀態(tài)都回復(fù)自己推薦的leader的id和上一次處理事務(wù)的zxid(系統(tǒng)啟動(dòng)時(shí)每個(gè)server都會(huì)推薦自己),收到所有Server回復(fù)以后,就計(jì)算出zxid最大的哪個(gè)Server,并將這個(gè)Server相關(guān)信息設(shè)置成下一次要投票的Server.計(jì)算這過(guò)程中獲得票數(shù)最多的的sever為獲勝者,如果獲勝者的票數(shù)超過(guò)半數(shù),則改server被選為leader.否則,繼續(xù)這個(gè)過(guò)程,直到leader被選舉出來(lái).leader就會(huì)開(kāi)始等待server連接,Follower連接leader,將最大的zxid發(fā)送給leader,Leader根據(jù)follower的zxid確定同步點(diǎn),完成同步后通知follower 已經(jīng)成為uptodate狀態(tài),Follower收到uptodate消息后,又可以重新接受client的請(qǐng)求進(jìn)行服務(wù)了.

4姨谷、zookeeper的數(shù)據(jù)模型
層次化的目錄結(jié)構(gòu),命名符合常規(guī)文件系統(tǒng)規(guī)范
每個(gè)節(jié)點(diǎn)在zookeeper中叫做znode,并且其有一個(gè)唯一的路徑標(biāo)識(shí)
節(jié)點(diǎn)Znode可以包含數(shù)據(jù)和子節(jié)點(diǎn),但是EPHEMERAL類(lèi)型的節(jié)點(diǎn)不能有子節(jié)點(diǎn)
Znode中的數(shù)據(jù)可以有多個(gè)版本,比如某一個(gè)路徑下存有多個(gè)數(shù)據(jù)版本,那么查詢(xún)這個(gè)路徑下的數(shù)據(jù)就需要帶上版本
客戶(hù)端應(yīng)用可以在節(jié)點(diǎn)上設(shè)置監(jiān)視器,節(jié)點(diǎn)不支持部分讀寫(xiě),而是一次性完整讀寫(xiě)

Zoopkeeper 提供了一套很好的分布式集群管理的機(jī)制,就是它這種基于層次型的目錄樹(shù)的數(shù)據(jù)結(jié)構(gòu),并對(duì)樹(shù)中的節(jié)點(diǎn)進(jìn)行有效管理,從而可以設(shè)計(jì)出多種多樣的分布式的數(shù)據(jù)管理模型

5逗宁、Zookeeper的節(jié)點(diǎn)
Znode有兩種類(lèi)型,短暫的(ephemeral)和持久的(persistent)
Znode的類(lèi)型在創(chuàng)建時(shí)確定并且之后不能再修改
短暫znode的客戶(hù)端會(huì)話結(jié)束時(shí),zookeeper會(huì)將該短暫znode刪除,短暫znode不可以有子節(jié)點(diǎn)
持久znode不依賴(lài)于客戶(hù)端會(huì)話,只有當(dāng)客戶(hù)端明確要?jiǎng)h除該持久znode時(shí)才會(huì)被刪除
Znode有四種形式的目錄節(jié)點(diǎn),PERSISTENT、PERSISTENT_SEQUENTIAL梦湘、EPHEMERAL疙剑、EPHEMERAL_SEQUENTIAL.

znode 可以被監(jiān)控,包括這個(gè)目錄節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)的修改,子節(jié)點(diǎn)目錄的變化等,一旦變化可以通知設(shè)置監(jiān)控的客戶(hù)端,這個(gè)功能是zookeeper對(duì)于應(yīng)用最重要的特性,通過(guò)這個(gè)特性可以實(shí)現(xiàn)的功能包括配置的集中管理,集群管理,分布式鎖等等.

6、Zookeeper的角色
(1)領(lǐng)導(dǎo)者(leader):負(fù)責(zé)進(jìn)行投票的發(fā)起和決議,更新系統(tǒng)狀態(tài)
(2)學(xué)習(xí)者(learner):包括跟隨者(follower)和觀察者(observer).
a践叠、follower用于接受客戶(hù)端請(qǐng)求并想客戶(hù)端返回結(jié)果,在選主過(guò)程中參與投票
b言缤、Observer可以接受客戶(hù)端連接,將寫(xiě)請(qǐng)求轉(zhuǎn)發(fā)給leader,但observer不參加投票過(guò)程,只同步leader的狀態(tài),observer的目的是為了擴(kuò)展系統(tǒng),提高讀取速度
(3)客戶(hù)端(client),請(qǐng)求發(fā)起方

Watcher

Watcher 在 ZooKeeper 是一個(gè)核心功能,Watcher 可以監(jiān)控目錄節(jié)點(diǎn)的數(shù)據(jù)變化以及子目錄的變化,一旦這些狀態(tài)發(fā)生變化,服務(wù)器就會(huì)通知所有設(shè)置在這個(gè)目錄節(jié)點(diǎn)上的 Watcher,從而每個(gè)客戶(hù)端都很快知道它所關(guān)注的目錄節(jié)點(diǎn)的狀態(tài)發(fā)生變化,而做出相應(yīng)的反應(yīng)

可以設(shè)置觀察的操作:exists,getChildren,getData

可以觸發(fā)觀察的操作:create,delete,setData

znode以某種方式發(fā)生變化時(shí),“觀察”(watch)機(jī)制可以讓客戶(hù)端得到通知.

可以針對(duì)ZooKeeper服務(wù)的“操作”來(lái)設(shè)置觀察,該服務(wù)的其他 操作可以觸發(fā)觀察.

比如,客戶(hù)端可以對(duì)某個(gè)客戶(hù)端調(diào)用exists操作,同時(shí)在它上面設(shè)置一個(gè)觀察,如果此時(shí)這個(gè)znode不存在,則exists返回 false,如果一段時(shí)間之后,這個(gè)znode被其他客戶(hù)端創(chuàng)建,則這個(gè)觀察會(huì)被觸發(fā),之前的那個(gè)客戶(hù)端就會(huì)得到通知.

7、Zookeeper集群搭建

Zookeeper 不僅可以單機(jī)提供服務(wù),同時(shí)也支持多機(jī)組成集群來(lái)提供服務(wù),實(shí)際上Zookeeper還支持另外一種偽集群的方式,也就是可以在一臺(tái)物理機(jī)上運(yùn)行多個(gè)Zookeeper實(shí)例.

Zookeeper通過(guò)復(fù)制來(lái)實(shí)現(xiàn)高可用性,只要集合體中半數(shù)以上的機(jī)器處于可用狀態(tài),它就能夠保證服務(wù)繼續(xù)禁灼。

命令篇

  • 連接遠(yuǎn)程Server:zkCli.sh –server <ip>:<port>
    比如連接到本地Zoopker服務(wù): ./zkCli.sh -server localhost:2181

  • 查看節(jié)點(diǎn)數(shù)據(jù):ls <path>管挟,比如ls / 則查看根目錄節(jié)點(diǎn)數(shù)據(jù)

  • 查看某個(gè)服務(wù)Service的提供者
    ls 服務(wù)名/providers

  • 查看節(jié)點(diǎn)數(shù)據(jù)并能看到更新次數(shù)等數(shù)據(jù):ls2 <path>,輸出字段含義如下:
    cZxid:創(chuàng)建節(jié)點(diǎn)的事務(wù)id
    ctime:創(chuàng)建節(jié)點(diǎn)的時(shí)間
    mZxid:修改節(jié)點(diǎn)的事務(wù)id
    mtime:修改節(jié)點(diǎn)的時(shí)間
    pZxid:子節(jié)點(diǎn)列表最后一次修改的事務(wù)id弄捕。刪除或添加子節(jié)點(diǎn)僻孝,不包含修改子節(jié)點(diǎn)的數(shù)據(jù)
    cversion:子節(jié)點(diǎn)的版本號(hào),刪除或添加子節(jié)點(diǎn)守谓,版本號(hào)會(huì)自增
    dataVersion:節(jié)點(diǎn)數(shù)據(jù)版本號(hào)穿铆,數(shù)據(jù)寫(xiě)入操作,版本號(hào)會(huì)遞增
    aclVersion:節(jié)點(diǎn)ACL權(quán)限版本斋荞,權(quán)限寫(xiě)入操作荞雏,版本號(hào)會(huì)遞增
    ephemeralOwner:臨時(shí)節(jié)點(diǎn)創(chuàng)建時(shí)的事務(wù)id,如果節(jié)點(diǎn)是永久節(jié)點(diǎn),則它的值為0
    dataLength:節(jié)點(diǎn)數(shù)據(jù)長(zhǎng)度(單位:byte)凤优,中文占3個(gè)byte
    numChildren:子節(jié)點(diǎn)數(shù)量

  • 創(chuàng)建節(jié)點(diǎn):create <path> <data>

  • 獲取節(jié)點(diǎn)悦陋,包含數(shù)據(jù)和更新次數(shù)等數(shù)據(jù):get <path>

  • 修改節(jié)點(diǎn):set <path> <data>

  • 刪除節(jié)點(diǎn):delete <path>,如果有子節(jié)點(diǎn)存在則刪除失敗

配置篇(集群配置)

1筑辨、建立一個(gè)文件夾俺驶,如:zookeeper-cluster
2、下載Zookeeper棍辕,解壓暮现,重命名為zookeeper-node1,然后復(fù)制2份楚昭,分別命名送矩,如圖:


Snip20181002_2.png

2、zoo.cfx文件解析(zookeeper-node1哪替、zookeeper-node2、zookeeper-node3需要分別配置菇怀,大同小異):
zookeeper-node1配置:

#zookeeper-3.4.6-node1的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

解析:
tickTime=2000:
tickTime這個(gè)時(shí)間是作為Zookeeper服務(wù)器之間或客戶(hù)端與服務(wù)器之間維持心跳的時(shí)間間隔,也就是每個(gè)tickTime時(shí)間就會(huì)發(fā)送一個(gè)心跳凭舶;

initLimit=10:
initLimit這個(gè)配置項(xiàng)是用來(lái)配置Zookeeper接受客戶(hù)端(這里所說(shuō)的客戶(hù)端不是用戶(hù)連接Zookeeper服務(wù)器的客戶(hù)端,而是Zookeeper服務(wù)器集群中連接到Leader的Follower 服務(wù)器)初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)。
當(dāng)已經(jīng)超過(guò)10個(gè)心跳的時(shí)間(也就是tickTime)長(zhǎng)度后 Zookeeper 服務(wù)器還沒(méi)有收到客戶(hù)端的返回信息,那么表明這個(gè)客戶(hù)端連接失敗爱沟∷總的時(shí)間長(zhǎng)度就是 10*2000=20 秒;

syncLimit=5:
syncLimit這個(gè)配置項(xiàng)標(biāo)識(shí)Leader與Follower之間發(fā)送消息,請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度,最長(zhǎng)不能超過(guò)多少個(gè)tickTime的時(shí)間長(zhǎng)度,總的時(shí)間長(zhǎng)度就是5*2000=10秒呼伸;

dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data
dataDir顧名思義就是Zookeeper保存數(shù)據(jù)的目錄,默認(rèn)情況下Zookeeper將寫(xiě)數(shù)據(jù)的日志文件也保存在這個(gè)目錄里身冀;

clientPort=2181
clientPort這個(gè)端口就是客戶(hù)端連接Zookeeper服務(wù)器的端口,Zookeeper會(huì)監(jiān)聽(tīng)這個(gè)端口接受客戶(hù)端的訪問(wèn)請(qǐng)求;

server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
server.A=B:C:D:
A是一個(gè)數(shù)字,表示這個(gè)是第幾號(hào)服務(wù)器,B是這個(gè)服務(wù)器的ip地址
C第一個(gè)端口用來(lái)集群成員的信息交換,表示的是這個(gè)服務(wù)器與集群中的Leader服務(wù)器交換信息的端口
D是在leader掛掉時(shí)專(zhuān)門(mén)用來(lái)進(jìn)行選舉leader所用

zookeeper-node2配置:

#zookeeper-3.4.6-node2的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2182
dataDir=/Users/huangyuan/Documents/lib/zookeeper-cluster/zookeeper-node2/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

zookeeper-node3配置:

#zookeeper-3.4.6-node3的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2183
dataDir=/Users/huangyuan/Documents/lib/zookeeper-cluster/zookeeper-node3/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

參考:https://www.cnblogs.com/dennisit/p/4141342.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末括享,一起剝皮案震驚了整個(gè)濱河市搂根,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌铃辖,老刑警劉巖剩愧,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異娇斩,居然都是意外死亡仁卷,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)犬第,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)锦积,“玉大人,你說(shuō)我怎么就攤上這事歉嗓》峤椋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)基矮。 經(jīng)常有香客問(wèn)我淆储,道長(zhǎng),這世上最難降的妖魔是什么家浇? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任本砰,我火速辦了婚禮,結(jié)果婚禮上钢悲,老公的妹妹穿的比我還像新娘点额。我一直安慰自己,他們只是感情好莺琳,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布还棱。 她就那樣靜靜地躺著,像睡著了一般惭等。 火紅的嫁衣襯著肌膚如雪珍手。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天辞做,我揣著相機(jī)與錄音琳要,去河邊找鬼。 笑死秤茅,一個(gè)胖子當(dāng)著我的面吹牛稚补,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播框喳,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼课幕,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了五垮?” 一聲冷哼從身側(cè)響起乍惊,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎放仗,沒(méi)想到半個(gè)月后污桦,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡匙监,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年凡橱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片亭姥。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡稼钩,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出达罗,到底是詐尸還是另有隱情坝撑,我是刑警寧澤静秆,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站巡李,受9級(jí)特大地震影響抚笔,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜侨拦,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一殊橙、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧狱从,春花似錦膨蛮、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至与涡,卻和暖如春惹谐,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背驼卖。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工氨肌, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人款慨。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像谬莹,于是被迫代替她去往敵國(guó)和親檩奠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容