上篇文章我們實(shí)現(xiàn)了本地dubbo 和zookeeper服務(wù)的搭建蓉冈,下面我們?cè)趤砜纯幢镜貍渭簩?shí)現(xiàn)!Pァ寞酿!
集群的配置和單個(gè)的配置主要的區(qū)別在于zookeeper的配置文件和服務(wù)提供者,服務(wù)消費(fèi)者的配置文件其他的都是一樣的脱柱,這篇文章我就不寫了因?yàn)樵诰W(wǎng)上看到過一篇文章講解的很清楚伐弹,我們就來看看這篇文章吧
ZooKeeper集群搭建實(shí)例,以及集成dubbo時(shí)的配置
zookeeper是什么:
Zookeeper,一種分布式應(yīng)用的協(xié)作服務(wù),是Google的Chubby一個(gè)開源的實(shí)現(xiàn),是Hadoop的分布式協(xié)調(diào)服務(wù),它包含一個(gè)簡(jiǎn)單的原語集,應(yīng)用于分布式應(yīng)用的協(xié)作服務(wù),使得分布式應(yīng)用可以基于這些接口實(shí)現(xiàn)諸如同步榨为、配置維護(hù)和分集群或者命名的服務(wù)惨好。
zookeeper是一個(gè)由多個(gè)service組成的集群,一個(gè)leader,多個(gè)follower,每個(gè)server保存一份數(shù)據(jù)部分,全局?jǐn)?shù)據(jù)一致,分布式讀寫,更新請(qǐng)求轉(zhuǎn)發(fā)由leader實(shí)施.
更新請(qǐng)求順序進(jìn)行,來自同一個(gè)client的更新請(qǐng)求按其發(fā)送順序依次執(zhí)行,數(shù)據(jù)更新原子性,一次數(shù)據(jù)更新要么成功,要么失敗,全局唯一數(shù)據(jù)試圖,client無論連接到哪個(gè)server,數(shù)據(jù)試圖是一致的.
為什么要用zookeeper
大部分分布式應(yīng)用需要一個(gè)主控煌茴、協(xié)調(diào)器或控制器來管理物理分布的子進(jìn)程(如資源、任務(wù)分配等),目前,大部分應(yīng)用需要開發(fā)私有的協(xié)調(diào)程序,缺乏一個(gè)通用的機(jī)制.協(xié)調(diào)程序的反復(fù)編寫浪費(fèi),且難以形成通用日川、伸縮性好的協(xié)調(diào)器,ZooKeeper:提供通用的分布式鎖服務(wù),用以協(xié)調(diào)分布式應(yīng)用
zookeeper工作原理
zookeeper的核心是原子廣播,這個(gè)機(jī)制保證了各個(gè)server之間的同步,實(shí)現(xiàn)這個(gè)機(jī)制的協(xié)議叫做Zab協(xié)議.Zab協(xié)議有兩種模式,他們分別是恢復(fù)模式和廣播模式.
1.當(dāng)服務(wù)啟動(dòng)或者在領(lǐng)導(dǎo)者崩潰后,Zab就進(jìn)入了恢復(fù)模式,當(dāng)領(lǐng)導(dǎo)著被選舉出來,且大多數(shù)server都完成了和leader的狀態(tài)同步后,恢復(fù)模式就結(jié)束了.狀態(tài)同步保證了leader和server具有相同的系統(tǒng)狀態(tài).
2.一旦leader已經(jīng)和多數(shù)的follower進(jìn)行了狀態(tài)同步后,他就可以開始廣播消息了,即進(jìn)入廣播狀態(tài).這時(shí)候當(dāng)一個(gè)server加入zookeeper服務(wù)中,它會(huì)在恢復(fù)模式下啟動(dòng),發(fā)下leader,并和leader進(jìn)行狀態(tài)同步,待到同步結(jié)束,它也參與廣播消息.
說明:
廣播模式需要保證proposal被按順序處理,因此zk采用了遞增的事務(wù)id號(hào)(zxid)來保證.所有的提議(proposal)都在被提出的時(shí)候加上了zxid.實(shí)現(xiàn)中zxid是一個(gè)64為的數(shù)字,它高32位是epoch用來標(biāo)識(shí)leader關(guān)系是否改變,每次一個(gè)leader被選出來,它都會(huì)有一個(gè)新的epoch.低32位是個(gè)遞增計(jì)數(shù).
當(dāng)leader崩潰或者leader失去大多數(shù)的follower,這時(shí)候zk進(jìn)入恢復(fù)模式,恢復(fù)模式需要重新選舉出一個(gè)新的leader,讓所有的server都恢復(fù)到一個(gè)正確的狀態(tài).
zookeeper服務(wù)一致維持在Broadcast狀態(tài),直到leader崩潰了或者leader失去了大部分的followers支持.
Broadcast模式極其類似于分布式事務(wù)中的2pc(two-phrase commit兩階段提交):即leader提起一個(gè)決議,由followers進(jìn)行投票,leader對(duì)投票結(jié)果進(jìn)行計(jì)算決定是否通過該決議,如果通過執(zhí)行該決議(事務(wù)),否則什么也不做.
Leader選舉
每個(gè)Server啟動(dòng)以后都詢問其它的Server它要投票給誰,對(duì)于其他server的詢問,server每次根據(jù)自己的狀態(tài)都回復(fù)自己推薦的leader的id和上一次處理事務(wù)的zxid(系統(tǒng)啟動(dòng)時(shí)每個(gè)server都會(huì)推薦自己),收到所有Server回復(fù)以后,就計(jì)算出zxid最大的哪個(gè)Server,并將這個(gè)Server相關(guān)信息設(shè)置成下一次要投票的Server.計(jì)算這過程中獲得票數(shù)最多的的sever為獲勝者,如果獲勝者的票數(shù)超過半數(shù),則改server被選為leader.否則,繼續(xù)這個(gè)過程,直到leader被選舉出來.leader就會(huì)開始等待server連接,Follower連接leader,將最大的zxid發(fā)送給leader,Leader根據(jù)follower的zxid確定同步點(diǎn),完成同步后通知follower已經(jīng)成為uptodate狀態(tài),Follower收到uptodate消息后,又可以重新接受client的請(qǐng)求進(jìn)行服務(wù)了.
zookeeper的數(shù)據(jù)模型
層次化的目錄結(jié)構(gòu),命名符合常規(guī)文件系統(tǒng)規(guī)范
每個(gè)節(jié)點(diǎn)在zookeeper中叫做znode,并且其有一個(gè)唯一的路徑標(biāo)識(shí)
節(jié)點(diǎn)Znode可以包含數(shù)據(jù)和子節(jié)點(diǎn),但是EPHEMERAL類型的節(jié)點(diǎn)不能有子節(jié)點(diǎn)
Znode中的數(shù)據(jù)可以有多個(gè)版本,比如某一個(gè)路徑下存有多個(gè)數(shù)據(jù)版本,那么查詢這個(gè)路徑下的數(shù)據(jù)就需要帶上版本
客戶端應(yīng)用可以在節(jié)點(diǎn)上設(shè)置監(jiān)視器,節(jié)點(diǎn)不支持部分讀寫,而是一次性完整讀寫
Zoopkeeper提供了一套很好的分布式集群管理的機(jī)制,就是它這種基于層次型的目錄樹的數(shù)據(jù)結(jié)構(gòu),并對(duì)樹中的節(jié)點(diǎn)進(jìn)行有效管理,從而可以設(shè)計(jì)出多種多樣的分布式的數(shù)據(jù)管理模型
Zookeeper的節(jié)點(diǎn)
Znode有兩種類型,短暫的(ephemeral)和持久的(persistent)
Znode的類型在創(chuàng)建時(shí)確定并且之后不能再修改
短暫znode的客戶端會(huì)話結(jié)束時(shí),zookeeper會(huì)將該短暫znode刪除,短暫znode不可以有子節(jié)點(diǎn)
持久znode不依賴于客戶端會(huì)話,只有當(dāng)客戶端明確要?jiǎng)h除該持久znode時(shí)才會(huì)被刪除
Znode有四種形式的目錄節(jié)點(diǎn),PERSISTENT蔓腐、PERSISTENT_SEQUENTIAL、EPHEMERAL龄句、EPHEMERAL_SEQUENTIAL.
znode可以被監(jiān)控,包括這個(gè)目錄節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)的修改,子節(jié)點(diǎn)目錄的變化等,一旦變化可以通知設(shè)置監(jiān)控的客戶端,這個(gè)功能是zookeeper對(duì)于應(yīng)用最重要的特性,
通過這個(gè)特性可以實(shí)現(xiàn)的功能包括配置的集中管理,集群管理,分布式鎖等等.
Zookeeper的角色
領(lǐng)導(dǎo)者(leader),負(fù)責(zé)進(jìn)行投票的發(fā)起和決議,更新系統(tǒng)狀態(tài)
學(xué)習(xí)者(learner),包括跟隨者(follower)和觀察者(observer).
follower用于接受客戶端請(qǐng)求并想客戶端返回結(jié)果,在選主過程中參與投票
Observer可以接受客戶端連接,將寫請(qǐng)求轉(zhuǎn)發(fā)給leader,但observer不參加投票過程,只同步leader的狀態(tài),observer的目的是為了擴(kuò)展系統(tǒng),提高讀取速度
客戶端(client),請(qǐng)求發(fā)起方
Watcher
Watcher在ZooKeeper是一個(gè)核心功能,Watcher可以監(jiān)控目錄節(jié)點(diǎn)的數(shù)據(jù)變化以及子目錄的變化,一旦這些狀態(tài)發(fā)生變化,服務(wù)器就會(huì)通知所有設(shè)置在這個(gè)目錄節(jié)點(diǎn)上的Watcher,從而每個(gè)客戶端都很快知道它所關(guān)注的目錄節(jié)點(diǎn)的狀態(tài)發(fā)生變化,而做出相應(yīng)的反應(yīng)
可以設(shè)置觀察的操作:exists,getChildren,getData
可以觸發(fā)觀察的操作:create,delete,setData
znode以某種方式發(fā)生變化時(shí),“觀察”(watch)機(jī)制可以讓客戶端得到通知.
可以針對(duì)ZooKeeper服務(wù)的“操作”來設(shè)置觀察,該服務(wù)的其他 操作可以觸發(fā)觀察.
比如,客戶端可以對(duì)某個(gè)客戶端調(diào)用exists操作,同時(shí)在它上面設(shè)置一個(gè)觀察,如果此時(shí)這個(gè)znode不存在,則exists返回false,如果一段時(shí)間之后,這個(gè)znode被其他客戶端創(chuàng)建,則這個(gè)觀察會(huì)被觸發(fā),之前的那個(gè)客戶端就會(huì)得到通知.
Zookeeper集群搭建
Zookeeper不僅可以單機(jī)提供服務(wù),同時(shí)也支持多機(jī)組成集群來提供服務(wù),實(shí)際上Zookeeper還支持另外一種偽集群的方式,也就是可以在一臺(tái)物理機(jī)上運(yùn)行多個(gè)Zookeeper實(shí)例.
Zookeeper通過復(fù)制來實(shí)現(xiàn)高可用性,只要集合體中半數(shù)以上的機(jī)器處于可用狀態(tài),它就能夠保證服務(wù)繼續(xù)回论。
集群容災(zāi)性:
3臺(tái)機(jī)器只要有2臺(tái)可用就可以選出leader并且對(duì)外提供服務(wù)(2n+1臺(tái)機(jī)器,可以容n臺(tái)機(jī)器掛掉)。
Zookeeper偽分布式環(huán)境搭建:
1分歇、去Zookeeper官網(wǎng)下載最新版本的Zookeeper.
[root@localhost zookeeper-cluster]# pwd
/export/search/zookeeper-cluster
[root@localhost zookeeper-cluster]# ls
zookeeper-3.4.6.tar.gz
[root@localhost zookeeper-cluster]#
[root@localhost zookeeper-cluster]# tar -zxvf zookeeper-3.4.6.tar.gz
#創(chuàng)建第一個(gè)集群節(jié)點(diǎn)
[root@localhost zookeeper-cluster]# mv zookeeper-3.4.6 zookeeper-3.4.6-node1
[root@localhost zookeeper-cluster]# cd zookeeper-3.4.6-node1
[root@localhost zookeeper-3.4.6-node1]# pwd
/export/search/zookeeper-cluster/zookeeper-3.4.6-node1
#創(chuàng)建數(shù)據(jù)存放路徑
[root@localhost zookeeper-3.4.6-node1]# mkdir data
[root@localhost zookeeper-3.4.6-node1]# cd ../
#創(chuàng)建第二第三個(gè)集群節(jié)點(diǎn)
[root@localhost zookeeper-cluster]# cp zookeeper-3.4.6-node1 zookeeper-3.4.6-node2 -R
[root@localhost zookeeper-cluster]# cp zookeeper-3.4.6-node1 zookeeper-3.4.6-node3 -R
[root@localhost zookeeper-cluster]# ls
zookeeper-3.4.6-node1 ?zookeeper-3.4.6-node2 ?zookeeper-3.4.6-node3 ?zookeeper-3.4.6.tar.gz
[root@localhost zookeeper-cluster]# cd zookeeper-3.4.6-node1/conf/
[root@localhost conf]# ls
configuration.xsl ?log4j.properties ?zoo_sample.cfg
#創(chuàng)建zoo.cfg文件
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg
2傀蓉、配置zoo.cfg文件:
#zookeeper-3.4.6-node1的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
#zookeeper-3.4.6-node2的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2182
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node2/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
#zookeeper-3.4.6-node3的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2183
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node3/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
參數(shù)說明:
tickTime=2000:
tickTime這個(gè)時(shí)間是作為Zookeeper服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔,也就是每個(gè)tickTime時(shí)間就會(huì)發(fā)送一個(gè)心跳;
initLimit=10:
initLimit這個(gè)配置項(xiàng)是用來配置Zookeeper接受客戶端(這里所說的客戶端不是用戶連接Zookeeper服務(wù)器的客戶端,而是Zookeeper服務(wù)器集群中連接到Leader的Follower服務(wù)器)初始化連接時(shí)最長(zhǎng)能忍受多少個(gè)心跳時(shí)間間隔數(shù)卿樱。
當(dāng)已經(jīng)超過10個(gè)心跳的時(shí)間(也就是tickTime)長(zhǎng)度后Zookeeper服務(wù)器還沒有收到客戶端的返回信息,那么表明這個(gè)客戶端連接失敗×蛞總的時(shí)間長(zhǎng)度就是10*2000=20秒繁调;
syncLimit=5:
syncLimit這個(gè)配置項(xiàng)標(biāo)識(shí)Leader與Follower之間發(fā)送消息,請(qǐng)求和應(yīng)答時(shí)間長(zhǎng)度,最長(zhǎng)不能超過多少個(gè)tickTime的時(shí)間長(zhǎng)度,總的時(shí)間長(zhǎng)度就是5*2000=10秒;
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data
dataDir顧名思義就是Zookeeper保存數(shù)據(jù)的目錄,默認(rèn)情況下Zookeeper將寫數(shù)據(jù)的日志文件也保存在這個(gè)目錄里靶草;
clientPort=2181
clientPort這個(gè)端口就是客戶端連接Zookeeper服務(wù)器的端口,Zookeeper會(huì)監(jiān)聽這個(gè)端口接受客戶端的訪問請(qǐng)求蹄胰;
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
server.A=B:C:D:
A是一個(gè)數(shù)字,表示這個(gè)是第幾號(hào)服務(wù)器,B是這個(gè)服務(wù)器的ip地址
C第一個(gè)端口用來集群成員的信息交換,表示的是這個(gè)服務(wù)器與集群中的Leader服務(wù)器交換信息的端口
D是在leader掛掉時(shí)專門用來進(jìn)行選舉leader所用
3、創(chuàng)建ServerID標(biāo)識(shí)
除了修改zoo.cfg配置文件,集群模式下還要配置一個(gè)文件myid,這個(gè)文件在dataDir目錄下,這個(gè)文件里面就有一個(gè)數(shù)據(jù)就是A的值,在上面配置文件中zoo.cfg中配置的dataDir路徑中創(chuàng)建myid文件
[root@localhost zookeeper-cluster]# cat /export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data/myid
1
[root@localhost zookeeper-cluster]# cat /export/search/zookeeper-cluster/zookeeper-3.4.6-node2/data/myid
2
[root@localhost zookeeper-cluster]# cat /export/search/zookeeper-cluster/zookeeper-3.4.6-node3/data/myid
3
4奕翔、啟動(dòng)zookeeper
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node1/bin/zkServer.sh start
JMX enabled by default
Using config: /export/search/zookeeper-cluster/zookeeper-3.4.6-node1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node2/bin/zkServer.sh start
JMX enabled by default
Using config: /export/search/zookeeper-cluster/zookeeper-3.4.6-node2/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node3/bin/zkServer.sh start
JMX enabled by default
Using config: /export/search/zookeeper-cluster/zookeeper-3.4.6-node3/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
5裕寨、檢測(cè)集群是否啟動(dòng)
[root@localhost zookeeper-cluster]# echo stat|nc localhost 2181
[root@localhost zookeeper-cluster]# echo stat|nc localhost 2182
[root@localhost zookeeper-cluster]# echo stat|nc localhost 2183
#或者
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node1/bin/zkCli.sh
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node2/bin/zkCli.sh
[root@localhost zookeeper-cluster]# /export/search/zookeeper-cluster/zookeeper-3.4.6-node3/bin/zkCli.sh
偽集群部署注意事項(xiàng):
在一臺(tái)機(jī)器上部署了3個(gè)server;需要注意的是clientPort這個(gè)端口派继,如果在1臺(tái)機(jī)器上部署多個(gè)server,那么每個(gè)server都要有不同的clientPort.
比如server.1是2181,server.2是2182,server.3是2183
最后幾行唯一需要注意的地方就是
server.X這個(gè)數(shù)字就是對(duì)應(yīng)data/myid中的數(shù)字宾袜。你在3個(gè)server的myid文件中分別寫入了1,2,3,那么每個(gè)server中的zoo.cfg都配server.1,server.2,server.3就OK了
集成dubbo時(shí)的配置:
提供者:
消費(fèi)者:
具體詳情可以參考:https://github.com/alibaba/dubbo
--------------------------------------分割線--------------------------------------
Ubuntu 14.04安裝分布式存儲(chǔ)Sheepdog+ZooKeeper ?http://www.linuxidc.com/Linux/2014-12/110352.htm
CentOS 6安裝sheepdog虛擬機(jī)分布式儲(chǔ)存http://www.linuxidc.com/Linux/2013-08/89109.htm
ZooKeeper集群配置http://www.linuxidc.com/Linux/2013-06/86348.htm
使用ZooKeeper實(shí)現(xiàn)分布式共享鎖http://www.linuxidc.com/Linux/2013-06/85550.htm
分布式服務(wù)框架ZooKeeper --管理分布式環(huán)境中的數(shù)據(jù)http://www.linuxidc.com/Linux/2013-06/85549.htm
ZooKeeper集群環(huán)境搭建實(shí)踐http://www.linuxidc.com/Linux/2013-04/83562.htm
ZooKeeper服務(wù)器集群環(huán)境配置實(shí)測(cè)http://www.linuxidc.com/Linux/2013-04/83559.htm
ZooKeeper集群安裝http://www.linuxidc.com/Linux/2012-10/72906.htm
愿意了解或者源碼的朋友直接求求交流分享技術(shù):2042849237
更多詳細(xì)源碼參考來源:http://minglisoft.cn/technology