Zookeeper

主要參考的文章

Zookeeper作用和典型應(yīng)用場景

Zookeeper作為一個分布式系統(tǒng)矾芙,主要用來解決分布式集群中分布式應(yīng)用系統(tǒng)的一致性問題。Zookeeper不專門存儲數(shù)據(jù)劫拢,它的作用主要是用來維護和監(jiān)控存儲數(shù)據(jù)的狀態(tài)變化褐奥。通過監(jiān)控這些數(shù)據(jù)的變化仰挣,從而達到技術(shù)數(shù)據(jù)的的集群管理冒冬。

Zookeeper的設(shè)計模式大致類似于觀察者模式伸蚯,它負責(zé)存儲注冊觀察者們和大家都關(guān)心的信息/數(shù)據(jù)。當(dāng)一個信息/數(shù)據(jù)發(fā)生變化時简烤,Zookeeper負責(zé)通知這些觀察者們作出相應(yīng)的反應(yīng)

統(tǒng)一命名服務(wù)(NameService)

分布式應(yīng)用中剂邮,通常需要有一套完整的命名規(guī)則,既能夠產(chǎn)生唯一的名稱又便于人識別和記住横侦,通常情況下用樹形的名稱結(jié)構(gòu)是一個理想的選擇挥萌,樹形的名稱結(jié)構(gòu)是一個有層次的目錄結(jié)構(gòu),既對人友好又不會重復(fù)枉侧。說到這里你可能想到了 JNDI引瀑,沒錯 Zookeeper 的 Name Service 與 JNDI 能夠完成的功能是差不多的,它們都是將有層次的目錄結(jié)構(gòu)關(guān)聯(lián)到一定資源上榨馁,但是 Zookeeper 的 Name Service 更加是廣泛意義上的關(guān)聯(lián)憨栽,也許你并不需要將名稱關(guān)聯(lián)到特定資源上,你可能只需要一個不會重復(fù)名稱翼虫,就像數(shù)據(jù)庫中產(chǎn)生一個唯一的數(shù)字主鍵一樣徒像。

Name Service 已經(jīng)是 Zookeeper 內(nèi)置的功能,你只要調(diào)用 Zookeeper 的 API 就能實現(xiàn)蛙讥。如調(diào)用 create 接口就可以很容易創(chuàng)建一個目錄節(jié)點。

配置管理

配置的管理在分布式應(yīng)用環(huán)境中很常見灭衷,例如同一個應(yīng)用系統(tǒng)需要多臺 PC Server 運行次慢,但是它們運行的應(yīng)用系統(tǒng)的某些配置項是相同的,如果要修改這些相同的配置項翔曲,那么就必須同時修改每臺運行這個應(yīng)用系統(tǒng)的 PC Server迫像,這樣非常麻煩而且容易出錯。

像這樣的配置信息完全可以交給 Zookeeper 來管理瞳遍,將配置信息保存在 Zookeeper 的某個目錄節(jié)點中闻妓,然后將所有需要修改的應(yīng)用機器監(jiān)控配置信息的狀態(tài),一旦配置信息發(fā)生變化掠械,每臺應(yīng)用機器就會收到 Zookeeper 的通知由缆,然后從 Zookeeper 獲取新的配置信息應(yīng)用到系統(tǒng)中注祖。

Zookeeper的配置管理圖

集群管理(服務(wù)治理)(Group Membership)

Zookeeper 能夠很容易的實現(xiàn)集群管理的功能,如有多臺 Server 組成一個服務(wù)集群均唉,那么必須要一個“總管”知道當(dāng)前集群中每臺機器的服務(wù)狀態(tài)是晨,一旦有機器不能提供服務(wù),集群中其它集群必須知道舔箭,從而做出調(diào)整重新分配服務(wù)策略罩缴。同樣當(dāng)增加集群的服務(wù)能力時,就會增加一臺或多臺 Server层扶,同樣也必須讓“總管”知道箫章。

Zookeeper 不僅能夠幫你維護當(dāng)前的集群中機器的服務(wù)狀態(tài),而且能夠幫你選出一個“總管”镜会,讓這個總管來管理集群檬寂,這就是 Zookeeper 的另一個功能 Leader Election。

它們的實現(xiàn)方式都是在 Zookeeper 上創(chuàng)建一個 EPHEMERAL 類型的目錄節(jié)點稚叹,然后每個 Server 在它們創(chuàng)建目錄節(jié)點的父目錄節(jié)點上調(diào)用getChildren()方法并設(shè)置 watch 為 true焰薄,由于是 EPHEMERAL 目錄節(jié)點,當(dāng)創(chuàng)建它的 Server 死去扒袖,這個目錄節(jié)點也隨之被刪除塞茅,所以 Children 將會變化,這時 getChildren()上的 Watch 將會被調(diào)用季率,所以其它 Server 就知道已經(jīng)有某臺 Server 死去了野瘦。新增 Server 也是同樣的原理。

Zookeeper 如何實現(xiàn) Leader Election飒泻,也就是選出一個 Master Server鞭光。和前面的一樣每臺 Server 創(chuàng)建一個 EPHEMERAL 目錄節(jié)點,不同的是它還是一個 SEQUENTIAL 目錄節(jié)點泞遗,所以它是個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點惰许。之所以它是 EPHEMERAL_SEQUENTIAL 目錄節(jié)點,是因為我們可以給每臺 Server 編號史辙,我們可以選擇當(dāng)前是最小編號的 Server 為 Master汹买,假如這個最小編號的 Server 死去,由于是 EPHEMERAL 節(jié)點聊倔,死去的 Server 對應(yīng)的節(jié)點也被刪除晦毙,所以當(dāng)前的節(jié)點列表中又出現(xiàn)一個最小編號的節(jié)點,我們就選擇這個節(jié)點為當(dāng)前 Master耙蔑。這樣就實現(xiàn)了動態(tài)選擇 Master见妒,避免了傳統(tǒng)意義上單 Master 容易出現(xiàn)單點故障的問題。

集群管理結(jié)構(gòu)圖

共享鎖

共享鎖在同一個進程中很容易實現(xiàn)甸陌,但是在跨進程或者在不同 Server 之間就不好實現(xiàn)了须揣。Zookeeper 卻很容易實現(xiàn)這個功能盐股,實現(xiàn)方式也是需要獲得鎖的 Server 創(chuàng)建一個 EPHEMERAL_SEQUENTIAL 目錄節(jié)點,然后調(diào)用 getChildren方法獲取當(dāng)前的目錄節(jié)點列表中最小的目錄節(jié)點是不是就是自己創(chuàng)建的目錄節(jié)點返敬,如果正是自己創(chuàng)建的遂庄,那么它就獲得了這個鎖,如果不是那么它就調(diào)用 exists(String path, boolean watch) 方法并監(jiān)控 Zookeeper 上目錄節(jié)點列表的變化劲赠,一直到自己創(chuàng)建的節(jié)點是列表中最小編號的目錄節(jié)點涛目,從而獲得鎖,釋放鎖很簡單凛澎,只要刪除前面它自己所創(chuàng)建的目錄節(jié)點就行了霹肝。
圖 4. Zookeeper 實現(xiàn) Locks 的流程圖

圖 4. Zookeeper 實現(xiàn) Locks 的流程圖
圖 4. Zookeeper 實現(xiàn) Locks 的流程圖

隊列管理

Zookeeper 可以處理兩種類型的隊列:

  • 當(dāng)一個隊列的成員都聚齊時,這個隊列才可用塑煎,否則一直等待所有成員到達沫换,這種是同步隊列。
  • 隊列按照 FIFO 方式進行入隊和出隊操作最铁,例如實現(xiàn)生產(chǎn)者和消費者模型讯赏。

同步隊列用 Zookeeper 實現(xiàn)的實現(xiàn)思路如下:
創(chuàng)建一個父目錄 /synchronizing,每個成員都監(jiān)控標(biāo)志(Set Watch)位目錄 /synchronizing/start 是否存在冷尉,然后每個成員都加入這個隊列漱挎,加入隊列的方式就是創(chuàng)建 /synchronizing/member_i 的臨時目錄節(jié)點,然后每個成員獲取 / synchronizing 目錄的所有目錄節(jié)點雀哨,也就是 member_i磕谅。判斷 i 的值是否已經(jīng)是成員的個數(shù),如果小于成員個數(shù)等待 /synchronizing/start 的出現(xiàn)雾棺,如果已經(jīng)相等就創(chuàng)建 /synchronizing/start膊夹。
用下面的流程圖更容易理解:
圖 5. 同步隊列流程圖


圖 5. 同步隊列流程圖
圖 5. 同步隊列流程圖

同步隊列的關(guān)鍵代碼如下,完整的代碼請看附件:

一個基本的Zookeeper 配置


    # 心跳包的發(fā)送頻率,單位是毫秒
    tickTime=2000
    
    # Follower 在初始化連接Leader時最大的超時時間
    # 在這里既為 10 * tickTime = 2000 ms
    initLimit=10
    
    # 這個配置項標(biāo)識 Leader 與 Follower 之間發(fā)送消息捌浩,
    # 請求和應(yīng)答時間長度放刨,最長不能超過多少個 tickTime 的時間長度,總的時間長度就是 5*2000= 10 秒
    syncLimit=5
    
    
    # 保存內(nèi)存快照和
    dataDir=../dataDir
    
    #   保存日志的目錄
    dataLogDir= ../dataLogDir
    
    # 提供給客戶端連接Zookeeper服務(wù)的端口
    clientPort=2181
    
    # Zookeeper能夠管理的最大的客戶端連接,一般情況下不需要
    #maxClientCnxns=60

    # 下面的配置是集群式的配置尸饺。宏榕。。侵佃。
    #server.A=B:C:D:
    #其中 A 是一個數(shù)字,表示這個是第幾號服務(wù)器奠支;
    #B 是這個服務(wù)器的 ip 地址馋辈;C 表示的是這個服務(wù)器與集群中的 Leader 服務(wù)器交換信息的端口;
    #D 表示的是萬一集群中的 Leader 服務(wù)器掛了倍谜,需要一個端口來重新進行選舉迈螟,選出一個新的 Leader叉抡,而這個端口就是用來執(zhí)行選舉時服務(wù)器相互通信的端口。
    server.1=localhost:8081:9001    
    server.2=localhost:8082:9002
    server.3=localhost:8083:9003
# 集群內(nèi)服務(wù)的數(shù)量最少要>= 3

遇到的問題

  • log4j 文件要放 到當(dāng)前的classPath下面答毫。除非你去配置啟動參數(shù)
  • 官方的example 中的 host:port 指的是leader(single) server的host:port
  • 在啟動Zkserver 后褥民,點擊進入zkcli 界面,然后新建 - create /node data....example 里面的例子就是監(jiān)控這里面的數(shù)據(jù)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末洗搂,一起剝皮案震驚了整個濱河市消返,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌耘拇,老刑警劉巖撵颊,帶你破解...
    沈念sama閱讀 216,919評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異惫叛,居然都是意外死亡倡勇,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,567評論 3 392
  • 文/潘曉璐 我一進店門嘉涌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來妻熊,“玉大人,你說我怎么就攤上這事仑最∪右郏” “怎么了?”我有些...
    開封第一講書人閱讀 163,316評論 0 353
  • 文/不壞的土叔 我叫張陵词身,是天一觀的道長厅目。 經(jīng)常有香客問我,道長法严,這世上最難降的妖魔是什么损敷? 我笑而不...
    開封第一講書人閱讀 58,294評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮深啤,結(jié)果婚禮上拗馒,老公的妹妹穿的比我還像新娘。我一直安慰自己溯街,他們只是感情好诱桂,可當(dāng)我...
    茶點故事閱讀 67,318評論 6 390
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著呈昔,像睡著了一般挥等。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上堤尾,一...
    開封第一講書人閱讀 51,245評論 1 299
  • 那天肝劲,我揣著相機與錄音,去河邊找鬼。 笑死辞槐,一個胖子當(dāng)著我的面吹牛掷漱,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播榄檬,決...
    沈念sama閱讀 40,120評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼卜范,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了鹿榜?” 一聲冷哼從身側(cè)響起海雪,我...
    開封第一講書人閱讀 38,964評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎犬缨,沒想到半個月后喳魏,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,376評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡怀薛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,592評論 2 333
  • 正文 我和宋清朗相戀三年刺彩,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片枝恋。...
    茶點故事閱讀 39,764評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡创倔,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出焚碌,到底是詐尸還是另有隱情畦攘,我是刑警寧澤,帶...
    沈念sama閱讀 35,460評論 5 344
  • 正文 年R本政府宣布十电,位于F島的核電站知押,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏鹃骂。R本人自食惡果不足惜台盯,卻給世界環(huán)境...
    茶點故事閱讀 41,070評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望畏线。 院中可真熱鬧静盅,春花似錦、人聲如沸寝殴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,697評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚣常。三九已至市咽,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間抵蚊,已是汗流浹背魂务。 一陣腳步聲響...
    開封第一講書人閱讀 32,846評論 1 269
  • 我被黑心中介騙來泰國打工曼验, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人粘姜。 一個月前我還...
    沈念sama閱讀 47,819評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像熔酷,于是被迫代替她去往敵國和親孤紧。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,665評論 2 354

推薦閱讀更多精彩內(nèi)容