ZooKeeper 入門介紹

1. ZooKeeper 入門

1.1 是什么

ZooKeeper 是一個(gè)開源的分布式的注祖,為分布式應(yīng)用提供協(xié)調(diào)服務(wù)的應(yīng)用敞峭。

工作機(jī)制:

ZooKeeper 從設(shè)計(jì)模式角度來理解:是一個(gè)基于觀察者模式的分布式服務(wù)管理框架午乓,它負(fù)責(zé)存儲和管理大家都關(guān)心的數(shù)據(jù),然后接受觀察者的注冊,一旦這些數(shù)據(jù)的狀態(tài)發(fā)生變化,ZooKeeper 就將負(fù)責(zé)通知已經(jīng)在 ZooKeeper 上注冊的那些觀察者做出相應(yīng)的反應(yīng)邑遏。

ZooKeeper = 文件系統(tǒng)+通知機(jī)制

1.2 特點(diǎn):

ZooKeeper特點(diǎn).png

1)ZooKeeper:一個(gè)領(lǐng)導(dǎo)者(Leader),多個(gè)跟隨者(Follower)組成的集群恰矩;

2)集群只要有半數(shù)以上的節(jié)點(diǎn)存活记盒,ZooKeeper 集群就能正常服務(wù)。

3)全局?jǐn)?shù)據(jù)一致:每個(gè) Server 保存一份相同的數(shù)據(jù)副本外傅,Client 無論連接到哪個(gè) Server纪吮,數(shù)據(jù)都是一致的俩檬。

4)更新請求順序進(jìn)行,一次數(shù)據(jù)更新要么成功碾盟,要么失敗棚辽。

5)數(shù)據(jù)更新原子性,一次數(shù)據(jù)更新要么成功巷疼,要么失敗晚胡。

6)實(shí)時(shí)性灵奖,在一定時(shí)間范圍內(nèi)嚼沿,Client 能讀到最新數(shù)據(jù)。

1.3 ZooKeeper 數(shù)據(jù)結(jié)構(gòu)

ZK數(shù)據(jù)結(jié)構(gòu).png

ZooKeeper 數(shù)據(jù)模型的結(jié)構(gòu)與 Unix 文件系統(tǒng)很類似瓷患,整體上可以看做是一棵樹骡尽,每個(gè)節(jié)點(diǎn)稱作一個(gè) ZNode。每一個(gè) ZNode 默認(rèn)能夠存儲 1MB 的數(shù)據(jù)擅编,每個(gè) ZNode 都可以通過其路徑唯一標(biāo)識攀细。

1.4 應(yīng)用場景

提供的服務(wù)包括:統(tǒng)一命名服務(wù)、統(tǒng)一配置管理爱态、統(tǒng)一集群管理谭贪、服務(wù)器節(jié)點(diǎn)動(dòng)態(tài)上下線、軟負(fù)載均衡等锦担。

  • 統(tǒng)一命名服務(wù)
應(yīng)用場景-統(tǒng)一命名服務(wù).png

在分布式環(huán)境下俭识,經(jīng)常需要對應(yīng)用/服務(wù)進(jìn)行統(tǒng)一命名,便于識別洞渔。
例如:IP 不容易記住套媚,而域名容易記住。

  • 統(tǒng)一配置管理


    應(yīng)用場景-統(tǒng)一配置管理.png
  1. 分布式環(huán)境下磁椒,配置文件同步非常常見堤瘤。

(1)一般要求一個(gè)集群中,所有節(jié)點(diǎn)的配置信息是一致的浆熔,比如 Kafka 集群本辐。

(2)對配置文件修改后,希望能夠快速同步到各個(gè)節(jié)點(diǎn)上医增。

2)配置管理可交由 ZooKeeper 實(shí)現(xiàn)师郑。

(1)可將配置信息寫入 ZooKeeper 上的一個(gè) Znode。

(2)各個(gè)客戶端服務(wù)監(jiān)聽這個(gè) Znode调窍。

(3)一旦 Znode 中的數(shù)據(jù)被修改宝冕,ZooKeeper 將通知各個(gè)客戶端服務(wù)器。

  • 統(tǒng)一集群管理
應(yīng)用場景-統(tǒng)一集群管理.png

1)分布式環(huán)境中邓萨,實(shí)時(shí)掌握每個(gè)節(jié)點(diǎn)的狀態(tài)是必要的地梨。

(1)可根據(jù)節(jié)點(diǎn)實(shí)時(shí)狀態(tài)做出一些調(diào)整菊卷。

2)ZooKeeper 可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)控節(jié)點(diǎn)狀態(tài)變化

(1)可將節(jié)點(diǎn)信息寫入 ZooKeeper 上的一個(gè) ZNode。

(2)監(jiān)聽這個(gè) ZNode 可獲取它的實(shí)時(shí)狀態(tài)變化宝剖。

  • 服務(wù)器動(dòng)態(tài)上下線
應(yīng)用場景-服務(wù)器動(dòng)態(tài)上下線.png

客戶端能實(shí)時(shí)洞察到服務(wù)器上下線的變化洁闰。

  • 軟負(fù)載均衡
應(yīng)用場景-軟負(fù)載均衡.png
在 ZooKeeper 中記錄沒太服務(wù)器的訪問數(shù),讓訪問數(shù)最少的服務(wù)器去處理最新的客戶端請求万细。

2. ZooKeeper 安裝配置

2.1 安裝 部署

1)安裝

學(xué)習(xí)環(huán)境Mac通過 brew 安裝扑眉,過程略....
TODO:Linux 集群安裝待補(bǔ)充......

  1. 配置修改

brew 安裝 ZooKeeper 安裝配置文件位于/usr/local/etc/zookeeper下;

實(shí)際生產(chǎn)中 Linux 位于 ZooKeeper 安裝目錄 conf 下赖钞。

修改如下內(nèi)容:dataDir=/opt/module/zookeeper-3.4.10/zkData

(3)在/opt/module/zookeeper-3.4.10/這個(gè)目錄上創(chuàng)建zkData文件夾

3)操作 ZooKeeper

以下操作場景為mac 環(huán)境下 brew 本地安裝ZooKeeper演示環(huán)境腰素,Linux 環(huán)境略有不同。

? (3)啟動(dòng)客戶端

?  ~ zkCli
Connecting to localhost:2181
Welcome to ZooKeeper!
JLine support is enabled
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]

? (4)退出客戶端

[zk: localhost:2181(CONNECTED) 0] quit
Quitting...

? (5)停止 ZooKeeper

?  ~ zkserver stop
ZooKeeper JMX enabled by default
Using config: /usr/local/etc/zookeeper/zoo.cfg
Stopping zookeeper ... STOPPED

2.2 配置參數(shù)解讀

Zookeeper中的配置文件zoo.cfg中參數(shù)含義解讀如下:

1.tickTime =2000:通信心跳數(shù)雪营,Zookeeper服務(wù)器與客戶端心跳時(shí)間弓千,單位毫秒

Zookeeper使用的基本時(shí)間,服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔献起,也就是每個(gè)tickTime時(shí)間就會發(fā)送一個(gè)心跳洋访,時(shí)間單位為毫秒。

它用于心跳機(jī)制谴餐,并且設(shè)置最小的session超時(shí)時(shí)間為兩倍心跳時(shí)間姻政。(session的最小超時(shí)時(shí)間是2*tickTime)

2.initLimit =10:LF初始通信時(shí)限

集群中的Follower跟隨者服務(wù)器與Leader領(lǐng)導(dǎo)者服務(wù)器之間初始連接時(shí)能容忍的最多心跳數(shù)(tickTime的數(shù)量),用它來限定集群中的Zookeeper服務(wù)器連接到Leader的時(shí)限岂嗓。

3.syncLimit =5:LF同步通信時(shí)限

集群中Leader與Follower之間的最大響應(yīng)時(shí)間單位汁展,假如響應(yīng)超過syncLimit * tickTime,Leader認(rèn)為Follwer死掉摄闸,從服務(wù)器列表中刪除Follwer善镰。

4.dataDir:數(shù)據(jù)文件目錄+數(shù)據(jù)持久化路徑

主要用于保存Zookeeper中的數(shù)據(jù)。

5.clientPort =2181:客戶端連接端口

監(jiān)聽客戶端連接的端口年枕。

3. ZooKeeper 內(nèi)部原理

3.1 選舉機(jī)制

1)半數(shù)機(jī)制:集群中半數(shù)以上機(jī)器存活炫欺,集群可用。所以Zookeeper適合安裝奇數(shù)臺服務(wù)器熏兄。

2)Zookeeper雖然在配置文件中并沒有指定Master和Slave品洛。但是,Zookeeper工作時(shí)摩桶,是有一個(gè)節(jié)點(diǎn)為Leader桥状,其他則為Follower,Leader是通過內(nèi)部的選舉機(jī)制臨時(shí)產(chǎn)生的硝清。

3)以一個(gè)簡單的例子來說明整個(gè)選舉的過程辅斟。

假設(shè)有五臺服務(wù)器組成的Zookeeper集群,它們的id從1-5芦拿,同時(shí)它們都是最新啟動(dòng)的士飒,也就是沒有歷史數(shù)據(jù)查邢,在存放數(shù)據(jù)量這一點(diǎn)上,都是一樣的酵幕。假設(shè)這些服務(wù)器依序啟動(dòng)扰藕,來看看會發(fā)生什么,如圖所示芳撒。

選舉機(jī)制.png

(1)服務(wù)器1啟動(dòng)邓深,此時(shí)只有它一臺服務(wù)器啟動(dòng)了,它發(fā)出去的報(bào)文沒有任何響應(yīng)笔刹,所以它的選舉狀態(tài)一直是LOOKING狀態(tài)芥备。

(2)服務(wù)器2啟動(dòng),它與最開始啟動(dòng)的服務(wù)器1進(jìn)行通信徘熔,互相交換自己的選舉結(jié)果门躯,由于兩者都沒有歷史數(shù)據(jù)淆党,所以id值較大的服務(wù)器2勝出酷师,但是由于沒有達(dá)到超過半數(shù)以上的服務(wù)器都同意選舉它(這個(gè)例子中的半數(shù)以上是3),所以服務(wù)器1染乌、2還是繼續(xù)保持LOOKING狀態(tài)山孔。

(3)服務(wù)器3啟動(dòng),根據(jù)前面的理論分析荷憋,服務(wù)器3成為服務(wù)器1台颠、2、3中的老大勒庄,而與上面不同的是串前,此時(shí)有三臺服務(wù)器選舉了它,所以它成為了這次選舉的Leader实蔽。

(4)服務(wù)器4啟動(dòng)荡碾,根據(jù)前面的分析,理論上服務(wù)器4應(yīng)該是服務(wù)器1局装、2坛吁、3、4中最大的铐尚,但是由于前面已經(jīng)有半數(shù)以上的服務(wù)器選舉了服務(wù)器3拨脉,所以它只能接收當(dāng)小弟的命了。

(5)服務(wù)器5啟動(dòng)宣增,同4一樣當(dāng)小弟玫膀。

關(guān)于ZooKeeper選舉機(jī)制的更多介紹,請參考:http://www.reibang.com/p/3476587a6fa1

3.2 節(jié)點(diǎn)類型

節(jié)點(diǎn)類型.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末爹脾,一起剝皮案震驚了整個(gè)濱河市帖旨,隨后出現(xiàn)的幾起案子劳景,更是在濱河造成了極大的恐慌,老刑警劉巖碉就,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件盟广,死亡現(xiàn)場離奇詭異,居然都是意外死亡瓮钥,警方通過查閱死者的電腦和手機(jī)筋量,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來碉熄,“玉大人桨武,你說我怎么就攤上這事⌒饨颍” “怎么了呀酸?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長琼梆。 經(jīng)常有香客問我性誉,道長,這世上最難降的妖魔是什么茎杂? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任错览,我火速辦了婚禮,結(jié)果婚禮上煌往,老公的妹妹穿的比我還像新娘倾哺。我一直安慰自己,他們只是感情好刽脖,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布羞海。 她就那樣靜靜地躺著,像睡著了一般曲管。 火紅的嫁衣襯著肌膚如雪却邓。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天翘地,我揣著相機(jī)與錄音申尤,去河邊找鬼。 笑死衙耕,一個(gè)胖子當(dāng)著我的面吹牛昧穿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播橙喘,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼时鸵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起饰潜,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤初坠,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后彭雾,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體碟刺,經(jīng)...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年薯酝,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了半沽。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,424評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡吴菠,死狀恐怖者填,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情做葵,我是刑警寧澤占哟,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站酿矢,受9級特大地震影響榨乎,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜棠涮,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一谬哀、第九天 我趴在偏房一處隱蔽的房頂上張望刺覆。 院中可真熱鬧严肪,春花似錦、人聲如沸谦屑。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽氢橙。三九已至酝枢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間悍手,已是汗流浹背帘睦。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留坦康,地道東北人竣付。 一個(gè)月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像滞欠,于是被迫代替她去往敵國和親古胆。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內(nèi)容