面試官問:ZooKeeper 一致性協(xié)議 ZAB 原理

一致性協(xié)議有很多種爆捞,比如 Paxos奉瘤,Raft,2PC,3PC等等盗温,今天我們講一種協(xié)議藕赞,ZAB 協(xié)議,該協(xié)議應(yīng)該是所有一致性協(xié)議中生產(chǎn)環(huán)境中應(yīng)用最多的了卖局。為什么呢斧蜕?因?yàn)樗菫?Zookeeper 設(shè)計(jì)的分布式一致性協(xié)議!

一砚偶、什么是 ZAB 協(xié)議批销? ZAB 協(xié)議介紹

1、ZAB 協(xié)議全稱:Zookeeper Atomic Broadcast(Zookeeper 原子廣播協(xié)議)染坯。

2芭梯、Zookeeper 是一個(gè)為分布式應(yīng)用提供高效且可靠的分布式協(xié)調(diào)服務(wù)次乓。在解決分布式一致性方面,Zookeeper 并沒有使用 Paxos ,而是采用了 ZAB 協(xié)議搞乏。

3澄步、ZAB 協(xié)議定義:ZAB 協(xié)議是為分布式協(xié)調(diào)服務(wù) Zookeeper 專門設(shè)計(jì)的一種支持 崩潰恢復(fù) 和 原子廣播 協(xié)議裸违。下面我們會(huì)重點(diǎn)講這兩個(gè)東西呢岗。

4、基于該協(xié)議儒喊,Zookeeper 實(shí)現(xiàn)了一種 主備模式 的系統(tǒng)架構(gòu)來保持集群中各個(gè)副本之間 數(shù)據(jù)一致性镣奋。具體如下圖所示:

上圖顯示了 Zookeeper 如何處理集群中的數(shù)據(jù)。所有客戶端寫入數(shù)據(jù)都是寫入到 主進(jìn)程(稱為 Leader)中怀愧,然后侨颈,由 Leader 復(fù)制到備份進(jìn)程(稱為 Follower)中。從而保證數(shù)據(jù)一致性芯义。從設(shè)計(jì)上看肛搬,和 Raft 類似。

那么復(fù)制過程又是如何的呢毕贼?

復(fù)制過程類似 2PC温赔,ZAB 只需要 Follower 有一半以上返回 Ack 信息就可以執(zhí)行提交,大大減小了同步阻塞鬼癣。也提高了可用性陶贼。

簡單介紹完,開始重點(diǎn)介紹 消息廣播 和 崩潰恢復(fù)待秃。整個(gè) Zookeeper 就是在這兩個(gè)模式之間切換拜秧。 簡而言之,當(dāng) Leader 服務(wù)可以正常使用章郁,就進(jìn)入消息廣播模式枉氮,當(dāng) Leader 不可用時(shí)志衍,則進(jìn)入崩潰恢復(fù)模式。

二聊替、消息廣播

ZAB 協(xié)議的消息廣播過程使用的是一個(gè)原子廣播協(xié)議楼肪,類似一個(gè) 二階段提交過程。對于客戶端發(fā)送的寫請求惹悄,全部由 Leader 接收春叫,Leader 將請求封裝成一個(gè)事務(wù) Proposal,將其發(fā)送給所有 Follwer 泣港,然后暂殖,根據(jù)所有 Follwer 的反饋,如果超過半數(shù)成功響應(yīng)当纱,則執(zhí)行 commit 操作(先提交自己呛每,再發(fā)送 commit 給所有 Follwer)。

基本上坡氯,整個(gè)廣播流程分為 3 步驟:

1莉给、將數(shù)據(jù)都復(fù)制到 Follwer 中

image

2、等待 Follwer 回應(yīng) Ack廉沮,最低超過半數(shù)即成功

image

3、當(dāng)超過半數(shù)成功回應(yīng)徐矩,則執(zhí)行 commit 滞时,同時(shí)提交自己

image

通過以上 3 個(gè)步驟,就能夠保持集群之間數(shù)據(jù)的一致性滤灯。實(shí)際上坪稽,在 Leader 和 Follwer 之間還有一個(gè)消息隊(duì)列,用來解耦他們之間的耦合鳞骤,避免同步窒百,實(shí)現(xiàn)異步解耦。

還有一些細(xì)節(jié):

1豫尽、Leader 在收到客戶端請求之后篙梢,會(huì)將這個(gè)請求封裝成一個(gè)事務(wù),并給這個(gè)事務(wù)分配一個(gè)全局遞增的唯一 ID美旧,稱為事務(wù)ID(ZXID)渤滞,ZAB 兮協(xié)議需要保證事務(wù)的順序,因此必須將每一個(gè)事務(wù)按照 ZXID 進(jìn)行先后排序然后處理榴嗅。

2妄呕、在 Leader 和 Follwer 之間還有一個(gè)消息隊(duì)列,用來解耦他們之間的耦合嗽测,解除同步阻塞绪励。

3、zookeeper集群中為保證任何所有進(jìn)程能夠有序的順序執(zhí)行,只能是 Leader 服務(wù)器接受寫請求疏魏,即使是 Follower 服務(wù)器接受到客戶端的請求停做,也會(huì)轉(zhuǎn)發(fā)到 Leader 服務(wù)器進(jìn)行處理。

4蠢护、實(shí)際上雅宾,這是一種簡化版本的 2PC,不能解決單點(diǎn)問題葵硕。等會(huì)我們會(huì)講述 ZAB 如何解決單點(diǎn)問題(即 Leader 崩潰問題)眉抬。

三、崩潰恢復(fù)

剛剛我們說消息廣播過程中懈凹,Leader 崩潰怎么辦蜀变?還能保證數(shù)據(jù)一致嗎?如果 Leader 先本地提交了介评,然后 commit 請求沒有發(fā)送出去库北,怎么辦?

實(shí)際上们陆,當(dāng) Leader 崩潰寒瓦,即進(jìn)入我們開頭所說的崩潰恢復(fù)模式(崩潰即:Leader 失去與過半 Follwer 的聯(lián)系)。下面來詳細(xì)講述坪仇。

假設(shè)1:Leader 在復(fù)制數(shù)據(jù)給所有 Follwer 之后崩潰杂腰,怎么辦?

假設(shè)2:Leader 在收到 Ack 并提交了自己椅文,同時(shí)發(fā)送了部分 commit 出去之后崩潰怎么辦喂很?

針對這些問題,ZAB 定義了 2 個(gè)原則:

1皆刺、ZAB 協(xié)議確保那些已經(jīng)在 Leader 提交的事務(wù)最終會(huì)被所有服務(wù)器提交少辣。

2、ZAB 協(xié)議確保丟棄那些只在 Leader 提出/復(fù)制羡蛾,但沒有提交的事務(wù)漓帅。

所以,ZAB 設(shè)計(jì)了下面這樣一個(gè)選舉算法:能夠確保提交已經(jīng)被 Leader 提交的事務(wù)痴怨,同時(shí)丟棄已經(jīng)被跳過的事務(wù)煎殷。

針對這個(gè)要求,如果讓 Leader 選舉算法能夠保證新選舉出來的 Leader 服務(wù)器擁有集群總所有機(jī)器編號(hào)(即 ZXID 最大)的事務(wù)腿箩,那么就能夠保證這個(gè)新選舉出來的 Leader 一定具有所有已經(jīng)提交的提案豪直。

而且這么做有一個(gè)好處是:可以省去 Leader 服務(wù)器檢查事務(wù)的提交和丟棄工作的這一步操作。

image

這樣珠移,我們剛剛假設(shè)的兩個(gè)問題便能夠解決弓乙。假設(shè) 1 最終會(huì)丟棄調(diào)用沒有提交的數(shù)據(jù)末融,假設(shè) 2 最終會(huì)同步所有服務(wù)器的數(shù)據(jù)。這個(gè)時(shí)候暇韧,就引出了一個(gè)問題勾习,如何同步?

四懈玻、數(shù)據(jù)同步

當(dāng)崩潰恢復(fù)之后巧婶,需要在正式工作之前(接收客戶端請求),Leader 服務(wù)器首先確認(rèn)事務(wù)是否都已經(jīng)被過半的 Follwer 提交了涂乌,即是否完成了數(shù)據(jù)同步艺栈。目的是為了保持?jǐn)?shù)據(jù)一致。

當(dāng)所有的 Follwer 服務(wù)器都成功同步之后湾盒,Leader 會(huì)將這些服務(wù)器加入到可用服務(wù)器列表中湿右。

實(shí)際上,Leader 服務(wù)器處理或丟棄事務(wù)都是依賴著 ZXID 的罚勾,那么這個(gè) ZXID 如何生成呢毅人?

答:在 ZAB 協(xié)議的事務(wù)編號(hào) ZXID 設(shè)計(jì)中,ZXID 是一個(gè) 64 位的數(shù)字尖殃,其中低 32 位可以看作是一個(gè)簡單的遞增的計(jì)數(shù)器丈莺,針對客戶端的每一個(gè)事務(wù)請求,Leader 都會(huì)產(chǎn)生一個(gè)新的事務(wù) Proposal 并對該計(jì)數(shù)器進(jìn)行 + 1 操作送丰。

而高 32 位則代表了 Leader 服務(wù)器上取出本地日志中最大事務(wù) Proposal 的 ZXID缔俄,并從該 ZXID 中解析出對應(yīng)的 epoch 值,然后再對這個(gè)值加一蚪战。

image

高 32 位代表了每代 Leader 的唯一性,低 32 代表了每代 Leader 中事務(wù)的唯一性铐懊。同時(shí)邀桑,也能讓 Follwer 通過高 32 位識(shí)別不同的 Leader。簡化了數(shù)據(jù)恢復(fù)流程科乎。

基于這樣的策略:當(dāng) Follower 鏈接上 Leader 之后壁畸,Leader 服務(wù)器會(huì)根據(jù)自己服務(wù)器上最后被提交的 ZXID 和 Follower 上的 ZXID 進(jìn)行比對,比對結(jié)果要么回滾茅茂,要么和 Leader 同步捏萍。

五、總結(jié)

到了總結(jié)的時(shí)刻了空闲。

ZAB 協(xié)議和我們之前看的 Raft 協(xié)議實(shí)際上是有相似之處的令杈,比如都有一個(gè) Leader,用來保證一致性(Paxos 并沒有使用 Leader 機(jī)制保證一致性)碴倾。再有采取過半即成功的機(jī)制保證服務(wù)可用(實(shí)際上 Paxos 和 Raft 都是這么做的)逗噩。

ZAB 讓整個(gè) Zookeeper 集群在兩個(gè)模式之間轉(zhuǎn)換掉丽,消息廣播和崩潰恢復(fù),消息廣播可以說是一個(gè)簡化版本的 2PC异雁,通過崩潰恢復(fù)解決了 2PC 的單點(diǎn)問題捶障,通過隊(duì)列解決了 2PC 的同步阻塞問題。

而支持崩潰恢復(fù)后數(shù)據(jù)準(zhǔn)確性的就是數(shù)據(jù)同步了纲刀,數(shù)據(jù)同步基于事務(wù)的 ZXID 的唯一性來保證项炼。通過 + 1 操作可以辨別事務(wù)的先后順序。

歡迎工作一到五年的Java工程師朋友們加入Java高并發(fā): 957734884示绊,

群內(nèi)提供免費(fèi)的Java架構(gòu)學(xué)習(xí)資料(里面有高可用锭部、高并發(fā)、高性能及分布式耻台、Jvm性能調(diào)優(yōu)空免、Spring源碼,MyBatis盆耽,Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個(gè)知識(shí)點(diǎn)的架構(gòu)資料)合理利用自己每一分每一秒的時(shí)間來學(xué)習(xí)提升自己蹋砚,不要再用"沒有時(shí)間“來掩飾自己思想上的懶惰!趁年輕摄杂,使勁拼坝咐,給未來的自己一個(gè)交代!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末析恢,一起剝皮案震驚了整個(gè)濱河市墨坚,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌映挂,老刑警劉巖泽篮,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異柑船,居然都是意外死亡帽撑,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進(jìn)店門鞍时,熙熙樓的掌柜王于貴愁眉苦臉地迎上來亏拉,“玉大人,你說我怎么就攤上這事逆巍〖疤粒” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵锐极,是天一觀的道長笙僚。 經(jīng)常有香客問我,道長灵再,這世上最難降的妖魔是什么味咳? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任庇勃,我火速辦了婚禮,結(jié)果婚禮上槽驶,老公的妹妹穿的比我還像新娘责嚷。我一直安慰自己,他們只是感情好掂铐,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布罕拂。 她就那樣靜靜地躺著,像睡著了一般全陨。 火紅的嫁衣襯著肌膚如雪爆班。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天辱姨,我揣著相機(jī)與錄音柿菩,去河邊找鬼。 笑死雨涛,一個(gè)胖子當(dāng)著我的面吹牛枢舶,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播替久,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼凉泄,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了蚯根?” 一聲冷哼從身側(cè)響起后众,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎颅拦,沒想到半個(gè)月后蒂誉,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡距帅,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年右锨,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锥债。...
    茶點(diǎn)故事閱讀 39,785評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡陡蝇,死狀恐怖痊臭,靈堂內(nèi)的尸體忽然破棺而出哮肚,到底是詐尸還是另有隱情,我是刑警寧澤广匙,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布允趟,位于F島的核電站,受9級(jí)特大地震影響鸦致,放射性物質(zhì)發(fā)生泄漏潮剪。R本人自食惡果不足惜涣楷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望抗碰。 院中可真熱鬧狮斗,春花似錦、人聲如沸弧蝇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽看疗。三九已至沙峻,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間两芳,已是汗流浹背摔寨。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留怖辆,地道東北人是复。 一個(gè)月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像疗隶,于是被迫代替她去往敵國和親佑笋。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 聲明:本文寫的時(shí)候斑鼻,當(dāng)時(shí)就是完全不懂zk蒋纬,邊看網(wǎng)上的文章邊學(xué)習(xí)歸納和整理,這不是我的產(chǎn)出坚弱,不用點(diǎn)贊打賞蜀备。大家理智友...
    _Zy閱讀 76,042評論 38 129
  • Valentine 轉(zhuǎn)載請標(biāo)明出處碾阁。 Zookeeper的由來 1、各個(gè)節(jié)點(diǎn)的數(shù)據(jù)一致性些楣;2脂凶、怎么保證任務(wù)只在一個(gè)...
    valentine_liang閱讀 1,104評論 2 10
  • 最近在學(xué)習(xí)ZooKeeper,一直想寫篇相關(guān)博文記錄下學(xué)習(xí)內(nèi)容愁茁,礙于自己是個(gè)拖延癥重度患者總是停留在準(zhǔn)備階段蚕钦,直到...
    Lexus90511閱讀 7,930評論 5 14
  • 一個(gè)真正的寫數(shù)據(jù)流程是怎么樣的?一個(gè)真正的讀數(shù)據(jù)流程是怎么樣的鹅很?一個(gè)真正的同步數(shù)據(jù)流程是怎么樣的嘶居?從哪里到哪里?什...
    時(shí)待吾閱讀 4,015評論 0 14
  • 我單位經(jīng)研究促煮,愿意接收貴校_____屆_________專業(yè)_____同學(xué)到我單位(公司)進(jìn)行實(shí)習(xí)邮屁,從事_____...
    她說wink閱讀 177評論 0 0