轉(zhuǎn)載：https://www.cnblogs.com/kevingrace/p/12433503.html

關(guān)于集群中的"腦裂"問題掠械，之前已經(jīng)在這里詳細介紹過绪爸，下面重點說下Zookeeper腦裂問題的處理辦法到逊。ooKeeper是用來協(xié)調(diào)（同步）分布式進程的服務(wù)用狱，提供了一個簡單高性能的協(xié)調(diào)內(nèi)核贴膘，用戶可以在此之上構(gòu)建更多復雜的分布式協(xié)調(diào)功能译仗。腦裂通常會出現(xiàn)在集群環(huán)境中抬虽，比如ElasticSearch、Zookeeper集群纵菌，而這些集群環(huán)境有一個統(tǒng)一的特點阐污，就是它們有一個大腦，比如ElasticSearch集群中有Master節(jié)點咱圆，Zookeeper集群中有Leader節(jié)點笛辟。

一、 Zookeeper 集群節(jié)點為什么要部署成奇數(shù)
zookeeper容錯指的是：當宕掉幾個zookeeper節(jié)點服務(wù)器之后序苏，剩下的個數(shù)必須大于宕掉的個數(shù)手幢，也就是剩下的節(jié)點服務(wù)數(shù)必須大于n/2，這樣zookeeper集群才可以繼續(xù)使用忱详，無論奇偶數(shù)都可以選舉leader围来。例如5臺zookeeper節(jié)點機器最多宕掉2臺，還可以繼續(xù)使用匈睁，因為剩下3臺大于5/2管钳。至于為什么最好為奇數(shù)個節(jié)點？這樣是為了以最大容錯服務(wù)器個數(shù)的條件下软舌，能節(jié)省資源才漆。比如，最大容錯為2的情況下佛点，對應(yīng)的zookeeper服務(wù)數(shù)醇滥，奇數(shù)為5黎比，而偶數(shù)為6，也就是6個zookeeper服務(wù)的情況下最多能宕掉2個服務(wù)鸳玩，所以從節(jié)約資源的角度看阅虫，沒必要部署6（偶數(shù)）個zookeeper服務(wù)節(jié)點。

zookeeper集群有這樣一個特性：集群中只要有過半的機器是正常工作的不跟，那么整個集群對外就是可用的颓帝。也就是說如果有2個zookeeper節(jié)點，那么只要有1個zookeeper節(jié)點死了窝革，那么zookeeper服務(wù)就不能用了购城，因為1沒有過半，所以2個zookeeper的死亡容忍度為0虐译；同理瘪板，要是有3個zookeeper，一個死了漆诽，還剩下2個正常的侮攀，過半了，所以3個zookeeper的容忍度為1厢拭；同理也可以多列舉幾個：2->0; 3->1; 4->1; 5->2; 6->2 就會發(fā)現(xiàn)一個規(guī)律兰英，2n和2n-1的容忍度是一樣的，都是n-1供鸠，所以為了更加高效畦贸，何必增加那一個不必要的zookeeper呢。所以說回季，根據(jù)以上可以得出結(jié)論：從資源節(jié)省的角度來考慮家制，zookeeper集群的節(jié)點最好要部署成奇數(shù)個正林！

二泡一、 Zookeeper 集群中的"腦裂"場景說明
對于一個集群，想要提高這個集群的可用性觅廓，通常會采用多機房部署鼻忠，比如現(xiàn)在有一個由6臺zkServer所組成的一個集群，部署在了兩個機房：

image

正常情況下杈绸，此集群只會有一個Leader帖蔓，那么如果機房之間的網(wǎng)絡(luò)斷了之后，兩個機房內(nèi)的zkServer還是可以相互通信的瞳脓，如果不考慮過半機制塑娇，那么就會出現(xiàn)每個機房內(nèi)部都將選出一個Leader。

image

這就相當于原本一個集群劫侧，被分成了兩個集群埋酬，出現(xiàn)了兩個"大腦"，這就是所謂的"腦裂"現(xiàn)象。對于這種情況芦瘾，其實也可以看出來富纸，原本應(yīng)該是統(tǒng)一的一個集群對外提供服務(wù)的，現(xiàn)在變成了兩個集群同時對外提供服務(wù)珍特，如果過了一會祝峻，斷了的網(wǎng)絡(luò)突然聯(lián)通了，那么此時就會出現(xiàn)問題了扎筒，兩個集群剛剛都對外提供服務(wù)了莱找，數(shù)據(jù)該怎么合并，數(shù)據(jù)沖突怎么解決等等問題砸琅。剛剛在說明腦裂場景時有一個前提條件就是沒有考慮過半機制宋距，所以實際上Zookeeper集群中是不會輕易出現(xiàn)腦裂問題的，原因在于過半機制症脂。

zookeeper的過半機制：在領(lǐng)導者選舉的過程中谚赎，如果某臺zkServer獲得了超過半數(shù)的選票，則此zkServer就可以成為Leader了诱篷。舉個簡單的例子：如果現(xiàn)在集群中有5臺zkServer壶唤，那么half=5/2=2，那么也就是說棕所，領(lǐng)導者選舉的過程中至少要有三臺zkServer投了同一個zkServer闸盔，才會符合過半機制，才能選出來一個Leader琳省。

那么zookeeper選舉的過程中為什么一定要有一個過半機制驗證迎吵？
因為這樣不需要等待所有zkServer都投了同一個zkServer就可以選舉出來一個Leader了，這樣比較快针贬，所以叫快速領(lǐng)導者選舉算法击费。

zookeeper過半機制中為什么是大于，而不是大于等于桦他？這就是更腦裂問題有關(guān)系了蔫巩，比如回到上文出現(xiàn)腦裂問題的場景 [如上圖1]：當機房中間的網(wǎng)絡(luò)斷掉之后，機房1內(nèi)的三臺服務(wù)器會進行領(lǐng)導者選舉快压，但是此時過半機制的條件是 "節(jié)點數(shù) > 3"圆仔，也就是說至少要4臺zkServer才能選出來一個Leader，所以對于機房1來說它不能選出一個Leader蔫劣，同樣機房2也不能選出一個Leader坪郭，這種情況下整個集群當機房間的網(wǎng)絡(luò)斷掉后，整個集群將沒有Leader脉幢。而如果過半機制的條件是 "節(jié)點數(shù) >= 3"歪沃，那么機房1和機房2都會選出一個Leader信姓，這樣就出現(xiàn)了腦裂。這就可以解釋為什么過半機制中是大于而不是大于等于绸罗，目的就是為了防止腦裂意推。

如果假設(shè)我們現(xiàn)在只有5臺機器，也部署在兩個機房：

image

此時過半機制的條件是 "節(jié)點數(shù) > 2"珊蟀，也就是至少要3臺服務(wù)器才能選出一個Leader菊值，此時機房件的網(wǎng)絡(luò)斷開了，對于機房1來說是沒有影響的育灸，Leader依然還是Leader腻窒，對于機房2來說是選不出來Leader的，此時整個集群中只有一個Leader磅崭。因此總結(jié)得出儿子，有了過半機制，對于一個Zookeeper集群來說砸喻，要么沒有Leader柔逼，要么只有1個Leader，這樣zookeeper也就能避免了腦裂問題割岛。

三愉适、 Zookeeper 集群"腦裂"問題處理
1. 什么是腦裂？
簡單點來說癣漆，腦裂(Split-Brain) 就是比如當你的 cluster 里面有兩個節(jié)點维咸，它們都知道在這個 cluster 里需要選舉出一個 master。那么當它們兩個之間的通信完全沒有問題的時候惠爽，就會達成共識癌蓖，選出其中一個作為 master。但是如果它們之間的通信出了問題婚肆，那么兩個結(jié)點都會覺得現(xiàn)在沒有 master租副，所以每個都把自己選舉成 master，于是 cluster 里面就會有兩個 master旬痹。

對于Zookeeper來說有一個很重要的問題附井，就是到底是根據(jù)一個什么樣的情況來判斷一個節(jié)點死亡down掉了讨越？在分布式系統(tǒng)中這些都是有監(jiān)控者來判斷的两残，但是監(jiān)控者也很難判定其他的節(jié)點的狀態(tài)，唯一一個可靠的途徑就是心跳把跨，Zookeeper也是使用心跳來判斷客戶端是否仍然活著人弓。

使用ZooKeeper來做Leader HA基本都是同樣的方式：每個節(jié)點都嘗試注冊一個象征leader的臨時節(jié)點，其他沒有注冊成功的則成為follower着逐，并且通過watch機制 (這里有介紹) 監(jiān)控著leader所創(chuàng)建的臨時節(jié)點崔赌，Zookeeper通過內(nèi)部心跳機制來確定leader的狀態(tài)意蛀，一旦leader出現(xiàn)意外Zookeeper能很快獲悉并且通知其他的follower，其他flower在之后作出相關(guān)反應(yīng)健芭，這樣就完成了一個切換县钥，這種模式也是比較通用的模式，基本大部分都是這樣實現(xiàn)的慈迈。但是這里面有個很嚴重的問題若贮，如果注意不到會導致短暫的時間內(nèi)系統(tǒng)出現(xiàn)腦裂，因為心跳出現(xiàn)超時可能是leader掛了痒留，但是也可能是zookeeper節(jié)點之間網(wǎng)絡(luò)出現(xiàn)了問題谴麦，導致leader假死的情況，leader其實并未死掉伸头，但是與ZooKeeper之間的網(wǎng)絡(luò)出現(xiàn)問題導致Zookeeper認為其掛掉了然后通知其他節(jié)點進行切換匾效，這樣follower中就有一個成為了leader，但是原本的leader并未死掉恤磷，這時候client也獲得leader切換的消息面哼，但是仍然會有一些延時，zookeeper需要通訊需要一個一個通知扫步，這時候整個系統(tǒng)就很混亂可能有一部分client已經(jīng)通知到了連接到新的leader上去了精绎，有的client仍然連接在老的leader上，如果同時有兩個client需要對leader的同一個數(shù)據(jù)更新锌妻，并且剛好這兩個client此刻分別連接在新老的leader上代乃，就會出現(xiàn)很嚴重問題。

這里做下小總結(jié)：
假死：由于心跳超時（網(wǎng)絡(luò)原因?qū)е碌模┱J為leader死了仿粹，但其實leader還存活著搁吓。
腦裂：由于假死會發(fā)起新的leader選舉，選舉出一個新的leader吭历，但舊的leader網(wǎng)絡(luò)又通了堕仔，導致出現(xiàn)了兩個leader ，有的客戶端連接到老的leader晌区，而有的客戶端則連接到新的leader摩骨。

2. zookeeper腦裂是什么原因?qū)е碌模?/strong>
主要原因是Zookeeper集群和Zookeeper client判斷超時并不能做到完全同步，也就是說可能一前一后朗若，如果是集群先于client發(fā)現(xiàn)恼五，那就會出現(xiàn)上面的情況。同時哭懈，在發(fā)現(xiàn)并切換后通知各個客戶端也有先后快慢灾馒。一般出現(xiàn)這種情況的幾率很小，需要leader節(jié)點與Zookeeper集群網(wǎng)絡(luò)斷開遣总，但是與其他集群角色之間的網(wǎng)絡(luò)沒有問題睬罗，還要滿足上面那些情況轨功，但是一旦出現(xiàn)就會引起很嚴重的后果，數(shù)據(jù)不一致容达。