【轉(zhuǎn)自】http://www.cnblogs.com/leesf456/p/6107600.html

一辣之、前言

前面學(xué)習(xí)了Zookeeper服務(wù)端的相關(guān)細(xì)節(jié)怀估，其中對(duì)于集群?jiǎn)?dòng)而言，很重要的一部分就是Leader選舉，接著就開(kāi)始深入學(xué)習(xí)Leader選舉。

二锁蠕、Leader選舉

2.1 Leader選舉概述

Leader選舉是保證分布式數(shù)據(jù)一致性的關(guān)鍵所在骑丸。當(dāng)Zookeeper集群中的一臺(tái)服務(wù)器出現(xiàn)以下兩種情況之一時(shí)抡笼，需要進(jìn)入Leader選舉平匈。

(1) 服務(wù)器初始化啟動(dòng)忍燥。

(2) 服務(wù)器運(yùn)行期間無(wú)法和Leader保持連接输玷。

下面就兩種情況進(jìn)行分析講解机久。

1. 服務(wù)器啟動(dòng)時(shí)期的Leader選舉

若進(jìn)行Leader選舉，則至少需要兩臺(tái)機(jī)器结缚，這里選取3臺(tái)機(jī)器組成的服務(wù)器集群為例码党。在集群初始化階段，當(dāng)有一臺(tái)服務(wù)器Server1啟動(dòng)時(shí)憾股，其單獨(dú)無(wú)法進(jìn)行和完成Leader選舉颠焦，當(dāng)?shù)诙_(tái)服務(wù)器Server2啟動(dòng)時(shí)，此時(shí)兩臺(tái)機(jī)器可以相互通信霸株，每臺(tái)機(jī)器都試圖找到Leader扰路，于是進(jìn)入Leader選舉過(guò)程靴跛。選舉過(guò)程如下

(1) 每個(gè)Server發(fā)出一個(gè)投票。由于是初始情況深碱，Server1和Server2都會(huì)將自己作為L(zhǎng)eader服務(wù)器來(lái)進(jìn)行投票愉阎，每次投票會(huì)包含所推舉的服務(wù)器的myid和ZXID，使用(myid, ZXID)來(lái)表示，此時(shí)Server1的投票為(1, 0)驶鹉，Server2的投票為(2, 0)踏兜，然后各自將這個(gè)投票發(fā)給集群中其他機(jī)器昔驱。

(2) 接受來(lái)自各個(gè)服務(wù)器的投票纳本。集群的每個(gè)服務(wù)器收到投票后，首先判斷該投票的有效性巾腕，如檢查是否是本輪投票、是否來(lái)自L(fǎng)OOKING狀態(tài)的服務(wù)器。

(3) 處理投票。針對(duì)每一個(gè)投票袭祟，服務(wù)器都需要將別人的投票和自己的投票進(jìn)行PK，PK規(guī)則如下

· 優(yōu)先檢查ZXID。ZXID比較大的服務(wù)器優(yōu)先作為L(zhǎng)eader压状。

· 如果ZXID相同舔糖，那么就比較myid十兢。myid較大的服務(wù)器作為L(zhǎng)eader服務(wù)器。

對(duì)于Server1而言，它的投票是(1, 0)户秤，接收Server2的投票為(2, 0)虎忌，首先會(huì)比較兩者的ZXID，均為0挑围，再比較myid捶朵，此時(shí)Server2的myid最大，于是更新自己的投票為(2, 0)舞吭，然后重新投票忠寻，對(duì)于Server2而言赶舆，其無(wú)須更新自己的投票倡蝙，只是再次向集群中所有機(jī)器發(fā)出上一次投票信息即可。

(4) 統(tǒng)計(jì)投票。每次投票后扑馁，服務(wù)器都會(huì)統(tǒng)計(jì)投票信息，判斷是否已經(jīng)有過(guò)半機(jī)器接受到相同的投票信息，對(duì)于Server1、Server2而言，都統(tǒng)計(jì)出集群中已經(jīng)有兩臺(tái)機(jī)器接受了(2, 0)的投票信息勾效，此時(shí)便認(rèn)為已經(jīng)選出了Leader。

(5) 改變服務(wù)器狀態(tài)。一旦確定了Leader，每個(gè)服務(wù)器就會(huì)更新自己的狀態(tài)贮庞，如果是Follower，那么就變更為FOLLOWING峦失，如果是Leader，就變更為L(zhǎng)EADING。

2. 服務(wù)器運(yùn)行時(shí)期的Leader選舉

在Zookeeper運(yùn)行期間，Leader與非Leader服務(wù)器各司其職闸溃，即便當(dāng)有非Leader服務(wù)器宕機(jī)或新加入拴测，此時(shí)也不會(huì)影響Leader，但是一旦Leader服務(wù)器掛了妆距，那么整個(gè)集群將暫停對(duì)外服務(wù)娱据，進(jìn)入新一輪Leader選舉抒寂，其過(guò)程和啟動(dòng)時(shí)期的Leader選舉過(guò)程基本一致妆棒。假設(shè)正在運(yùn)行的有Server1、Server2、Server3三臺(tái)服務(wù)器，當(dāng)前Leader是Server2明吩，若某一時(shí)刻Leader掛了印荔，此時(shí)便開(kāi)始Leader選舉。選舉過(guò)程如下

(1) 變更狀態(tài)草则。Leader掛后娶靡，余下的非Observer服務(wù)器都會(huì)講自己的服務(wù)器狀態(tài)變更為L(zhǎng)OOKING伯铣，然后開(kāi)始進(jìn)入Leader選舉過(guò)程。

(2) 每個(gè)Server會(huì)發(fā)出一個(gè)投票。在運(yùn)行期間葱她，每個(gè)服務(wù)器上的ZXID可能不同豪墅，此時(shí)假定Server1的ZXID為123，Server3的ZXID為122；在第一輪投票中袭艺，Server1和Server3都會(huì)投自己，產(chǎn)生投票(1, 123)驴党，(3, 122)，然后各自將投票發(fā)送給集群中所有機(jī)器。

(3) 接收來(lái)自各個(gè)服務(wù)器的投票实蓬。與啟動(dòng)時(shí)過(guò)程相同练俐。

(4) 處理投票辜贵。與啟動(dòng)時(shí)過(guò)程相同厚棵，此時(shí)，Server1將會(huì)成為L(zhǎng)eader狠轻。

(5) 統(tǒng)計(jì)投票彬犯。與啟動(dòng)時(shí)過(guò)程相同谐区。

(6) 改變服務(wù)器的狀態(tài)宋列。與啟動(dòng)時(shí)過(guò)程相同炼杖。

2.2 Leader選舉算法分析

在3.4.0后的Zookeeper的版本只保留了TCP版本的FastLeaderElection選舉算法。當(dāng)一臺(tái)機(jī)器進(jìn)入Leader選舉時(shí)婆殿，當(dāng)前集群可能會(huì)處于以下兩種狀態(tài)

· 集群中已經(jīng)存在Leader婆芦。

· 集群中不存在Leader消约。

對(duì)于集群中已經(jīng)存在Leader而言导饲，此種情況一般都是某臺(tái)機(jī)器啟動(dòng)得較晚，在其啟動(dòng)之前皆看，集群已經(jīng)在正常工作，對(duì)這種情況虽缕，該機(jī)器試圖去選舉Leader時(shí)，會(huì)被告知當(dāng)前服務(wù)器的Leader信息，對(duì)于該機(jī)器而言睡腿，僅僅需要和Leader機(jī)器建立起連接嚼黔，并進(jìn)行狀態(tài)同步即可。而在集群中不存在Leader情況下則會(huì)相對(duì)復(fù)雜姻采，其步驟如下

(1)

第一次投票。無(wú)論哪種導(dǎo)致進(jìn)行Leader選舉沥寥，集群的所有機(jī)器都處于試圖選舉出一個(gè)Leader的狀態(tài)录煤，即LOOKING狀態(tài)露筒，LOOKING機(jī)器會(huì)向所有其他機(jī)器發(fā)送消息蜗巧，該消息稱(chēng)為投票靠娱。投票中包含了SID（服務(wù)器的唯一標(biāo)識(shí)）和ZXID（事務(wù)ID），(SID, ZXID)形式來(lái)標(biāo)識(shí)一次投票信息上遥。假定Zookeeper由5臺(tái)機(jī)器組成，SID分別為1、2雕凹、3趴泌、4榄审、5讹开，ZXID分別為9琼腔、9、9汰规、8、8捐顷，并且此時(shí)SID為2的機(jī)器是Leader機(jī)器，某一時(shí)刻，1、2所在機(jī)器出現(xiàn)故障臀晃，因此集群開(kāi)始進(jìn)行Leader選舉。在第一次投票時(shí)，每臺(tái)機(jī)器都會(huì)將自己作為投票對(duì)象宦棺，于是SID為3渺氧、4侣背、5的機(jī)器投票情況分別為(3, 9)，(4, 8)贩耐， (5, 8)弧腥。

(2)

變更投票。每臺(tái)機(jī)器發(fā)出投票后潮太，也會(huì)收到其他機(jī)器的投票管搪，每臺(tái)機(jī)器會(huì)根據(jù)一定規(guī)則來(lái)處理收到的其他機(jī)器的投票，并以此來(lái)決定是否需要變更自己的投票铡买，這個(gè)規(guī)則也是整個(gè)Leader選舉算法的核心所在更鲁，其中術(shù)語(yǔ)描述如下

· vote_sid：接收到的投票中所推舉Leader服務(wù)器的SID。

· vote_zxid：接收到的投票中所推舉Leader服務(wù)器的ZXID澡为。

· self_sid：當(dāng)前服務(wù)器自己的SID。

· self_zxid：當(dāng)前服務(wù)器自己的ZXID景埃。

每次對(duì)收到的投票的處理媒至，都是對(duì)(vote_sid, vote_zxid)和(self_sid, self_zxid)對(duì)比的過(guò)程。

規(guī)則一：如果vote_zxid大于self_zxid谷徙，就認(rèn)可當(dāng)前收到的投票拒啰，并再次將該投票發(fā)送出去。

規(guī)則二：如果vote_zxid小于self_zxid完慧，那么堅(jiān)持自己的投票谋旦，不做任何變更。

規(guī)則三：如果vote_zxid等于self_zxid屈尼，那么就對(duì)比兩者的SID蛤织，如果vote_sid大于self_sid，那么就認(rèn)可當(dāng)前收到的投票鸿染，并再次將該投票發(fā)送出去。

規(guī)則四：如果vote_zxid等于self_zxid乞巧，并且vote_sid小于self_sid涨椒，那么堅(jiān)持自己的投票，不做任何變更。

結(jié)合上面規(guī)則蚕冬，給出下面的集群變更過(guò)程免猾。

image

(3) 確定Leader。經(jīng)過(guò)第二輪投票后囤热，集群中的每臺(tái)機(jī)器都會(huì)再次接收到其他機(jī)器的投票猎提，然后開(kāi)始統(tǒng)計(jì)投票，如果一臺(tái)機(jī)器收到了超過(guò)半數(shù)的相同投票旁蔼，那么這個(gè)投票對(duì)應(yīng)的SID機(jī)器即為L(zhǎng)eader锨苏。此時(shí)Server3將成為L(zhǎng)eader。

由上面規(guī)則可知棺聊，通常那臺(tái)服務(wù)器上的數(shù)據(jù)越新（ZXID會(huì)越大）伞租，其成為L(zhǎng)eader的可能性越大，也就越能夠保證數(shù)據(jù)的恢復(fù)限佩。如果ZXID相同葵诈，則SID越大機(jī)會(huì)越大。

2.3 Leader選舉實(shí)現(xiàn)細(xì)節(jié)

1. 服務(wù)器狀態(tài)

服務(wù)器具有四種狀態(tài)祟同，分別是LOOKING作喘、FOLLOWING、LEADING晕城、OBSERVING泞坦。

LOOKING：尋找Leader狀態(tài)。當(dāng)服務(wù)器處于該狀態(tài)時(shí)广辰，它會(huì)認(rèn)為當(dāng)前集群中沒(méi)有Leader暇矫，因此需要進(jìn)入Leader選舉狀態(tài)。

FOLLOWING：跟隨者狀態(tài)择吊。表明當(dāng)前服務(wù)器角色是Follower李根。

LEADING：領(lǐng)導(dǎo)者狀態(tài)。表明當(dāng)前服務(wù)器角色是Leader几睛。

OBSERVING：觀察者狀態(tài)房轿。表明當(dāng)前服務(wù)器角色是Observer。

2. 投票數(shù)據(jù)結(jié)構(gòu)

每個(gè)投票中包含了兩個(gè)最基本的信息所森，所推舉服務(wù)器的SID和ZXID囱持，投票（Vote）在Zookeeper中包含字段如下

id：被推舉的Leader的SID。

zxid：被推舉的Leader事務(wù)ID焕济。

　electionEpoch：邏輯時(shí)鐘纷妆，用來(lái)判斷多個(gè)投票是否在同一輪選舉周期中，該值在服務(wù)端是一個(gè)自增序列晴弃，每次進(jìn)入新一輪的投票后掩幢，都會(huì)對(duì)該值進(jìn)行加1操作逊拍。

peerEpoch：被推舉的Leader的epoch。

state：當(dāng)前服務(wù)器的狀態(tài)际邻。

3. QuorumCnxManager：網(wǎng)絡(luò)I/O

每臺(tái)服務(wù)器在啟動(dòng)的過(guò)程中芯丧，會(huì)啟動(dòng)一個(gè)QuorumPeerManager，負(fù)責(zé)各臺(tái)服務(wù)器之間的底層Leader選舉過(guò)程中的網(wǎng)絡(luò)通信世曾。

(1)

消息隊(duì)列缨恒。QuorumCnxManager內(nèi)部維護(hù)了一系列的隊(duì)列，用來(lái)保存接收到的轮听、待發(fā)送的消息以及消息的發(fā)送器骗露，除接收隊(duì)列以外，其他隊(duì)列都按照SID分組形成隊(duì)列集合蕊程，如一個(gè)集群中除了自身還有3臺(tái)機(jī)器椒袍，那么就會(huì)為這3臺(tái)機(jī)器分別創(chuàng)建一個(gè)發(fā)送隊(duì)列，互不干擾藻茂。

· recvQueue：消息接收隊(duì)列驹暑，用于存放那些從其他服務(wù)器接收到的消息。

· queueSendMap：消息發(fā)送隊(duì)列辨赐，用于保存那些待發(fā)送的消息优俘，按照SID進(jìn)行分組。

· senderWorkerMap：發(fā)送器集合掀序，每個(gè)SenderWorker消息發(fā)送器帆焕，都對(duì)應(yīng)一臺(tái)遠(yuǎn)程Zookeeper服務(wù)器，負(fù)責(zé)消息的發(fā)送不恭，也按照SID進(jìn)行分組叶雹。

· lastMessageSent：最近發(fā)送過(guò)的消息，為每個(gè)SID保留最近發(fā)送過(guò)的一個(gè)消息换吧。

(2)

建立連接折晦。為了能夠相互投票，Zookeeper集群中的所有機(jī)器都需要兩兩建立起網(wǎng)絡(luò)連接沾瓦。QuorumCnxManager在啟動(dòng)時(shí)會(huì)創(chuàng)建一個(gè)ServerSocket來(lái)監(jiān)聽(tīng)Leader選舉的通信端口(默認(rèn)為3888)满着。開(kāi)啟監(jiān)聽(tīng)后，Zookeeper能夠不斷地接收到來(lái)自其他服務(wù)器的創(chuàng)建連接請(qǐng)求贯莺，在接收到其他服務(wù)器的TCP連接請(qǐng)求時(shí)风喇，會(huì)進(jìn)行處理。為了避免兩臺(tái)機(jī)器之間重復(fù)地創(chuàng)建TCP連接缕探，Zookeeper只允許SID大的服務(wù)器主動(dòng)和其他機(jī)器建立連接魂莫，否則斷開(kāi)連接。在接收到創(chuàng)建連接請(qǐng)求后爹耗，服務(wù)器通過(guò)對(duì)比自己和遠(yuǎn)程服務(wù)器的SID值來(lái)判斷是否接收連接請(qǐng)求耙考，如果當(dāng)前服務(wù)器發(fā)現(xiàn)自己的SID更大秽誊，那么會(huì)斷開(kāi)當(dāng)前連接，然后自己主動(dòng)和遠(yuǎn)程服務(wù)器建立連接琳骡。一旦連接建立，就會(huì)根據(jù)遠(yuǎn)程服務(wù)器的SID來(lái)創(chuàng)建相應(yīng)的消息發(fā)送器SendWorker和消息接收器RecvWorker讼溺，并啟動(dòng)楣号。

(3)

消息接收與發(fā)送。消息接收：由消息接收器RecvWorker負(fù)責(zé)怒坯，由于Zookeeper為每個(gè)遠(yuǎn)程服務(wù)器都分配一個(gè)單獨(dú)的RecvWorker炫狱，因此，每個(gè)RecvWorker只需要不斷地從這個(gè)TCP連接中讀取消息剔猿，并將其保存到recvQueue隊(duì)列中视译。消息發(fā)送：由于Zookeeper為每個(gè)遠(yuǎn)程服務(wù)器都分配一個(gè)單獨(dú)的SendWorker，因此归敬，每個(gè)SendWorker只需要不斷地從對(duì)應(yīng)的消息發(fā)送隊(duì)列中獲取出一個(gè)消息發(fā)送即可酷含，同時(shí)將這個(gè)消息放入lastMessageSent中。在SendWorker中汪茧，一旦Zookeeper發(fā)現(xiàn)針對(duì)當(dāng)前服務(wù)器的消息發(fā)送隊(duì)列為空椅亚，那么此時(shí)需要從lastMessageSent中取出一個(gè)最近發(fā)送過(guò)的消息來(lái)進(jìn)行再次發(fā)送，這是為了解決接收方在消息接收前或者接收到消息后服務(wù)器掛了舱污，導(dǎo)致消息尚未被正確處理呀舔。同時(shí)，Zookeeper能夠保證接收方在處理消息時(shí)扩灯，會(huì)對(duì)重復(fù)消息進(jìn)行正確的處理媚赖。

4. FastLeaderElection：選舉算法核心

· 外部投票：特指其他服務(wù)器發(fā)來(lái)的投票。

· 內(nèi)部投票：服務(wù)器自身當(dāng)前的投票珠插。

· 選舉輪次：Zookeeper服務(wù)器Leader選舉的輪次惧磺，即logicalclock。

· PK：對(duì)內(nèi)部投票和外部投票進(jìn)行對(duì)比來(lái)確定是否需要變更內(nèi)部投票丧失。

(1) 選票管理

· sendqueue：選票發(fā)送隊(duì)列豺妓，用于保存待發(fā)送的選票。

· recvqueue：選票接收隊(duì)列布讹，用于保存接收到的外部投票琳拭。

· WorkerReceiver：選票接收器。其會(huì)不斷地從QuorumCnxManager中獲取其他服務(wù)器發(fā)來(lái)的選舉消息描验，并將其轉(zhuǎn)換成一個(gè)選票白嘁，然后保存到recvqueue中，在選票接收過(guò)程中膘流，如果發(fā)現(xiàn)該外部選票的選舉輪次小于當(dāng)前服務(wù)器的絮缅，那么忽略該外部投票鲁沥，同時(shí)立即發(fā)送自己的內(nèi)部投票。

　· WorkerSender：選票發(fā)送器耕魄，不斷地從sendqueue中獲取待發(fā)送的選票画恰，并將其傳遞到底層QuorumCnxManager中。

(2) 算法核心

image

上圖展示了FastLeaderElection模塊是如何與底層網(wǎng)絡(luò)I/O進(jìn)行交互的吸奴。Leader選舉的基本流程如下

1. 自增選舉輪次允扇。Zookeeper規(guī)定所有有效的投票都必須在同一輪次中，在開(kāi)始新一輪投票時(shí)则奥，會(huì)首先對(duì)logicalclock進(jìn)行自增操作考润。

2. 初始化選票。在開(kāi)始進(jìn)行新一輪投票之前读处，每個(gè)服務(wù)器都會(huì)初始化自身的選票糊治，并且在初始化階段，每臺(tái)服務(wù)器都會(huì)將自己推舉為L(zhǎng)eader罚舱。

3. 發(fā)送初始化選票井辜。完成選票的初始化后，服務(wù)器就會(huì)發(fā)起第一次投票馆匿。Zookeeper會(huì)將剛剛初始化好的選票放入sendqueue中抑胎，由發(fā)送器WorkerSender負(fù)責(zé)發(fā)送出去。

4. 接收外部投票渐北。每臺(tái)服務(wù)器會(huì)不斷地從recvqueue隊(duì)列中獲取外部選票阿逃。如果服務(wù)器發(fā)現(xiàn)無(wú)法獲取到任何外部投票，那么就會(huì)立即確認(rèn)自己是否和集群中其他服務(wù)器保持著有效的連接赃蛛，如果沒(méi)有連接恃锉，則馬上建立連接，如果已經(jīng)建立了連接呕臂，則再次發(fā)送自己當(dāng)前的內(nèi)部投票破托。

5. 判斷選舉輪次。在發(fā)送完初始化選票之后歧蒋，接著開(kāi)始處理外部投票土砂。在處理外部投票時(shí)，會(huì)根據(jù)選舉輪次來(lái)進(jìn)行不同的處理谜洽。

· 外部投票的選舉輪次大于內(nèi)部投票

萝映。若服務(wù)器自身的選舉輪次落后于該外部投票對(duì)應(yīng)服務(wù)器的選舉輪次，那么就會(huì)立即更新自己的選舉輪次(logicalclock)阐虚，并且清空所有已經(jīng)收到的投票序臂，然后使用初始化的投票來(lái)進(jìn)行PK以確定是否變更內(nèi)部投票。最終再將內(nèi)部投票發(fā)送出去实束。

· 外部投票的選舉輪次小于內(nèi)部投

票

奥秆。若服務(wù)器接收的外選票的選舉輪次落后于自身的選舉輪次逊彭，那么Zookeeper就會(huì)直接忽略該外部投票，不做任何處理构订，并返回步驟4侮叮。

· 外部投票的選舉輪次等于內(nèi)部投票

。此時(shí)可以開(kāi)始進(jìn)行選票P(pán)K悼瘾。

6. 選票P(pán)K签赃。在進(jìn)行選票P(pán)K時(shí)，符合任意一個(gè)條件就需要變更投票分尸。

· 若外部投票中推舉的Leader服務(wù)器的選舉輪次大于內(nèi)部投票，那么需要變更投票歹嘹。

· 若選舉輪次一致箩绍，那么就對(duì)比兩者的ZXID，若外部投票的ZXID大尺上，那么需要變更投票材蛛。

· 若兩者的ZXID一致，那么就對(duì)比兩者的SID怎抛，若外部投票的SID大卑吭，那么就需要變更投票。

7. 變更投票马绝。經(jīng)過(guò)PK后豆赏，若確定了外部投票優(yōu)于內(nèi)部投票，那么就變更投票富稻，即使用外部投票的選票信息來(lái)覆蓋內(nèi)部投票掷邦，變更完成后，再次將這個(gè)變更后的內(nèi)部投票發(fā)送出去椭赋。

8.

選票歸檔抚岗。無(wú)論是否變更了投票，都會(huì)將剛剛收到的那份外部投票放入選票集合recvset中進(jìn)行歸檔哪怔。recvset用于記錄當(dāng)前服務(wù)器在本輪次的Leader選舉中收到的所有外部投票（按照服務(wù)隊(duì)的SID區(qū)別宣蔚，如{(1, vote1), (2, vote2)...}）。

9.

統(tǒng)計(jì)投票认境。完成選票歸檔后胚委，就可以開(kāi)始統(tǒng)計(jì)投票，統(tǒng)計(jì)投票是為了統(tǒng)計(jì)集群中是否已經(jīng)有過(guò)半的服務(wù)器認(rèn)可了當(dāng)前的內(nèi)部投票元暴，如果確定已經(jīng)有過(guò)半服務(wù)器認(rèn)可了該投票篷扩，則終止投票。否則返回步驟4茉盏。

10. 更新服務(wù)器狀態(tài)鉴未。若已經(jīng)確定可以終止投票枢冤，那么就開(kāi)始更新服務(wù)器狀態(tài)，服務(wù)器首選判斷當(dāng)前被過(guò)半服務(wù)器認(rèn)可的投票所對(duì)應(yīng)的Leader服務(wù)器是否是自己铜秆，若是自己淹真，則將自己的服務(wù)器狀態(tài)更新為L(zhǎng)EADING，若不是连茧，則根據(jù)具體情況來(lái)確定自己是FOLLOWING或是OBSERVING核蘸。

以上10個(gè)步驟就是FastLeaderElection的核心，其中步驟4-9會(huì)經(jīng)過(guò)幾輪循環(huán)啸驯，直到有Leader選舉產(chǎn)生客扎。

三、總結(jié)

經(jīng)過(guò)本篇博文的學(xué)習(xí)罚斗，了解了Leader選舉的具體細(xì)節(jié)徙鱼，這對(duì)于之后的代碼分析會(huì)打下很好的基礎(chǔ)。也謝謝各位園友的觀看~