場(chǎng)景描述:
zookeeper 版本 3.4.6
現(xiàn)有zk集群是五臺(tái), myid分別為 0, 1, 2, 3, 4
三地機(jī)房
(1). 機(jī)房1, 現(xiàn)有集群在該機(jī)房, 主機(jī)房, 服務(wù)的主要流量在該機(jī)房. 目前zk的5臺(tái)機(jī)器在該機(jī)房.
(2). 機(jī)房2, 熱備機(jī)房, 有全量服務(wù)但是機(jī)器數(shù)量較機(jī)房1少, 分擔(dān)少部分負(fù)載, 在機(jī)房1不可用時(shí),將會(huì)對(duì)外提供所有服務(wù).
(3). 機(jī)房3(延時(shí)較大,在100ms).需要構(gòu)建一個(gè)高可用zk環(huán)境, 服務(wù)主要部署在機(jī)房1, 機(jī)房2有全量服務(wù)但是機(jī)器數(shù)量較機(jī)房1少.
現(xiàn)在需要將機(jī)房1,2做成一個(gè)大的zk集群, 但是由于zk對(duì)雙機(jī)房, 不能做到高可用, 所有加了一個(gè)機(jī)房3. 現(xiàn)在這三個(gè)機(jī)房的zk實(shí)例數(shù)為 5 + 5 + 1 .
現(xiàn)有zk實(shí)例為5, 但是我們需要擴(kuò)容到11臺(tái), 添加實(shí)例數(shù)比原有集群實(shí)例數(shù)大.
在擴(kuò)容過(guò)程中需要不影響使用現(xiàn)有zk集群的服務(wù). 不可以全部停止, 進(jìn)行升級(jí).
需要注意的問(wèn)題
添加的機(jī)器數(shù)大于現(xiàn)有集群zk實(shí)例數(shù).
三地機(jī)房, 其中機(jī)房1為主機(jī)房, 資源最多, 盡量讓leader落在該機(jī)房. 機(jī)房1和機(jī)房2的延時(shí)在容忍范圍內(nèi), leader也可以落在該機(jī)房, 但是需要優(yōu)先考慮機(jī)房1. 因?yàn)闄C(jī)房3延時(shí)較大, 盡量不可以讓機(jī)房3的實(shí)例擔(dān)任leader角色.
歷史遺留問(wèn)題, 原有zk集群的myid是從0開(kāi)始的, 這是個(gè)坑(稍后會(huì)說(shuō)).
具體步驟
修改myid
為什么要先修改myid, 這是之前我們給自己挖的一個(gè)大坑, 這次一定要填上, 并且為以后的zk運(yùn)維積累經(jīng)驗(yàn).因?yàn)? 我們需要leader盡量落在機(jī)房1的機(jī)器上, 鑒于zk集群進(jìn)行l(wèi)eader中用到的快速選舉算法, 集群中的機(jī)器會(huì)優(yōu)先匹配zxid最大的實(shí)例(這樣可以保證在數(shù)據(jù)同步時(shí),這個(gè)實(shí)例上的數(shù)據(jù)是最新的), 如果所有實(shí)例中的zxid都一樣, 那么所有實(shí)例會(huì)選舉出myid最大的實(shí)例為leader. 基于這樣的條件, 我們需要將機(jī)房1中的現(xiàn)有的5臺(tái)的myid進(jìn)行提升, 給機(jī)房3的zk實(shí)例騰出myid的位置(以確保在zxid一樣時(shí),它肯定不會(huì)是leader). 因?yàn)閦k中myid的范圍必須是大于等于0(沒(méi)錯(cuò),你沒(méi)看錯(cuò),我們使用了0, 即使官方sample配置中是從1開(kāi)始, 但是我們還是使用了0), 所有我們需要先將myid=0的實(shí)例進(jìn)行myid變更.
1 . 修改myid=1的機(jī)器的myid為100, 依次對(duì)修改五個(gè)實(shí)例的zoo.cfg
修改完之后的配置類似如下:
server.1=192.168.1.101:2555:3555 server.2=192.168.1.102:2555:3555 server.3=192.168.1.103:2555:3555 server.4=192.168.1.104:2555:3555 server.100=192.168.1.100:2555:3555
2 . 記錄現(xiàn)在集群中哪臺(tái)機(jī)器為leader, 該機(jī)器最后重啟.
3 . 依次重啟myid為1,2,3,4,100的實(shí)例(注意最后重啟leader)
ok, 這里我說(shuō)另外一個(gè)坑, 我們重啟服務(wù)的時(shí)候最好是依從myid從小到大依次重啟, 因?yàn)檫@個(gè)里面又涉及到zookeeper另外一個(gè)設(shè)計(jì).zookeeper是需要集群中所有集群兩兩建立連接, 其中配置中的3555端口是用來(lái)進(jìn)行選舉時(shí)機(jī)器直接建立通訊的端口, 為了避免重復(fù)創(chuàng)建tcp連接,如果對(duì)方myid比自己大，則關(guān)閉連接，這樣導(dǎo)致的結(jié)果就是大id的server才會(huì)去連接小id的server肥矢，避免連接浪費(fèi).如果是最后重啟myid最小的實(shí)例,該實(shí)例將不能加入到集群中,因?yàn)椴荒芎推渌航⑦B接, 這時(shí)你使用nc命令, 會(huì)有如下的提示: This ZooKeeper instance is not currently serving requests. 在zookeeper的啟動(dòng)日志里面你會(huì)發(fā)現(xiàn)這樣的日志: Have smaller server identifier, so dropping the connection. 如果真的出現(xiàn)了這個(gè)問(wèn)題, 也沒(méi)關(guān)系, 但是需要先將報(bào)出該問(wèn)題的實(shí)例起著,然后按照myid從小到大依次重啟zk實(shí)例即可. 是的,我們確實(shí)碰到了這個(gè)問(wèn)題, 因?yàn)槲覀兩院髸?huì)將機(jī)房3的那個(gè)zk實(shí)例的myid變?yōu)?,并最后加入到11臺(tái)實(shí)例的集群中,最后一直報(bào)這個(gè)問(wèn)題.
添加新機(jī)器進(jìn)入集群
經(jīng)過(guò)上面的步驟,現(xiàn)在來(lái)添加新機(jī)器進(jìn)入集群. 因?yàn)樾录簔k實(shí)例數(shù)量為11臺(tái), 那么如果能做到HA,需要保證集群中存活機(jī)器至少為6臺(tái). 鑒于這樣的要求,我們并不能一次性將11臺(tái)機(jī)器的配置修改為如下:
server.0=192.168.3.1:2555:355555
server.1=192.168.1.101:2555:3555
server.2=192.168.1.102:2555:3555
server.3=192.168.1.103:2555:3555
server.4=192.168.1.104:2555:3555
server.5=192.168.2.1:2555:3555
server.6=192.168.2.2:2555:3555
server.7=192.168.2.3:2555:3555
server.8=192.168.2.4:2555:3555
server.9=192.168.2.5:2555:3555
server.100=192.168.1.100:2555:3555
我們只能先將原有的5臺(tái)zk實(shí)例的集群先擴(kuò)充到7臺(tái)(為何不是8臺(tái)?慢慢梳理一下就知道了), 然后再擴(kuò)充到11臺(tái)這樣的步驟. 鑒于這樣的思路,我們的步驟如下:
1 . 選出兩臺(tái)新的實(shí)例, 加上之前的5臺(tái), 將他們的配置文件修改為7臺(tái),依次重啟原集群zk實(shí)例,然后啟動(dòng)兩臺(tái)新加入的實(shí)例, 注意最后重啟leader.
server.1=192.168.1.101:2555:3555 server.2=192.168.1.102:2555:3555 server.3=192.168.1.103:2555:3555 server.4=192.168.1.104:2555:3555 server.5=192.168.2.1:2555:3555 server.6=192.168.2.2:2555:3555 server.100=192.168.1.100:2555:3555
2 . 將zoo.cfg中的集群機(jī)器數(shù)量設(shè)為11臺(tái), 已經(jīng)存在的7臺(tái)zk實(shí)例集群進(jìn)行重啟,然后重啟另外四臺(tái)新zk實(shí)例. 這里你可能在啟動(dòng)myid=0的zk實(shí)例會(huì)出現(xiàn)上面描述的問(wèn)題,沒(méi)關(guān)系,按照上面說(shuō)的步驟操作即可.
