Zookeeper 擴(kuò)容實(shí)戰(zhàn)

場(chǎng)景描述:

  1. zookeeper 版本 3.4.6

  2. 現(xiàn)有zk集群是五臺(tái), myid分別為 0, 1, 2, 3, 4

  3. 三地機(jī)房
    (1). 機(jī)房1, 現(xiàn)有集群在該機(jī)房, 主機(jī)房, 服務(wù)的主要流量在該機(jī)房. 目前zk的5臺(tái)機(jī)器在該機(jī)房.
    (2). 機(jī)房2, 熱備機(jī)房, 有全量服務(wù)但是機(jī)器數(shù)量較機(jī)房1少, 分擔(dān)少部分負(fù)載, 在機(jī)房1不可用時(shí),將會(huì)對(duì)外提供所有服務(wù).
    (3). 機(jī)房3(延時(shí)較大,在100ms).

  4. 需要構(gòu)建一個(gè)高可用zk環(huán)境, 服務(wù)主要部署在機(jī)房1, 機(jī)房2有全量服務(wù)但是機(jī)器數(shù)量較機(jī)房1少.

  5. 現(xiàn)在需要將機(jī)房1,2做成一個(gè)大的zk集群, 但是由于zk對(duì)雙機(jī)房, 不能做到高可用, 所有加了一個(gè)機(jī)房3. 現(xiàn)在這三個(gè)機(jī)房的zk實(shí)例數(shù)為 5 + 5 + 1 .

  6. 現(xiàn)有zk實(shí)例為5, 但是我們需要擴(kuò)容到11臺(tái), 添加實(shí)例數(shù)比原有集群實(shí)例數(shù)大.

  7. 在擴(kuò)容過(guò)程中需要不影響使用現(xiàn)有zk集群的服務(wù). 不可以全部停止, 進(jìn)行升級(jí).

需要注意的問(wèn)題

  1. 添加的機(jī)器數(shù)大于現(xiàn)有集群zk實(shí)例數(shù).

  2. 三地機(jī)房, 其中機(jī)房1為主機(jī)房, 資源最多, 盡量讓leader落在該機(jī)房. 機(jī)房1和機(jī)房2的延時(shí)在容忍范圍內(nèi), leader也可以落在該機(jī)房, 但是需要優(yōu)先考慮機(jī)房1. 因?yàn)闄C(jī)房3延時(shí)較大, 盡量不可以讓機(jī)房3的實(shí)例擔(dān)任leader角色.

  3. 歷史遺留問(wèn)題, 原有zk集群的myid是從0開(kāi)始的, 這是個(gè)坑(稍后會(huì)說(shuō)).

具體步驟

修改myid

為什么要先修改myid, 這是之前我們給自己挖的一個(gè)大坑, 這次一定要填上, 并且為以后的zk運(yùn)維積累經(jīng)驗(yàn).因?yàn)? 我們需要leader盡量落在機(jī)房1的機(jī)器上, 鑒于zk集群進(jìn)行l(wèi)eader中用到的快速選舉算法, 集群中的機(jī)器會(huì)優(yōu)先匹配zxid最大的實(shí)例(這樣可以保證在數(shù)據(jù)同步時(shí),這個(gè)實(shí)例上的數(shù)據(jù)是最新的), 如果所有實(shí)例中的zxid都一樣, 那么所有實(shí)例會(huì)選舉出myid最大的實(shí)例為leader. 基于這樣的條件, 我們需要將機(jī)房1中的現(xiàn)有的5臺(tái)的myid進(jìn)行提升, 給機(jī)房3的zk實(shí)例騰出myid的位置(以確保在zxid一樣時(shí),它肯定不會(huì)是leader). 因?yàn)閦k中myid的范圍必須是大于等于0(沒(méi)錯(cuò),你沒(méi)看錯(cuò),我們使用了0, 即使官方sample配置中是從1開(kāi)始, 但是我們還是使用了0), 所有我們需要先將myid=0的實(shí)例進(jìn)行myid變更.

1 . 修改myid=1的機(jī)器的myid為100, 依次對(duì)修改五個(gè)實(shí)例的zoo.cfg

修改完之后的配置類似如下:
server.1=192.168.1.101:2555:3555 server.2=192.168.1.102:2555:3555 server.3=192.168.1.103:2555:3555 server.4=192.168.1.104:2555:3555 server.100=192.168.1.100:2555:3555

2 . 記錄現(xiàn)在集群中哪臺(tái)機(jī)器為leader, 該機(jī)器最后重啟.

3 . 依次重啟myid為1,2,3,4,100的實(shí)例(注意最后重啟leader)

ok, 這里我說(shuō)另外一個(gè)坑, 我們重啟服務(wù)的時(shí)候最好是依從myid從小到大依次重啟, 因?yàn)檫@個(gè)里面又涉及到zookeeper另外一個(gè)設(shè)計(jì).zookeeper是需要集群中所有集群兩兩建立連接, 其中配置中的3555端口是用來(lái)進(jìn)行選舉時(shí)機(jī)器直接建立通訊的端口, 為了避免重復(fù)創(chuàng)建tcp連接,如果對(duì)方myid比自己大,則關(guān)閉連接,這樣導(dǎo)致的結(jié)果就是大id的server才會(huì)去連接小id的server肥矢,避免連接浪費(fèi).如果是最后重啟myid最小的實(shí)例,該實(shí)例將不能加入到集群中,因?yàn)椴荒芎推渌航⑦B接, 這時(shí)你使用nc命令, 會(huì)有如下的提示: This ZooKeeper instance is not currently serving requests. 在zookeeper的啟動(dòng)日志里面你會(huì)發(fā)現(xiàn)這樣的日志: Have smaller server identifier, so dropping the connection. 如果真的出現(xiàn)了這個(gè)問(wèn)題, 也沒(méi)關(guān)系, 但是需要先將報(bào)出該問(wèn)題的實(shí)例起著,然后按照myid從小到大依次重啟zk實(shí)例即可. 是的,我們確實(shí)碰到了這個(gè)問(wèn)題, 因?yàn)槲覀兩院髸?huì)將機(jī)房3的那個(gè)zk實(shí)例的myid變?yōu)?,并最后加入到11臺(tái)實(shí)例的集群中,最后一直報(bào)這個(gè)問(wèn)題.

添加新機(jī)器進(jìn)入集群

經(jīng)過(guò)上面的步驟,現(xiàn)在來(lái)添加新機(jī)器進(jìn)入集群. 因?yàn)樾录簔k實(shí)例數(shù)量為11臺(tái), 那么如果能做到HA,需要保證集群中存活機(jī)器至少為6臺(tái). 鑒于這樣的要求,我們并不能一次性將11臺(tái)機(jī)器的配置修改為如下:

server.0=192.168.3.1:2555:355555
server.1=192.168.1.101:2555:3555
server.2=192.168.1.102:2555:3555
server.3=192.168.1.103:2555:3555
server.4=192.168.1.104:2555:3555
server.5=192.168.2.1:2555:3555
server.6=192.168.2.2:2555:3555
server.7=192.168.2.3:2555:3555
server.8=192.168.2.4:2555:3555
server.9=192.168.2.5:2555:3555
server.100=192.168.1.100:2555:3555 

我們只能先將原有的5臺(tái)zk實(shí)例的集群先擴(kuò)充到7臺(tái)(為何不是8臺(tái)?慢慢梳理一下就知道了), 然后再擴(kuò)充到11臺(tái)這樣的步驟. 鑒于這樣的思路,我們的步驟如下:

1 . 選出兩臺(tái)新的實(shí)例, 加上之前的5臺(tái), 將他們的配置文件修改為7臺(tái),依次重啟原集群zk實(shí)例,然后啟動(dòng)兩臺(tái)新加入的實(shí)例, 注意最后重啟leader.
server.1=192.168.1.101:2555:3555 server.2=192.168.1.102:2555:3555 server.3=192.168.1.103:2555:3555 server.4=192.168.1.104:2555:3555 server.5=192.168.2.1:2555:3555 server.6=192.168.2.2:2555:3555 server.100=192.168.1.100:2555:3555

2 . 將zoo.cfg中的集群機(jī)器數(shù)量設(shè)為11臺(tái), 已經(jīng)存在的7臺(tái)zk實(shí)例集群進(jìn)行重啟,然后重啟另外四臺(tái)新zk實(shí)例. 這里你可能在啟動(dòng)myid=0的zk實(shí)例會(huì)出現(xiàn)上面描述的問(wèn)題,沒(méi)關(guān)系,按照上面說(shuō)的步驟操作即可.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末慰安,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子巷疼,更是在濱河造成了極大的恐慌抱婉,老刑警劉巖寻拂,帶你破解...
    沈念sama閱讀 218,941評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件晌坤,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡旦袋,警方通過(guò)查閱死者的電腦和手機(jī)骤菠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)疤孕,“玉大人商乎,你說(shuō)我怎么就攤上這事〖婪В” “怎么了鹉戚?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,345評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵鲜戒,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我抹凳,道長(zhǎng)遏餐,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,851評(píng)論 1 295
  • 正文 為了忘掉前任赢底,我火速辦了婚禮失都,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘幸冻。我一直安慰自己粹庞,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,868評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布洽损。 她就那樣靜靜地躺著庞溜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪碑定。 梳的紋絲不亂的頭發(fā)上流码,一...
    開(kāi)封第一講書(shū)人閱讀 51,688評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音不傅,去河邊找鬼旅掂。 笑死,一個(gè)胖子當(dāng)著我的面吹牛访娶,可吹牛的內(nèi)容都是我干的商虐。 我是一名探鬼主播,決...
    沈念sama閱讀 40,414評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼崖疤,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼秘车!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起劫哼,我...
    開(kāi)封第一講書(shū)人閱讀 39,319評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤叮趴,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后权烧,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體眯亦,經(jīng)...
    沈念sama閱讀 45,775評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年般码,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了妻率。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,096評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡板祝,死狀恐怖宫静,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤孤里,帶...
    沈念sama閱讀 35,789評(píng)論 5 346
  • 正文 年R本政府宣布伏伯,位于F島的核電站,受9級(jí)特大地震影響捌袜,放射性物質(zhì)發(fā)生泄漏说搅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,437評(píng)論 3 331
  • 文/蒙蒙 一琢蛤、第九天 我趴在偏房一處隱蔽的房頂上張望蜓堕。 院中可真熱鬧,春花似錦博其、人聲如沸套才。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)背伴。三九已至,卻和暖如春峰髓,著一層夾襖步出監(jiān)牢的瞬間傻寂,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,107評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工携兵, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留疾掰,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,308評(píng)論 3 372
  • 正文 我出身青樓徐紧,卻偏偏與公主長(zhǎng)得像静檬,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子并级,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,037評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容