rocketmq 主從切換機制

? ? ? ?之前看rocketmq躬窜,然后在想一個問題,就是一主一從的集群結構中炕置,如果master宕機了荣挨,consumer這邊是怎么選擇的,按照官方說明中朴摊,master掛了垦沉,但是slave得消息仍然可以被消費到。原因是master和slave是一直有連接的仍劈,所以master上面的消息是可以及時同步到slave厕倍,但是終究是有一部分留在master(異步復制)的時候。

? ? ? ?那么問題來了贩疙,consumer是怎么從master上面切換到slave上繼續(xù)消費消息呢讹弯?首先明確一點,master宕機这溅,就意味著這個broker不再寫入组民,但是因為slave還在,所以還可以繼續(xù)讀悲靴。所以我們看一下consumer是怎么選擇的臭胜?

從Pullconsumer 進去,調用pullBlockIfNotFound方法癞尚,一直進去仪壮,最后到:DefaultMQPullConsumerImpl的pullSyncImpl? 方法积锅,最后看到這段:

PullResult pullResult =this.pullAPIWrapper.pullKernelImpl(mq,su?bscriptionData.getSubString(),0L,offset,maxNums,sysFlag,0,this.defaultMQPullConsumer.getBrokerSuspendMaxTimeMillis(),timeoutMillis,CommunicationMode.SYNC,null);

進去看一下實現(xiàn):

FindBrokerResult findBrokerResult =

this.mQClientFactory.findBrokerAddressInSubscribe(mq.getBrokerName(),

this.recalculatePullFromWhichNode(mq),false);

其實這段也很好理解缚陷,就是先根據(jù)訂閱的關系找到broker。是根據(jù)broker的名字和id共同起作用的匙瘪。broker的名字肯定能夠拿到一堆broker的id蝶缀,一般都是一主多從,那這個怎么選呢碍论?

進去看看就知道了:

HashMap map =this.brokerAddrTable.get(brokerName);

if(map !=null&& !map.isEmpty()) {

brokerAddr = map.get(brokerId);

slave = brokerId != MixAll.MASTER_ID;

found = brokerAddr !=null;

if(!found && !onlyThisBroker) {

Entry entry = map.entrySet().iterator().next();

brokerAddr = entry.getValue();

slave = entry.getKey() != MixAll.MASTER_ID;

found =true;

}

}

先拿到broker的緩存,其實就是存在本地的hashmap藏研,然后根據(jù)broker的id查找蠢挡,如果找到了业踏,判斷下是不是slave角色返回,找不到的情況下就根據(jù)那拿到的列表迭代一個出來伤提,考慮到時無序的肿男,所以就可以理解為隨機拿一個出來了舶沛,再判定角色。

所以傳進來的brokerId非常重要骤竹,如果這臺機器沒有宕機的情況下往毡,就是返回這個broker的地址了,否則就是從剩下的機器進行隨機一個。

那傳進去的brokerId是怎么產生的呢苍狰?

public longrecalculatePullFromWhichNode(finalMessageQueue mq) {

if(this.isConnectBrokerByUser()) {

return this.defaultBrokerId;

}

AtomicLong suggest =this.pullFromWhichNodeTable.get(mq);

if(suggest !=null) {

returnsuggest.get();

}

returnMixAll.MASTER_ID;

}

傳入的mq是負載均衡服務分配給當前consumer消費的隊列,它必然是屬于一個brokername唯一的拓撲結構中响牛,即一主多從的幾臺機器中玷禽,從哪個機器選就很重要了,因為都可以選的呀打。

1.先看isConnectBrokerByUser 是否設置矢赁,如果設置,返回默認的贬丛,即0.

2.看緩存中是否已經存了建議值撩银,如果存了,直接返回

3.返回master的豺憔,即0.

那到這里额获,我們看一下怎么解釋一下宕機時主從切換過程够庙,consumer時如何從主上面切換到從上面的?

1.一開始時正常的抄邀,因為沒有緩存耘眨,也沒有特別設置,所以境肾,進入3 返回master剔难。

2.master 寫入緩存,后面都讀取到緩存奥喻,在上面的步驟2中返回偶宫。

master宕機了,然后nameserver中不再收到心跳环鲤,然后master機器剔除掉纯趋。所以consumer雖然選到了master,但是因為在地址中找不到broker'id=0的數(shù)據(jù)楔绞,于是進入隨機過程结闸,然后這樣就切到了slave,然后slave寫入到緩存酒朵。后面一直讀到緩存中的slave桦锄。

問題來了:master起來后,建議值的緩存也沒有更新蔫耽,那怎么切回到master结耀,畢竟我們是因為宕機產生地址找不到的時候,才能完成切換的匙铡,這解釋不通图甜。


后來debug了一發(fā),發(fā)現(xiàn)這個suggest值并不是consumer端決定的鳖眼,而是broker決定的黑毅。啥意思,即使你是拉去slave上面的數(shù)據(jù)钦讳,slave上面返回的結果中的suggest值也可能是0矿瘦,然后0就寫進緩存中,下一次愿卒,你還是優(yōu)先訪問master缚去,然后master沒有地址,訪問slave琼开。

這個意思就是易结,consumer端是根據(jù)緩存中的suggest值優(yōu)先選機器。但是呢這個suggest是通過broker傳回來的。所以即使是訪問slave搞动,傳回來的suggest值仍然是master躏精,只不過客戶端沒有master的映射關系,所以繼續(xù)訪問slave滋尉。這就能解釋為什么master從宕機起來后玉控,consumer能夠切回master飞主,因為地址映射表得到更新了狮惜,nameserver中有了master的信息了。

那么重點來了:

什么時候碌识,broker返回的建議值是0碾篡?

什么時候,broker返回的建議值是其他值筏餐?

1.如果master中的堆積信息過多开泽,默認返回consumerslow配置,默認是1.(所以機器的brokerId真的不能亂用)魁瞪,這個時候就切到slave了穆律。

2.

未完待續(xù)~

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市导俘,隨后出現(xiàn)的幾起案子峦耘,更是在濱河造成了極大的恐慌,老刑警劉巖旅薄,帶你破解...
    沈念sama閱讀 211,265評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件辅髓,死亡現(xiàn)場離奇詭異,居然都是意外死亡少梁,警方通過查閱死者的電腦和手機洛口,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評論 2 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來凯沪,“玉大人第焰,你說我怎么就攤上這事》谅恚” “怎么了挺举?”我有些...
    開封第一講書人閱讀 156,852評論 0 347
  • 文/不壞的土叔 我叫張陵,是天一觀的道長身笤。 經常有香客問我豹悬,道長,這世上最難降的妖魔是什么液荸? 我笑而不...
    開封第一講書人閱讀 56,408評論 1 283
  • 正文 為了忘掉前任瞻佛,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘伤柄。我一直安慰自己绊困,他們只是感情好,可當我...
    茶點故事閱讀 65,445評論 5 384
  • 文/花漫 我一把揭開白布适刀。 她就那樣靜靜地躺著秤朗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪笔喉。 梳的紋絲不亂的頭發(fā)上取视,一...
    開封第一講書人閱讀 49,772評論 1 290
  • 那天,我揣著相機與錄音常挚,去河邊找鬼作谭。 笑死,一個胖子當著我的面吹牛奄毡,可吹牛的內容都是我干的折欠。 我是一名探鬼主播,決...
    沈念sama閱讀 38,921評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼吼过,長吁一口氣:“原來是場噩夢啊……” “哼锐秦!你這毒婦竟也來了?” 一聲冷哼從身側響起盗忱,我...
    開封第一講書人閱讀 37,688評論 0 266
  • 序言:老撾萬榮一對情侶失蹤酱床,失蹤者是張志新(化名)和其女友劉穎毫深,沒想到半個月后骂际,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體先巴,經...
    沈念sama閱讀 44,130評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡泽示,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,467評論 2 325
  • 正文 我和宋清朗相戀三年往枷,在試婚紗的時候發(fā)現(xiàn)自己被綠了霎挟。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片悟耘。...
    茶點故事閱讀 38,617評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡欠拾,死狀恐怖汤纸,靈堂內的尸體忽然破棺而出衩茸,到底是詐尸還是另有隱情,我是刑警寧澤贮泞,帶...
    沈念sama閱讀 34,276評論 4 329
  • 正文 年R本政府宣布楞慈,位于F島的核電站,受9級特大地震影響啃擦,放射性物質發(fā)生泄漏囊蓝。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,882評論 3 312
  • 文/蒙蒙 一令蛉、第九天 我趴在偏房一處隱蔽的房頂上張望聚霜。 院中可真熱鬧狡恬,春花似錦、人聲如沸蝎宇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,740評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽姥芥。三九已至兔乞,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間凉唐,已是汗流浹背庸追。 一陣腳步聲響...
    開封第一講書人閱讀 31,967評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留熊榛,地道東北人锚国。 一個月前我還...
    沈念sama閱讀 46,315評論 2 360
  • 正文 我出身青樓腕巡,卻偏偏與公主長得像玄坦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子绘沉,可洞房花燭夜當晚...
    茶點故事閱讀 43,486評論 2 348

推薦閱讀更多精彩內容