metaq

1、metaq如何做集群坞嘀?
broker做集群躯护。使用相同的server.ini文件,修改brokerId即可丽涩,不需要重啟productor棺滞,其他broker裁蚁,以及消費(fèi)者,他們會(huì)自動(dòng)感知到新加入的broker
消費(fèi)者做集群
多個(gè)服務(wù)器可以組成一個(gè)集群來(lái)消費(fèi)同一個(gè)topic的消息继准,需要這些消費(fèi)者要用相同的groupid
2枉证、metaq如何做failover(故障轉(zhuǎn)移)?
當(dāng)某個(gè)broker重啟或者不能提供服務(wù)的時(shí)候移必,生產(chǎn)者可以通過(guò)zk來(lái)感知到這個(gè)變化室谚,將失效的分區(qū)移除,從而做到failover崔泵,但是故障感知會(huì)有一點(diǎn)延遲秒赤,可能在這個(gè)期間消息會(huì)發(fā)送失敗
當(dāng)消費(fèi)集群中的某個(gè)消費(fèi)者掛了,其他消費(fèi)者會(huì)感知到憎瘸,并重新進(jìn)行負(fù)載
3入篮、負(fù)載均衡
生產(chǎn)者負(fù)載。生產(chǎn)者啟動(dòng)的時(shí)候會(huì)從zk上獲取topic對(duì)應(yīng)的broker和分區(qū)列表含思,默認(rèn)的負(fù)載均衡策略是輪詢崎弃,也可以自定義負(fù)載均衡策略
消費(fèi)者負(fù)載。消費(fèi)者負(fù)載策略如下:
每個(gè)分區(qū)對(duì)同一個(gè)group只能掛載一個(gè)消費(fèi)者
如果同一個(gè)group下的消費(fèi)者數(shù)量大于分區(qū)數(shù)含潘,多余的消費(fèi)者不參與消費(fèi)
如果同一個(gè)group下的消費(fèi)者數(shù)量小于分區(qū)數(shù)饲做,有的消費(fèi)者需要承擔(dān)額外的消費(fèi)任務(wù)
4、消費(fèi)者分組 group
同一個(gè)topic下的消息可以由多組消費(fèi)組來(lái)消費(fèi)遏弱,不同的消費(fèi)者的處理邏輯和業(yè)務(wù)處理是不同的盆均,消費(fèi)速度和消費(fèi)進(jìn)度也是不一樣的。同一個(gè)分組的消費(fèi)者都只能消費(fèi)部分消息漱逸,不會(huì)重復(fù)消費(fèi)泪姨,不同分組的消費(fèi)者可以重復(fù)消費(fèi)同一個(gè)topic的消息。
5饰抒、可靠性保證
生產(chǎn)者發(fā)送消息的可靠性保證
生產(chǎn)者發(fā)送消息會(huì)等待broker的響應(yīng)結(jié)果肮砾,返回成功或失敗的標(biāo)志,如果成功說(shuō)明該消息已經(jīng)接收到并存入磁盤(pán)袋坑,這個(gè)過(guò)程是個(gè)同步的過(guò)程仗处,如果返回失敗,生產(chǎn)者會(huì)重發(fā)這個(gè)消息枣宫,所以這當(dāng)前一條消息已經(jīng)存入磁盤(pán)但是因?yàn)榫W(wǎng)絡(luò)的原因?qū)е聸](méi)有返回響應(yīng)婆誓,有可能引起消息的重復(fù)。
broker存儲(chǔ)消息的可靠性保證
broker收到生產(chǎn)者發(fā)過(guò)來(lái)的消息后也颤,校驗(yàn)后會(huì)存入磁盤(pán)洋幻,寫(xiě)入成功后才返回響應(yīng)。并且broker會(huì)在收到1000消息或每隔10s鐘自動(dòng)刷新到磁盤(pán)中

6翅娶、消費(fèi)者消費(fèi)消息的可靠性
消費(fèi)者是一條接一條的消費(fèi)消息文留,只有前一條消息消費(fèi)成功才會(huì)消費(fèi)下一條消息好唯,如果消費(fèi)失敗會(huì)重試5次,如果還是失敗會(huì)將這條消息存入本地磁盤(pán)燥翅,然后又后臺(tái)線程繼續(xù)重試渠啊,主線程繼續(xù)往后走。另外消費(fèi)者消費(fèi)的可靠性和offset存儲(chǔ)緊密相關(guān)权旷,offset記錄消費(fèi)的偏移量替蛉,如果消費(fèi)者消費(fèi)成功后沒(méi)有能成功的offset存起來(lái),那么同一個(gè)group的其他消費(fèi)者就會(huì)再次消費(fèi)這個(gè)消息拄氯,從而造成消息重復(fù)躲查。offset的存儲(chǔ)可以存在zk、mysql译柏、文件中镣煮,如果存在zk中,zk的可靠性就決定了metaq消費(fèi)消息的可靠性

7鄙麦、消息順序的保證
metaq消費(fèi)者按照消息存入磁盤(pán)的先后順序來(lái)消費(fèi)消息典唇,

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市胯府,隨后出現(xiàn)的幾起案子介衔,更是在濱河造成了極大的恐慌,老刑警劉巖骂因,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件炎咖,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡寒波,警方通過(guò)查閱死者的電腦和手機(jī)乘盼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)俄烁,“玉大人绸栅,你說(shuō)我怎么就攤上這事∫惩溃” “怎么了粹胯?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)卷中。 經(jīng)常有香客問(wèn)我矛双,道長(zhǎng)渊抽,這世上最難降的妖魔是什么蟆豫? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮懒闷,結(jié)果婚禮上十减,老公的妹妹穿的比我還像新娘栈幸。我一直安慰自己,他們只是感情好帮辟,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布速址。 她就那樣靜靜地躺著,像睡著了一般由驹。 火紅的嫁衣襯著肌膚如雪芍锚。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,682評(píng)論 1 312
  • 那天蔓榄,我揣著相機(jī)與錄音并炮,去河邊找鬼。 笑死甥郑,一個(gè)胖子當(dāng)著我的面吹牛逃魄,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播澜搅,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼伍俘,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了勉躺?” 一聲冷哼從身側(cè)響起癌瘾,我...
    開(kāi)封第一講書(shū)人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎饵溅,沒(méi)想到半個(gè)月后柳弄,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡概说,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年碧注,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片糖赔。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡萍丐,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出放典,到底是詐尸還是另有隱情逝变,我是刑警寧澤,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布奋构,位于F島的核電站壳影,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏弥臼。R本人自食惡果不足惜宴咧,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望径缅。 院中可真熱鬧掺栅,春花似錦烙肺、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至沙绝,卻和暖如春搏明,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背闪檬。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工熏瞄, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人谬以。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓强饮,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親为黎。 傳聞我的和親對(duì)象是個(gè)殘疾皇子邮丰,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容