rocketmq一些小的總結(jié)

rocketmq重試機制止潘。

  • producer端推送消息到broker失敗重試:
    有很多種情況會影響生產(chǎn)端重試發(fā)送消息呈驶。
    1,網(wǎng)絡(luò)不可達造成的重試:如果在生產(chǎn)者發(fā)送消息到broker或者broker向生產(chǎn)者發(fā)送結(jié)果時,因為網(wǎng)絡(luò)原因,生產(chǎn)者沒有獲取成功響應(yīng)狡刘,在這中情況下享潜,生產(chǎn)者會無限次重試困鸥。
    2,broker存儲過程中出現(xiàn)異常剑按,會導(dǎo)致生產(chǎn)者重試疾就。

  • consumer端消費消息失敗重試。
    1艺蝴,網(wǎng)絡(luò)不可達猬腰,這種情況和生產(chǎn)者一樣,不可達造成的重試(相當(dāng)于瀏覽器訪問一個請求沒有返回200響應(yīng)碼猜敢,都算網(wǎng)絡(luò)不可達)會是無限次的姑荷。
    2,由于業(yè)務(wù)業(yè)務(wù)處理的原因?qū)е庐惓5某霈F(xiàn)缩擂,導(dǎo)致給broker的響應(yīng)不是成功的結(jié)果(相當(dāng)于瀏覽器請求返回200鼠冕,成功結(jié)果,但是業(yè)務(wù)code是非成功的code)胯盯,這種失敗時有次數(shù)限時的重試懈费,每次重試會延遲發(fā)送消費信息,避免短時間內(nèi)消費端沒有解決bug或者服務(wù)沒有啟動博脑,所以有個延遲重試憎乙。

rocket的集群模式

1票罐,單機模式:在測試環(huán)境的時候,由于資源的限制泞边,可以選擇單機该押,執(zhí)行或者學(xué)習(xí)rocketmq的功能。

2阵谚,多master沈善;只有master沒有salve;rocketmq每個master之間是互不通信椭蹄,所以闻牡,如果某個mater宕機,該臺機器上的數(shù)據(jù)是無法被消費的绳矩,只有等到master重新啟動才可以被消費端消費罩润。如果宕機的master磁盤有問題,且無法恢復(fù)翼馆,會導(dǎo)致master的數(shù)據(jù)丟失割以,即消息丟失。

3应媚,多master多slave严沥;這種模式即每個master至少會有slave(master和slave的集群名稱和接單名稱一樣,只是節(jié)點的id不同中姜,而且master的id必須為0消玄,slave的id大于0,可以是一臺也可以多臺slave丢胚,1翩瓜,2,3携龟,4兔跌,5標(biāo)示不同的slave)。這種方式雖然需要的資源比較多峡蟋,但是可以保證在master掛掉的時候坟桅,不影響消費者的消費,可以減小對消費端的影響蕊蝗。master和slave之間是有聯(lián)系的仅乓,在配置的時候,master和slave可以配置不同的數(shù)據(jù)同步模式匿又,可以異步復(fù)制方灾,也可以同步雙寫;異步復(fù)制效率更高,但是如果master掛掉裕偿,磁盤損壞的情況下洞慎,會有少量數(shù)據(jù)丟失,但是不會想多master模式下嘿棘,master掛掉并且磁盤順壞導(dǎo)致這個節(jié)點下的所有的數(shù)據(jù)丟失劲腿。同步雙寫,是說producer發(fā)送消息的時候鸟妙,只有master和slave都保存成功的時候焦人,才告訴producer發(fā)送成功,這樣即使master掛掉重父,slave也有完整的數(shù)據(jù)花椭,可以保證消息不丟失,但是效率較異步復(fù)制差房午,這種情況一般適用于和錢相關(guān)的矿辽,不能允許丟消息的情況。

rocketmq的發(fā)布-訂閱

rocketmq支持廣播和發(fā)布-訂閱兩種消息模式郭厌。發(fā)布-訂閱模式袋倔,嚴(yán)格意義上說必須是先啟動consumer端,再啟動producer端。如果先啟動生產(chǎn)端并生產(chǎn)消息,之后在啟動消費端妙色,會有一些意想不到的結(jié)果【醣牵可能會導(dǎo)致大量的重復(fù)消費的情況。

rocketmq消費端冪等性設(shè)計。

集群模式下,生產(chǎn)端如果消息發(fā)送失敗嘱根,生產(chǎn)端會重試。但是有時候巷懈,生產(chǎn)端發(fā)送消息broker保存成功,但是在向producer反饋的時候慌洪,網(wǎng)絡(luò)異常顶燕,導(dǎo)致生產(chǎn)端誤以為失敗。重復(fù)發(fā)送消息冈爹∮抗ィ或者在消費端,消費成功频伤,但是網(wǎng)絡(luò)原因ack的時候失敗恳谎。導(dǎo)致broker重復(fù)發(fā)送消息到消費端。或者剛啟動的consumer因痛,會消費到另一個consumer正在消費婚苹,但是還沒有反饋給broker結(jié)果的消息。等等情況都會導(dǎo)致消費端消費的重復(fù)的消息鸵膏。
這個時候膊升,為了保證數(shù)據(jù)的一致性,必須在消費端要保證消費的冪等性谭企。即廓译,如果有重復(fù)的消息,直接反饋上一次消費成功的結(jié)果债查。如果沒有消費成功非区,再繼續(xù)消費№锿ⅲ總之院仿,消息只能被成功消費一次。

如何保證rocketmq消費的冪等性

在生產(chǎn)端發(fā)送消息的時候速和,message可以傳遞key歹垫,這個key必須是全局唯一的(可以是時間毫秒數(shù)),這樣消費端在消費的時候可以看是否有改key的成功消費結(jié)果颠放。如果有直接反饋成功結(jié)果給broker排惨,如果沒有繼續(xù)消費∨鲂祝或者在消息中有唯一性的業(yè)務(wù)主鍵暮芭,這樣可以使用業(yè)務(wù)主鍵而不使用key來保證不重復(fù)消費。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末欲低,一起剝皮案震驚了整個濱河市辕宏,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌砾莱,老刑警劉巖瑞筐,帶你破解...
    沈念sama閱讀 219,589評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異腊瑟,居然都是意外死亡聚假,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3 396
  • 文/潘曉璐 我一進店門闰非,熙熙樓的掌柜王于貴愁眉苦臉地迎上來膘格,“玉大人,你說我怎么就攤上這事财松”窦” “怎么了?”我有些...
    開封第一講書人閱讀 165,933評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長菜秦。 經(jīng)常有香客問我甜害,道長,這世上最難降的妖魔是什么喷户? 我笑而不...
    開封第一講書人閱讀 58,976評論 1 295
  • 正文 為了忘掉前任唾那,我火速辦了婚禮,結(jié)果婚禮上褪尝,老公的妹妹穿的比我還像新娘闹获。我一直安慰自己,他們只是感情好河哑,可當(dāng)我...
    茶點故事閱讀 67,999評論 6 393
  • 文/花漫 我一把揭開白布避诽。 她就那樣靜靜地躺著,像睡著了一般璃谨。 火紅的嫁衣襯著肌膚如雪沙庐。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,775評論 1 307
  • 那天佳吞,我揣著相機與錄音拱雏,去河邊找鬼。 笑死底扳,一個胖子當(dāng)著我的面吹牛铸抑,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播衷模,決...
    沈念sama閱讀 40,474評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼鹊汛,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了阱冶?” 一聲冷哼從身側(cè)響起刁憋,我...
    開封第一講書人閱讀 39,359評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎木蹬,沒想到半個月后至耻,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,854評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡届囚,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3 338
  • 正文 我和宋清朗相戀三年有梆,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片意系。...
    茶點故事閱讀 40,146評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖饺汹,靈堂內(nèi)的尸體忽然破棺而出蛔添,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,826評論 5 346
  • 正文 年R本政府宣布迎瞧,位于F島的核電站夸溶,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏凶硅。R本人自食惡果不足惜缝裁,卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望足绅。 院中可真熱鬧捷绑,春花似錦、人聲如沸氢妈。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽首量。三九已至壮吩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間加缘,已是汗流浹背鸭叙。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留拣宏,地道東北人沈贝。 一個月前我還...
    沈念sama閱讀 48,420評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像蚀浆,于是被迫代替她去往敵國和親缀程。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,107評論 2 356

推薦閱讀更多精彩內(nèi)容