關(guān)于MQ的幾件小事(三)如何保證消息不重復(fù)消費(fèi)

1.冪等性

冪等(idempotent敛纲、idempotence)是一個數(shù)學(xué)與計算機(jī)學(xué)概念,常見于抽象代數(shù)中像云。
在編程中一個冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同锌雀。冪等函數(shù),或冪等方法苫费,是指可以使用相同參數(shù)重復(fù)執(zhí)行汤锨,并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會影響系統(tǒng)狀態(tài)百框,也不用擔(dān)心重復(fù)執(zhí)行會對系統(tǒng)造成改變闲礼。例如,“setTrue()”函數(shù)就是一個冪等函數(shù),無論多次執(zhí)行铐维,其結(jié)果都是一樣的.更復(fù)雜的操作冪等保證是利用唯一交易號(流水號)實現(xiàn).

簡單來說柬泽,冪等性就是一個數(shù)據(jù)或者一個請求,給你重復(fù)來了多次嫁蛇,你得確保對應(yīng)的數(shù)據(jù)是不會改變的锨并,不能出錯。

2.出現(xiàn)重復(fù)消費(fèi)場景

(1)首先睬棚,比如rabbitmq第煮、rocketmq解幼、kafka,都有可能會出現(xiàn)消息重復(fù)消費(fèi)的問題包警。因為這個問題通常不是由mq來保證的撵摆,而是消費(fèi)方自己來保證的。
(2)舉例kafka來說明重復(fù)消費(fèi)問題
kafka有一個叫做offset的概念害晦,就是每個消息寫進(jìn)去特铝,都有一個offset代表他的序號,然后consumer消費(fèi)了數(shù)據(jù)之后壹瘟,每隔一段時間鲫剿,會把自己消費(fèi)過的消息的offset提交一下,代表我已經(jīng)消費(fèi)過了稻轨,下次就算重啟灵莲,kafka就會讓消費(fèi)者從上次消費(fèi)到的offset來繼續(xù)消費(fèi)。

但是萬事總有例外澄者,如果consumer消費(fèi)了數(shù)據(jù)笆呆,還沒來得及發(fā)送自己已經(jīng)消費(fèi)的消息的offset就掛了,那么重啟之后就會收到重復(fù)的數(shù)據(jù)粱挡。


kafka重復(fù)消費(fèi)示意圖.png

3.保證冪等性(重復(fù)消費(fèi))

要保證消息的冪等性赠幕,這個要結(jié)合業(yè)務(wù)的類型來進(jìn)行處理。下面提供幾個思路供參考:
(1)询筏、可在內(nèi)存中維護(hù)一個set榕堰,只要從消息隊列里面獲取到一個消息,先查詢這個消息在不在set里面嫌套,如果在表示已消費(fèi)過逆屡,直接丟棄;如果不在踱讨,則在消費(fèi)后將其加入set當(dāng)中魏蔗。
(2)、如何要寫數(shù)據(jù)庫痹筛,可以拿唯一鍵先去數(shù)據(jù)庫查詢一下莺治,如果不存在在寫,如果存在直接更新或者丟棄消息帚稠。
(3)谣旁、如果是寫redis那沒有問題,每次都是set滋早,天然的冪等性榄审。
(4)、讓生產(chǎn)者發(fā)送消息時杆麸,每條消息加一個全局的唯一id搁进,然后消費(fèi)時浪感,將該id保存到redis里面。消費(fèi)時先去redis里面查一下有么有饼问,沒有再消費(fèi)篮撑。
(5)、數(shù)據(jù)庫操作可以設(shè)置唯一鍵匆瓜,防止重復(fù)數(shù)據(jù)的插入,這樣插入只會報錯而不會插入重復(fù)數(shù)據(jù)未蝌。

上一篇《如何保證消息隊列的高可用
下一篇《如何防止數(shù)據(jù)隊列數(shù)據(jù)丟失

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末驮吱,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子萧吠,更是在濱河造成了極大的恐慌左冬,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件纸型,死亡現(xiàn)場離奇詭異拇砰,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)狰腌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進(jìn)店門除破,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人琼腔,你說我怎么就攤上這事瑰枫。” “怎么了丹莲?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵光坝,是天一觀的道長。 經(jīng)常有香客問我甥材,道長盯另,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任洲赵,我火速辦了婚禮鸳惯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘板鬓。我一直安慰自己悲敷,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布俭令。 她就那樣靜靜地躺著后德,像睡著了一般。 火紅的嫁衣襯著肌膚如雪抄腔。 梳的紋絲不亂的頭發(fā)上瓢湃,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天理张,我揣著相機(jī)與錄音,去河邊找鬼绵患。 笑死雾叭,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的落蝙。 我是一名探鬼主播织狐,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼筏勒!你這毒婦竟也來了移迫?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤管行,失蹤者是張志新(化名)和其女友劉穎厨埋,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體捐顷,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡荡陷,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了迅涮。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片废赞。...
    茶點(diǎn)故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖叮姑,靈堂內(nèi)的尸體忽然破棺而出蛹头,到底是詐尸還是另有隱情,我是刑警寧澤戏溺,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布渣蜗,位于F島的核電站,受9級特大地震影響旷祸,放射性物質(zhì)發(fā)生泄漏耕拷。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一托享、第九天 我趴在偏房一處隱蔽的房頂上張望骚烧。 院中可真熱鬧,春花似錦闰围、人聲如沸赃绊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽碧查。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間忠售,已是汗流浹背传惠。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留稻扬,地道東北人卦方。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像泰佳,于是被迫代替她去往敵國和親盼砍。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容