1.冪等性
冪等(idempotent敛纲、idempotence)是一個數(shù)學(xué)與計算機(jī)學(xué)概念,常見于抽象代數(shù)中像云。
在編程中一個冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同锌雀。冪等函數(shù),或冪等方法苫费,是指可以使用相同參數(shù)重復(fù)執(zhí)行汤锨,并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會影響系統(tǒng)狀態(tài)百框,也不用擔(dān)心重復(fù)執(zhí)行會對系統(tǒng)造成改變闲礼。例如,“setTrue()”函數(shù)就是一個冪等函數(shù),無論多次執(zhí)行铐维,其結(jié)果都是一樣的.更復(fù)雜的操作冪等保證是利用唯一交易號(流水號)實現(xiàn).
簡單來說柬泽,冪等性就是一個數(shù)據(jù)或者一個請求,給你重復(fù)來了多次嫁蛇,你得確保對應(yīng)的數(shù)據(jù)是不會改變的锨并,不能出錯。
2.出現(xiàn)重復(fù)消費(fèi)場景
(1)首先睬棚,比如rabbitmq第煮、rocketmq解幼、kafka,都有可能會出現(xiàn)消息重復(fù)消費(fèi)的問題包警。因為這個問題通常不是由mq來保證的撵摆,而是消費(fèi)方自己來保證的。
(2)舉例kafka來說明重復(fù)消費(fèi)問題
kafka有一個叫做offset的概念害晦,就是每個消息寫進(jìn)去特铝,都有一個offset代表他的序號,然后consumer消費(fèi)了數(shù)據(jù)之后壹瘟,每隔一段時間鲫剿,會把自己消費(fèi)過的消息的offset提交一下,代表我已經(jīng)消費(fèi)過了稻轨,下次就算重啟灵莲,kafka就會讓消費(fèi)者從上次消費(fèi)到的offset來繼續(xù)消費(fèi)。
但是萬事總有例外澄者,如果consumer消費(fèi)了數(shù)據(jù)笆呆,還沒來得及發(fā)送自己已經(jīng)消費(fèi)的消息的offset就掛了,那么重啟之后就會收到重復(fù)的數(shù)據(jù)粱挡。
3.保證冪等性(重復(fù)消費(fèi))
要保證消息的冪等性赠幕,這個要結(jié)合業(yè)務(wù)的類型來進(jìn)行處理。下面提供幾個思路供參考:
(1)询筏、可在內(nèi)存中維護(hù)一個set榕堰,只要從消息隊列里面獲取到一個消息,先查詢這個消息在不在set里面嫌套,如果在表示已消費(fèi)過逆屡,直接丟棄;如果不在踱讨,則在消費(fèi)后將其加入set當(dāng)中魏蔗。
(2)、如何要寫數(shù)據(jù)庫痹筛,可以拿唯一鍵先去數(shù)據(jù)庫查詢一下莺治,如果不存在在寫,如果存在直接更新或者丟棄消息帚稠。
(3)谣旁、如果是寫redis那沒有問題,每次都是set滋早,天然的冪等性榄审。
(4)、讓生產(chǎn)者發(fā)送消息時杆麸,每條消息加一個全局的唯一id搁进,然后消費(fèi)時浪感,將該id保存到redis里面。消費(fèi)時先去redis里面查一下有么有饼问,沒有再消費(fèi)篮撑。
(5)、數(shù)據(jù)庫操作可以設(shè)置唯一鍵匆瓜,防止重復(fù)數(shù)據(jù)的插入,這樣插入只會報錯而不會插入重復(fù)數(shù)據(jù)未蝌。
上一篇《如何保證消息隊列的高可用》
下一篇《如何防止數(shù)據(jù)隊列數(shù)據(jù)丟失》