RocketMQ的事務(wù)消息機(jī)制

RocketMQ事務(wù)消息接口介紹

當(dāng)我們?cè)跇I(yè)務(wù)邏輯中發(fā)送消息時(shí),消息與業(yè)務(wù)的事務(wù)之間難以保證一致性张足,如果業(yè)務(wù)代碼出現(xiàn)異常物臂,如果已發(fā)送的消息無(wú)法回滾颇蜡,則很會(huì)出現(xiàn)數(shù)據(jù)不一致的情況,RocketMQ的事務(wù)消息支持在業(yè)務(wù)邏輯與發(fā)送消息之間提供事務(wù)保證假颇,RocketMQ通過(guò)兩階段的方式提供事務(wù)消息的支持胚鸯。

RocketMQ實(shí)現(xiàn)事務(wù)消息依賴于TransactionListener接口,此接口的定義如下:

image

其中包含兩個(gè)方法:

  • executeLocalTransaction方法會(huì)在發(fā)送消息后調(diào)用笨鸡,用于執(zhí)行本地事務(wù)姜钳,如果本地事務(wù)執(zhí)行成功,rocketmq再提交消息
  • checkLocalTransaction用于對(duì)本地事務(wù)做檢查形耗,rocketmq依賴此方法做補(bǔ)覺(jué)哥桥,后文再細(xì)說(shuō)

以官方的示例為例子,我們看看如何使用RocketMQ的事務(wù)消息激涤,首先實(shí)現(xiàn)一個(gè)TransactionListener:

image

然后我們?cè)偻ㄟ^(guò)實(shí)現(xiàn)的TransactionListenerImpl類創(chuàng)建TransactionMQProducer拟糕,所有事務(wù)消息都需要通過(guò)TransactionMQProducer發(fā)送:

image

最后發(fā)送消息:

image

消息的消費(fèi)和普通消息一樣,這里不多說(shuō)了倦踢。下面我們?cè)倏醇?xì)說(shuō)一下RocketMQ的事務(wù)消息的實(shí)現(xiàn)機(jī)制

事務(wù)消息的執(zhí)行機(jī)制

image

如上圖所示送滞,RocketMQ通過(guò)兩個(gè)內(nèi)部的topic來(lái)實(shí)現(xiàn)對(duì)消息的兩階段支持,RocketMQ在實(shí)現(xiàn)事務(wù)消息時(shí)辱挥,實(shí)際上是通過(guò)將生產(chǎn)投遞過(guò)來(lái)的消息(消息上帶有事務(wù)標(biāo)識(shí))投遞到一個(gè)名為RMS_SYS_TRANS_HALF_TOPIC的topic中犁嗅,而不是投遞到真正的topic中,這個(gè)過(guò)程是第一階段(prepare)晤碘,然后producer再通過(guò)TransactionListener的executeLocalTransaction方法執(zhí)行本地事務(wù)褂微,當(dāng)producer的localTransaction處理成功或者失敗后,producer會(huì)向broker發(fā)送commit或rollback命令园爷,如果是commit宠蚂,則broker會(huì)將投遞到RMQ_SYS_TRANS_HALF_TOPIC中的消息投遞到真實(shí)的topic中,然后再投遞一個(gè)表示刪除的消息到RMQ_SYS_TRANS_OP_HALF_TOPIC中腮介,表示當(dāng)前事務(wù)已完成肥矢;如果是rollback,則沒(méi)有投遞到真實(shí)topic的過(guò)程叠洗,只需要投遞表示刪除的消息到RMQ_SYS_TRANS_OP_HALF_TOPIC甘改。最后,消費(fèi)者和消費(fèi)普通的消息一樣消費(fèi)事務(wù)消息灭抑。

整個(gè)過(guò)程如果沒(méi)有遇到問(wèn)題十艾,則一切OK,但整個(gè)過(guò)程中可能會(huì)遇到以下錯(cuò)誤:

  • 第一階段(prepare)失斕诮凇:給應(yīng)用返回發(fā)送消息失敗
  • 事務(wù)失斖怠:發(fā)送回滾命令給broker荤牍,由broker執(zhí)行消息的回滾
  • Commit或rollback失敗:由broker定時(shí)向producer發(fā)起事務(wù)檢查庆冕,如果本地事務(wù)成功康吵,則提交消息事務(wù),否則回滾消息事務(wù)

事務(wù)狀態(tài)的檢查有兩種情況:

  • commit/rollback:broker會(huì)執(zhí)行相應(yīng)的commit/rollback操作
  • 如果是TRANSACTION_NOT_TYPE访递,則一段時(shí)間后會(huì)再次檢查晦嵌,當(dāng)檢查的次數(shù)超過(guò)上限(默認(rèn)15次)則丟棄消息

異常情況示意圖如下:

image

源碼閱讀

最后我們看看幾處關(guān)鍵代碼,首先是producer的發(fā)送消息部分拷姿,在DefaultMQMessageImpl類的sendMessageInTransaction方法中使用了丙階段的方式處理事務(wù):

image

發(fā)送prepare消息成功后表示第一階段成功惭载,然后再調(diào)用transactionListener.executeLocalTransaction執(zhí)行本地事務(wù),隨便根據(jù)本地事務(wù)的執(zhí)行結(jié)果調(diào)用endTransaction方法做第二階段的處理:

image

接下來(lái)看看broker是如何處理兩階段的响巢,首先我們看看prepare的處理描滔,在SendMessageProcessor類的sendMessage方法中,我們可以看到獲取事務(wù)標(biāo)識(shí)并決定處理邏輯的代碼:

image

如果事務(wù)標(biāo)識(shí)為true踪古,則調(diào)用TransactionalMessageService的prepareMessage方法含长,我們可以進(jìn)入到此方法中,一直到TransactionalMessageBridge的parseHalfMessage方法灾炭,并最終找到消息的處理方式:

image

parseHalfMessage方法先將消息真實(shí)的topic和queueId加到到property里茎芋,然后將消息的topic設(shè)置成TransactionalMessageUtil.buildHalfTopic()調(diào)用的返回值,返回的topic正是RMQ_SYS_TRANS_HALF_TOPIC蜈出,這里對(duì)topic作了一個(gè)轉(zhuǎn)換田弥,因此在一階段完成后,消費(fèi)者還無(wú)法消費(fèi)到事務(wù)消息

我們?cè)賮?lái)看看二階段的處理方式铡原,進(jìn)入到EndTransactionProcessor類的processRequest方法中偷厦,可以看到如下代碼:

image

其中兩個(gè)核心代碼的調(diào)用,一個(gè)是commit時(shí)調(diào)用的sendFinalMessage方法用于將消息投遞到真實(shí)的topic中燕刻,另一個(gè)是TransactionalMessageService的deletePrepareMessage方法用于投遞一個(gè)用于標(biāo)識(shí)當(dāng)前事務(wù)的一階段消息為刪除的消息只泼,在看sendFinalMessage方法的實(shí)現(xiàn)前,我們先看一下在此方法調(diào)用前調(diào)用的endTransactionMessage方法的實(shí)現(xiàn):

image

可以看到關(guān)鍵代碼卵洗,將消息的topic和queueId設(shè)置回真實(shí)的topic和queueId请唱,然后在sendFinalMessage中存儲(chǔ)消息:

image

我們?cè)賮?lái)看看TransactionalMessageService的deletePrepareMessage方法的實(shí)現(xiàn),很明顯过蹂,是新寫(xiě)入了一個(gè)消息:

image

這里可以看到十绑,新寫(xiě)入的消息的tag是REMOVETAG,我們進(jìn)入到putOpMessage方法酷勺,在addRemoveTagInTransactionOp方法的調(diào)用中可以看到使用的topic是TransactionalMessageUtil.buildOpTopic()的返回值 本橙,即RMQ_SYS_TRANS_OP_HALF_TOPIC

最后,我們?cè)賮?lái)看看本地事務(wù)的check相關(guān)的代碼脆诉,我們進(jìn)入到TransactionalMessageCheckService類中甚亭,此類包含一個(gè)線程贷币,此線程默認(rèn)每分鐘觸發(fā)一次事務(wù)檢查,在其onWaitEnd方法中亏狰,可以看到實(shí)際上還是調(diào)用了TransactionalMessageService的check方法:

image

這里默認(rèn)的timeout是6秒和checkMax是15役纹,表示的意思是6秒以上沒(méi)commit/rollback的消息才做事務(wù)檢查,檢查次數(shù)越過(guò)15次則丟棄事務(wù)暇唾,我們可以進(jìn)入到TransactionalMessageService的check方法中字管,其中有一大段的邏輯用于判斷一個(gè)消息是否應(yīng)該做事務(wù)檢查,這里不解釋了信不,我們直接看觸發(fā)事務(wù)檢查的代碼:

image

很明顯,listener.resolveHalfMsg方法用于觸發(fā)事務(wù)的檢查亡呵,其實(shí)現(xiàn)如下:

image

可以看到抽活,它使用了broker到client的調(diào)用,觸發(fā)producer的事務(wù)檢查锰什,至于事務(wù)檢查如何處理下硕,我們可以回到producer的DefaultMQProducerImpl類中,其中的checkTransactionState方法調(diào)用了TransactionListener的checkLocalTransaction方法用于處理事務(wù)的檢查:

image

最后事務(wù)檢查的結(jié)果會(huì)由processTransactionState方法做處理:這里和前文講過(guò)的事務(wù)消息的第二階段處理的代碼一樣汁胆,將事務(wù)結(jié)果發(fā)送到broker梭姓,并由broker的EndTransactionProcessor的processRequest做事務(wù)二階段的處理

最后說(shuō)一句,雖然RocketMQ的代碼寫(xiě)的不優(yōu)雅嫩码,而且for/if-else等嵌套非常深誉尖,但是理解了它的運(yùn)行機(jī)制后還是能有所收獲的。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末铸题,一起剝皮案震驚了整個(gè)濱河市铡恕,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌丢间,老刑警劉巖探熔,帶你破解...
    沈念sama閱讀 221,273評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異烘挫,居然都是意外死亡诀艰,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門饮六,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)其垄,“玉大人,你說(shuō)我怎么就攤上這事喜滨∽酵保” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,709評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵虽风,是天一觀的道長(zhǎng)棒口。 經(jīng)常有香客問(wèn)我寄月,道長(zhǎng),這世上最難降的妖魔是什么无牵? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,520評(píng)論 1 296
  • 正文 為了忘掉前任漾肮,我火速辦了婚禮,結(jié)果婚禮上茎毁,老公的妹妹穿的比我還像新娘克懊。我一直安慰自己,他們只是感情好七蜘,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布谭溉。 她就那樣靜靜地躺著,像睡著了一般橡卤。 火紅的嫁衣襯著肌膚如雪扮念。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,158評(píng)論 1 308
  • 那天碧库,我揣著相機(jī)與錄音柜与,去河邊找鬼。 笑死嵌灰,一個(gè)胖子當(dāng)著我的面吹牛弄匕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播沽瞭,決...
    沈念sama閱讀 40,755評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼迁匠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了秕脓?” 一聲冷哼從身側(cè)響起柒瓣,我...
    開(kāi)封第一講書(shū)人閱讀 39,660評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎吠架,沒(méi)想到半個(gè)月后芙贫,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,203評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡傍药,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評(píng)論 3 340
  • 正文 我和宋清朗相戀三年磺平,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片拐辽。...
    茶點(diǎn)故事閱讀 40,427評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡拣挪,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出俱诸,到底是詐尸還是另有隱情菠劝,我是刑警寧澤,帶...
    沈念sama閱讀 36,122評(píng)論 5 349
  • 正文 年R本政府宣布睁搭,位于F島的核電站赶诊,受9級(jí)特大地震影響笼平,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜舔痪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評(píng)論 3 333
  • 文/蒙蒙 一寓调、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧锄码,春花似錦夺英、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,272評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至重窟,卻和暖如春灸蟆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背亲族。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,393評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留可缚,地道東北人霎迫。 一個(gè)月前我還...
    沈念sama閱讀 48,808評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像帘靡,于是被迫代替她去往敵國(guó)和親知给。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容