面試題
如何保證消息的順序性原环？
消息中間件各種面試題：
消息中間件面試題：消息丟失怎么辦贞间？
消息中間件面試題：消息隊(duì)列的優(yōu)缺點(diǎn)贿条，區(qū)別
消息中間件面試題：消息中間件的高可用
消息中間件面試題：如何保證消息的順序性
消息中間件面試題：如何保證消息不被重復(fù)消費(fèi)
消息中間件面試題：如何解決消息隊(duì)列的延時(shí)以及過(guò)期失效問(wèn)題？消息隊(duì)列滿了以后該怎么處理增热？有幾百萬(wàn)消息持續(xù)積壓幾小時(shí)呢整以？
消息中間件面試題：如果讓你寫一個(gè)消息隊(duì)列，該如何進(jìn)行架構(gòu)設(shè)計(jì)钓葫？
面試題剖析
我舉個(gè)例子悄蕾，我們以前做過(guò)一個(gè) mysql binlog 同步的系統(tǒng)，壓力還是非常大的础浮，日同步數(shù)據(jù)要達(dá)到上億，就是說(shuō)數(shù)據(jù)從一個(gè) mysql 庫(kù)原封不動(dòng)地同步到另一個(gè) mysql 庫(kù)里面去（mysql -> mysql）奠骄。常見(jiàn)的一點(diǎn)在于說(shuō)比如大數(shù)據(jù) team豆同，就需要同步一個(gè) mysql 庫(kù)過(guò)來(lái)，對(duì)公司的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)做各種復(fù)雜的操作含鳞。
你在 mysql 里增刪改一條數(shù)據(jù)影锈，對(duì)應(yīng)出來(lái)了增刪改 3 條 binlog 日志，接著這三條 binlog 發(fā)送到 MQ 里面蝉绷，再消費(fèi)出來(lái)依次執(zhí)行鸭廷，起碼得保證人家是按照順序來(lái)的吧？不然本來(lái)是：增加熔吗、修改辆床、刪除；你楞是換了順序給執(zhí)行成刪除桅狠、修改讼载、增加，不全錯(cuò)了么中跌。
本來(lái)這個(gè)數(shù)據(jù)同步過(guò)來(lái)咨堤，應(yīng)該最后這個(gè)數(shù)據(jù)被刪除了；結(jié)果你搞錯(cuò)了這個(gè)順序漩符，最后這個(gè)數(shù)據(jù)保留下來(lái)了一喘，數(shù)據(jù)同步就出錯(cuò)了。
先看看順序會(huì)錯(cuò)亂的倆場(chǎng)景：
- RabbitMQ：一個(gè) queue嗜暴，多個(gè) consumer凸克。比如议蟆，生產(chǎn)者向 RabbitMQ 里發(fā)送了三條數(shù)據(jù)，順序依次是 data1/data2/data3触徐，壓入的是 RabbitMQ 的一個(gè)內(nèi)存隊(duì)列咪鲜。有三個(gè)消費(fèi)者分別從 MQ 中消費(fèi)這三條數(shù)據(jù)中的一條，結(jié)果消費(fèi)者2先執(zhí)行完操作撞鹉，把 data2 存入數(shù)據(jù)庫(kù)疟丙，然后是 data1/data3。這不明顯亂了鸟雏。
-
Kafka：比如說(shuō)我們建了一個(gè) topic享郊，有三個(gè) partition。生產(chǎn)者在寫的時(shí)候孝鹊，其實(shí)可以指定一個(gè) key炊琉，比如說(shuō)我們指定了某個(gè)訂單 id 作為 key，那么這個(gè)訂單相關(guān)的數(shù)據(jù)又活，一定會(huì)被分發(fā)到同一個(gè) partition 中去苔咪，而且這個(gè) partition 中的數(shù)據(jù)一定是有順序的。
消費(fèi)者從 partition 中取出來(lái)數(shù)據(jù)的時(shí)候柳骄，也一定是有順序的团赏。到這里，順序還是 ok 的耐薯，沒(méi)有錯(cuò)亂舔清。接著，我們?cè)谙M(fèi)者里可能會(huì)搞多個(gè)線程來(lái)并發(fā)處理消息曲初。因?yàn)槿绻M(fèi)者是單線程消費(fèi)處理体谒，而處理比較耗時(shí)的話，比如處理一條消息耗時(shí)幾十 ms臼婆，那么 1 秒鐘只能處理幾十條消息抒痒，這吞吐量太低了。而多個(gè)線程并發(fā)跑的話目锭，順序可能就亂掉了评汰。
解決方案
RabbitMQ
拆分多個(gè) queue，每個(gè) queue 一個(gè) consumer痢虹，就是多一些 queue 而已被去，確實(shí)是麻煩點(diǎn)；或者就一個(gè) queue 但是對(duì)應(yīng)一個(gè) consumer奖唯，然后這個(gè) consumer 內(nèi)部用內(nèi)存隊(duì)列做排隊(duì)惨缆，然后分發(fā)給底層不同的 worker 來(lái)處理。
Kafka
- 一個(gè) topic，一個(gè) partition坯墨，一個(gè) consumer寂汇，內(nèi)部單線程消費(fèi)，單線程吞吐量太低捣染，一般不會(huì)用這個(gè)骄瓣。
- 寫 N 個(gè)內(nèi)存 queue，具有相同 key 的數(shù)據(jù)都到同一個(gè)內(nèi)存 queue耍攘；然后對(duì)于 N 個(gè)線程榕栏，每個(gè)線程分別消費(fèi)一個(gè)內(nèi)存 queue 即可，這樣就能保證順序性蕾各。
關(guān)注我扒磁，這里只有干貨！
本文原創(chuàng)地址：https://jsbintask.cn/2019/01/28/interview/interview-middleware-order/式曲，轉(zhuǎn)載請(qǐng)注明出處妨托。
