1.大量消息在mq里積壓了幾個小時了還沒解決
場景：幾千萬條數(shù)據(jù)在MQ里積壓了七八個小時，從下午4點多，積壓到了晚上很晚炫隶，10點多，11點多憔披。線上故障了等限，這個時候要不然就是修復(fù)consumer的問題爸吮，讓他恢復(fù)消費速度，然后傻傻的等待幾個小時消費完畢望门。這個肯定不行形娇。一個消費者一秒是1000條，一秒3個消費者是3000條筹误，一分鐘是18萬條桐早，1000多萬條。
所以如果你積壓了幾百萬到上千萬的數(shù)據(jù)厨剪，即使消費者恢復(fù)了哄酝，也需要大概1小時的時間才能恢復(fù)過來。
解決方案：”
這種時候只能操作臨時擴容祷膳，以更快的速度去消費數(shù)據(jù)了陶衅。具體操作步驟和思路如下：
①先修復(fù)consumer的問題，確保其恢復(fù)消費速度直晨，然后將現(xiàn)有consumer都停掉搀军。
②臨時建立好原先10倍或者20倍的queue數(shù)量(新建一個topic，partition是原來的10倍)勇皇。
③然后寫一個臨時分發(fā)消息的consumer程序罩句，這個程序部署上去消費積壓的消息，消費之后不做耗時處理敛摘，直接均勻輪詢寫入臨時建好分10數(shù)量的queue里面门烂。
④緊接著征用10倍的機器來部署consumer，每一批consumer消費一個臨時queue的消息兄淫。
⑤這種做法相當于臨時將queue資源和consumer資源擴大10倍屯远，以正常速度的10倍來消費消息。
⑥等快速消費完了之后拖叙，恢復(fù)原來的部署架構(gòu)氓润，重新用原來的consumer機器來消費消息。
2.消息設(shè)置了過期時間薯鳍，過期就丟了怎么辦
假設(shè)你用的是rabbitmq咖气，rabbitmq是可以設(shè)置過期時間的，就是TTL挖滤，如果消息在queue中積壓超過一定的時間就會被rabbitmq給清理掉崩溪，這個數(shù)據(jù)就沒了。那這就是第二個坑了斩松。這就不是說數(shù)據(jù)會大量積壓在mq里伶唯，而是大量的數(shù)據(jù)會直接搞丟。
解決方案：
這種情況下惧盹，實際上沒有什么消息擠壓乳幸，而是丟了大量的消息瞪讼。所以第一種增加consumer肯定不適用。
這種情況可以采取 “批量重導(dǎo)” 的方案來進行解決粹断。
在流量低峰期(比如夜深人靜時)符欠，寫一個程序，手動去查詢丟失的那部分數(shù)據(jù)瓶埋，然后將消息重新發(fā)送到mq里面希柿，把丟失的數(shù)據(jù)重新補回來。
3.積壓消息長時間沒有處理养筒，mq放不下了怎么辦
如果走的方式是消息積壓在mq里曾撤，那么如果你很長時間都沒處理掉，此時導(dǎo)致mq都快寫滿了晕粪，咋辦挤悉？這個還有別的辦法嗎？
解決方案：
這個就沒有辦法了兵多，肯定是第一方案執(zhí)行太慢尖啡，這種時候只好采用 “丟棄+批量重導(dǎo)” 的方式來解決了。
首先剩膘，臨時寫個程序，連接到mq里面消費數(shù)據(jù)盆顾，收到消息之后直接將其丟棄怠褐，快速消費掉積壓的消息，降低MQ的壓力您宪，然后走第二種方案奈懒，在晚上夜深人靜時去手動查詢重導(dǎo)丟失的這部分數(shù)據(jù)。
上一篇《如何保證消息按順序執(zhí)行》
