個人專題目錄
怎么保證rabbitmq不丟消息(消息可靠性保障)
提出需求：如何能夠保證消息的 100% 發(fā)送成功冕屯？
首先大家要明確任何一個系統(tǒng)都不能保證消息的 100% 投遞成功车份，我們是可以保證消息以最高最可靠的發(fā)送給目標(biāo)方。
在RabbitMQ中采用 消息補充機制 來保證消息的可靠性
步驟分析：
參與部分：消息生產(chǎn)者艇肴、消息消費者腔呜、數(shù)據(jù)庫、三個隊列（Q1再悼、Q2核畴、Q3）、交換機冲九、回調(diào)檢查服務(wù)谤草、定時檢查服務(wù)
- 消息的生產(chǎn)者將業(yè)務(wù)數(shù)據(jù)存到數(shù)據(jù)庫中
- 發(fā)送消息給 隊列Q1
- 消息的生產(chǎn)者等待一定的時間后，在發(fā)送一個延遲消息給隊列 Q3
- 消息的消費方監(jiān)聽 Q1 隊列消息莺奸，成功接收后
- 消息的消費方會 發(fā)送 一條確認消息給 隊列Q2
- 回調(diào)檢查服務(wù)監(jiān)聽 隊列Q2 發(fā)送的確認消息
- 回調(diào)檢查服務(wù)接收到確認消息后丑孩，將消息寫入到 消息的數(shù)據(jù)庫表中
- 回調(diào)檢查服務(wù)同時也會監(jiān)聽 隊列Q3延遲消息， 如果接收到消息會和數(shù)據(jù)庫比對消息的唯一標(biāo)識
- 如果發(fā)現(xiàn)沒有接收到確認消息灭贷，那么回調(diào)檢查服務(wù)就會遠程調(diào)用 消息生產(chǎn)者温学，重新發(fā)送消息
- 重新執(zhí)行 2-7 步驟，保證消息的可靠性傳輸
- 如果發(fā)送消息和延遲消息都出現(xiàn)異常氧腰，定時檢查服務(wù)會監(jiān)控 消息庫中的消息數(shù)據(jù)枫浙，如果發(fā)現(xiàn)不一致的消息然后遠程調(diào)用消息的生產(chǎn)者重新發(fā)送消息。
以車聯(lián)網(wǎng)數(shù)據(jù)種類進行簡單歸類如下：
- 終端上行的數(shù)據(jù)：
- 主流數(shù)據(jù)古拴，量多箩帚、又頻繁。（位置數(shù)據(jù)黄痪，OBD數(shù)據(jù)）紧帕，能丟
- 特別預(yù)制條件下，滿足桅打，量少是嗜，比如報警，連續(xù)報警同一個警挺尾，平臺要去重鹅搪，不能丟
- 司機發(fā)起的請求，量小遭铺，不能丟
- 司機的應(yīng)答丽柿，（平臺側(cè)發(fā)起），不能丟
- 下行到終端數(shù)據(jù)：
- 設(shè)置類不能丟
- 通知類魂挂，一段時間以后 可以丟甫题。 開會等
- 查詢類 最好不要丟
- 系統(tǒng)內(nèi)配置消息，量小涂召，一定時間內(nèi)不能丟坠非，時間過，重發(fā)該消息果正，消費者 要能去重炎码。
1. 從rabbitmq自身支持的層面
exchange、queue潦闲、messages需要持久化队萤。
consumer 收到后，手動送出ACK矫钓，即：producer---------------broker---------------ACK------------------consumer
- publisher confirm方式（http://www.rabbitmq.com/confirms.html）
保證傳輸過程中不丟要尔，需要兩處確認，producer----CONFIRM----broker-----ACK---consumer
保證在producer新娜、broker赵辕、consumer 中不丟，這里只考慮 broker崩潰或重啟概龄，需要exchange还惠、queue、messages都要持久化
broker的messages持久化 完成后私杜，才會 CONFIRM 給produer
consumer的處理完成后蚕键，才會ACK給broker
- queue 鏡像方式（http://www.rabbitmq.com/ha.html）
- 這種方式可以 不使用 messages的持久化，其他跟方法2 相似衰粹，exchange锣光、queue是否持久都可以。
2. 從應(yīng)用層面支持
如果某個業(yè)務(wù)組件铝耻，在一定時間內(nèi)會重復(fù) 發(fā)送該消息誊爹，是由于沒有收到相應(yīng)的應(yīng)答，重復(fù)發(fā)送的次數(shù)是有限的瓢捉，多次后频丘，需要人工排查。
3. 從平臺的操作層面支持
操作員可以重復(fù)該失敗或無響應(yīng)的操作
當(dāng)負載增大時泡态， RabbitMq如何擴容
1. 構(gòu)建mq的集群：
（具體參考http://www.rabbitmq.com/clustering.html）
構(gòu)建本地集群搂漠，提高broker的吞吐量。在此本地集群基礎(chǔ)上可以配置 queue 鏡像從而帶來 queue HA某弦。
本地集群可以通過 federation 插件 進行WAN互聯(lián)桐汤， WAN集群可以平衡 多個本地集群之間負載。
本地集群的擴展刀崖，保證足夠disk nodes 基礎(chǔ)上惊科，只要增加ram nodes 拍摇。
2. producer和consumer的 自由擴展
（具體參考http://spring.io/blog/2011/04/01/routing-topologies-for-performance-and-scalability-with-rabbitmq/）
3. 提升RabbitMQ性能——開啟erlang HiPE特性亮钦。
4. rabbitmq 的 flow control ，在一個 connection里面充活，要么使用多channel生產(chǎn)蜂莉，要么使用多channel消費蜡娶， 最好不要生產(chǎn)channel和消費 channel共存于一個connection內(nèi)
（具體請參考http://previous.rabbitmq.com/v2_8_x/memory.html）。
消息冪等性處理
冪等性指一次和多次請求某一個資源映穗，對于資源本身應(yīng)該具有同樣的結(jié)果窖张。也就是說，其任意多次執(zhí)行對資源本身所產(chǎn)生的影響均與一次執(zhí)行的影響相同蚁滋。
在MQ中指宿接，消費多條相同的消息，得到與消費該消息一次相同的結(jié)果辕录。
在本教程中使用 樂觀鎖機制 保證消息的冪等操作
