參考
Network partition detected
RabbitMQ 之 Clustering 和 Network Partition（翻譯）
rabbitmq對network partition的處理
how did we recover from rabbitmq cluster network partition
RabbitMQ入門教程10--partitions
rabbitmq之partitions
0.描述
rabbitmq沒有很好的分區(qū)容錯性拘央，因此篓跛，如果需要在廣域網(wǎng)里使用rabbitmq集群戚丸，建議使用federation或者shovel進(jìn)行替代。那么即使rabbitmq集群運(yùn)行在局域網(wǎng)內(nèi)也不能完全避免網(wǎng)絡(luò)分區(qū)現(xiàn)象（network partition），例如腕唧，當(dāng)路由器或者交換機(jī)出現(xiàn)問題，或者網(wǎng)口down掉時，都可能發(fā)生網(wǎng)絡(luò)分區(qū)琳拭。
當(dāng)發(fā)生網(wǎng)絡(luò)分區(qū)時，不同分區(qū)里的節(jié)點(diǎn)都認(rèn)為對方down掉描验，對exchange白嘁，queue，binding的操作都僅針對本分區(qū)有效膘流；存儲在mnesia的元數(shù)據(jù)（exchange相關(guān)屬性絮缅，queue相關(guān)屬性等）不會在集群間進(jìn)行數(shù)據(jù)同步；另外呼股，對于鏡像隊列盟蚣，在各自的分區(qū)里都會存在一個master進(jìn)程處理隊列的相關(guān)操作。更重要的是卖怜，當(dāng)網(wǎng)絡(luò)分區(qū)恢復(fù)后屎开，這些現(xiàn)象依舊是存在的！
1.現(xiàn)象
#vi /var/log/rabbitmq/rabbit\@mq236.log
=ERROR REPORT==== 30-Mar-2017::00:19:58 ===
Mnesia(rabbit@mq237): ** ERROR ** mnesia_event got {inconsistent_database, running_partitioned_network, rabbit@mq236}
#正常情況
[root@mq236 rabbitmq]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq236 ...
[{nodes,[{disc,[rabbit@mq236,rabbit@mq237,rabbit@mq238]}]},
{running_nodes,[rabbit@mq237,rabbit@mq238,rabbit@mq236]},
{cluster_name,<<"rabbit@mq237">>},
{partitions,[]},
{alarms,[{rabbit@mq237,[]},{rabbit@mq238,[]},{rabbit@mq236,[]}]}]
#network partition異常情況
[root@mq236 rabbitmq]# rabbitmqctl cluster_status
Cluster status of node rabbit@mq236 ...
[{nodes,[{disc,[rabbit@mq236,rabbit@mq237,rabbit@mq238]}]},
{running_nodes,[rabbit@mq237,rabbit@mq236]},
{cluster_name,<<"rabbit@mq237">>},
{partitions,[{rabbit@mq237,[rabbit@mq238]},{rabbit@mq236,[rabbit@mq238]}]},
{alarms,[{rabbit@mq237,[]},{rabbit@mq236,[]}]}]
2.配置項
ignore
默認(rèn)類型，不處理奄抽。
要求你所在的網(wǎng)絡(luò)環(huán)境非嘲剑可靠。例如逞度，你的所有 node 都在同一個機(jī)架上额划，通過交換機(jī)互聯(lián)，并且該交換機(jī)還是與外界通信的必經(jīng)之路档泽。pause_minority
rabbitmq節(jié)點(diǎn)感知集群中其他節(jié)點(diǎn)down掉時俊戳，會判斷自己在集群中處于多數(shù)派還是少數(shù)派，也就是判斷與自己形成集群的節(jié)點(diǎn)個數(shù)在整個集群中的比例是否超過一半馆匿。如果是多數(shù)派抑胎，則正常工作，如果是少數(shù)派渐北，則會停止rabbit應(yīng)用并不斷檢測直到自己成為多數(shù)派的一員后再次啟動rabbit應(yīng)用阿逃。注意：這種處理方式集群通常由奇數(shù)個節(jié)點(diǎn)組成。在CAP中赃蛛，優(yōu)先保證了CP恃锉。
注意：pause_minority適用情形有限制，如3個節(jié)點(diǎn)集群呕臂，每次只down1個時破托，此模式適用。但如果網(wǎng)絡(luò)都出問題歧蒋，3節(jié)點(diǎn)會獨(dú)立形成3個集群炼团。autoheal
你的網(wǎng)絡(luò)環(huán)境可能是不可靠的。你會更加關(guān)心服務(wù)的可持續(xù)性疏尿，而非數(shù)據(jù)完整性瘟芝。你可以構(gòu)建一個包含2個node的集群。
當(dāng)網(wǎng)絡(luò)分區(qū)恢復(fù)后褥琐，rabbitmq各分區(qū)彼此進(jìn)行協(xié)商锌俱，分區(qū)中客戶端連接數(shù)最多的為勝者，其余的全部會進(jìn)行重啟敌呈，恢復(fù)到同步狀態(tài)鲫尊。
3.配置
在/etc/rabbitmq下新建rabbitmq.conf雨饺，加入：
[
{rabbit,
[{tcp_listeners,[5672]},
{cluster_partition_handling, pause_minority}
]}
].
4.錯誤處理
- 選擇一個想要保留的集群
- 重啟其它分區(qū)內(nèi)所有節(jié)點(diǎn)珊豹，當(dāng)它們重新加入集群時威创，將從信任的分區(qū)中恢復(fù)狀態(tài)。其他分區(qū)上已發(fā)生的操作將丟失析显。
- 重啟信任分區(qū)內(nèi)的所有節(jié)點(diǎn)以消除警告鲫咽。
5.問題
1.設(shè)置類型為pause_minority后，一段時間后3節(jié)點(diǎn)集群變成3個獨(dú)立集群；嘗試配置為autoheal分尸，一段時間后依然出現(xiàn)變?yōu)?個獨(dú)立集群锦聊；
查閱日志（/var/log/rabbitmq/）發(fā)現(xiàn)，經(jīng)常出現(xiàn)heartbeat報錯：
=ERROR REPORT==== 30-Mar-2017::17:52:02 ===
closing AMQP connection <0.9426.203> (10.101.232.241:48740 -> 10.102.43.238:5672):
missed heartbeats from client, timeout: 60s
因此嘗試將heartbeat從60s設(shè)置為200s箩绍，觀察一段時間后未出現(xiàn)錯誤孔庭。
[
{rabbit,
[{tcp_listeners,[5672]},
{heartbeat,200},
{cluster_partition_handling,autoheal}
]}
].
