1.為啥要做集群?
1)作用:集群主要用于實現(xiàn)高可用與負(fù)載均衡威始。高可用:如果集群中的某些 MQ 服務(wù)器不可用,客戶端還可以連接到其他 MQ 服務(wù)器。負(fù)載均衡:在高并發(fā)的場景下剩燥,單臺 MQ 服務(wù)器能處理的消息有限,可以分發(fā)給多臺 MQ 服務(wù)器立倍。
2)RabbitMQ 有兩種集群模式:普通集群模式和鏡像隊列模式灭红。
2.RabbitMQ 如何支持集群?
1).應(yīng)用做集群,需要面對數(shù)據(jù)同步和通信的問題口注。因為 Erlang 天生具備分布式的特性变擒,所以 RabbitMQ 天然支持集群,不需要通過引入 ZK 或者數(shù)據(jù)庫來實現(xiàn)數(shù)據(jù)同步寝志。
3.RabbitMQ 的節(jié)點類型?
1).集群兩種節(jié)點類型:一種是磁盤節(jié)點(Disc Node)娇斑,一種是內(nèi)存節(jié)點(RAM Node)。
2)磁盤節(jié)點:將元數(shù)據(jù)(包括隊列名字屬性澈段、交換機的類型名字屬性悠菜、綁定、vhost)放在磁盤中败富。
3) 內(nèi)存節(jié)點:將元數(shù)據(jù)放在內(nèi)存中悔醋。(內(nèi)存節(jié)點會將磁盤節(jié)點的地址存放在磁盤(不然重啟后就沒有辦法同步數(shù)據(jù)了)。如果是持久化的消息兽叮,會同時存放在內(nèi)存和磁盤芬骄。)
4.普通集群
1)為什么不直接把隊列的內(nèi)容(消息)在所有節(jié)點上復(fù)制一份?主要是出于存儲和同步數(shù)據(jù)的網(wǎng)絡(luò)開銷的考慮,如果所有節(jié)點都存儲相同的數(shù)據(jù)鹦聪,就無法達(dá)到線性地增加性能和存儲容量的目的(堆機器)。
2)缺點:不能保證隊列的高可用性泽本,因為隊列內(nèi)容不會復(fù)制
5.鏡像集群
1)第二種集群模式叫做鏡像隊列淘太。鏡像隊列模式下,消息內(nèi)容會在鏡像節(jié)點間同步规丽,可用性更高蒲牧。不過也有一定的副作用,系統(tǒng)性能會降低赌莺,節(jié)點過多的情況下同步的代價比較大冰抢。
6.高可用
1)問題:集群搭建成功后,如果有多個內(nèi)存節(jié)點艘狭,那么生產(chǎn)者和消費者應(yīng)該連接到哪個內(nèi)存節(jié)點?如果在我們的代碼中根據(jù)一定的策略來選擇要使用的服務(wù)器挎扰,那每個地方都要修改翠订,客戶端的代碼就會出現(xiàn)很多的重復(fù),修改起來也比較麻煩遵倦。
2)解決:負(fù)載均衡的組件
3)負(fù)載分類:四層負(fù)載和七層負(fù)載尽超。
四層負(fù)載:作在 OSI 模型的第四層,即傳輸層(TCP 位于第四層)骇吭,它是根據(jù) IP端口進(jìn)行轉(zhuǎn)發(fā)(LVS 支持四層負(fù)載)橙弱。RabbitMQ 是 TCP 的 5672 端口。
七層負(fù)載:工作在第七層燥狰,應(yīng)用層(HTTP 位于第七層)棘脐。可以根據(jù)請求資源類型分配到后端服務(wù)器(Nginx 支持七層負(fù)載;HAProxy 支持四層和七層負(fù)載龙致!
4)問題:負(fù)載組件掛了怎么辦蛀缝?
1.負(fù)載組件掛了意味著客戶端就無法連接到任意一臺 MQ 的服務(wù)器了。所以負(fù)載軟件本身也需要做一個集群目代。新的問題又來了屈梁,如果有兩臺負(fù)載的軟件,客戶端應(yīng)該連哪個?
2.解決方案:負(fù)載之上再負(fù)載?陷入死循環(huán)了榛了。---》換思路
3.要求: 我們應(yīng)該需要這樣一個組件:1)它本身有路由(負(fù)載)功能在讶,可以監(jiān)控集群中節(jié)點的狀態(tài)(比如監(jiān)控HAProxy),如果某個節(jié)點出現(xiàn)異乘螅或者發(fā)生故障构哺,就把它剔除掉。2)為了提高可用性战坤,它也可以部署多個服務(wù)曙强,但是只有一個自動選舉出來的 MASTER 服務(wù)器(叫做主路由器),通過廣播心跳消息實現(xiàn)途茫。3)MASTER 服務(wù)器對外提供一個虛擬 IP碟嘴,提供各種網(wǎng)絡(luò)功能。也就是誰搶占到 VIP囊卜,就由誰對外提供網(wǎng)絡(luò)服務(wù)娜扇。應(yīng)用端只需要連接到這一個 IP 就行了。
4.解決方案:VRRP協(xié)議---》虛擬路由冗余協(xié)議 Virtual Router RedundancyProtocol栅组,這個組件就是 Keepalived袱衷,它具有 Load Balance 和 High Availability的功能。
7.基于 Docker 安裝 HAproxy 負(fù)載+Keepalived 高可用
1)模型
2)步驟:1.我們規(guī)劃了兩個內(nèi)存節(jié)點笑窜,一個磁盤節(jié)點。所有的節(jié)點之間通過鏡像隊列的方式同步數(shù)據(jù)登疗。內(nèi)存節(jié)點用來給應(yīng)用訪問排截,磁盤節(jié)點用來持久化數(shù)據(jù)嫌蚤。2.為了實現(xiàn)對兩個內(nèi)存節(jié)點的負(fù)載,我們安裝了兩個 HAProxy断傲,監(jiān)聽兩個 5672和 15672 的端口脱吱。3.安裝兩個 Keepalived,一主一備认罩。兩個 Keepalived 搶占一個VIP192.168.8.220箱蝠。誰搶占到這個 VIP,應(yīng)用就連接到誰垦垂,來執(zhí)行對 MQ 的負(fù)載
3)分析:這種情況下宦搬,我們的 Keepalived 掛了一個節(jié)點,沒有影響劫拗,因為 BACKUP 會變成 MASTER间校,搶占 VIP。HAProxy 掛了一個節(jié)點页慷,沒有影響憔足,我們的 VIP 會自動路由的可用的 HAProxy 服務(wù)。RabbitMQ 掛了一個節(jié)點酒繁,沒有影響滓彰, 因為 HAProxy會自動負(fù)載到可用的節(jié)點。