Redis分布式方案的發(fā)展和演變
主從復(fù)制時代
跟Kafka初坠、RocketMQ查排、MySQL躯舔、ZooKeeper一樣驴剔,Redis支持集群的架構(gòu),集群的節(jié)點有主節(jié)點和從節(jié)點之分粥庄。主節(jié)點叫master丧失,從節(jié)點叫slave。slave會通過復(fù)制的技術(shù)惜互,自動同步master的數(shù)據(jù)布讹。
Redis主從復(fù)制解決了數(shù)據(jù)備份和一部分性能的問題。但是沒有解決高可用的問題训堆,在一主一從或者一主多從的情況下描验,如果主服務(wù)器掛了,對外提供的服務(wù)就不可用了坑鱼,需要手動把從服務(wù)器切換成主服務(wù)器膘流,然后再把剩余節(jié)點設(shè)置為它的從節(jié)點,這個比較費時鲁沥,還會造成一定時間的服務(wù)不可用睡扬。
Sentinel哨兵時代
從Redis2.8版本起,提供了一個穩(wěn)定版本的Sentinel哨兵來解決高可用的問題黍析,它的思路是啟動奇數(shù)個Sentinel的服務(wù)來監(jiān)控Redis服務(wù)器來保證服務(wù)的可用性。
為了保證監(jiān)控服務(wù)器的可用性屎开,我們會對Sentinel做集群部署阐枣,Sentinel既監(jiān)控所有的Redis服務(wù),Sentinel之間也相互監(jiān)控奄抽。 Sentinel本身沒有主從之分蔼两,地位是平等的,只有Redis服務(wù)節(jié)點有主從之分逞度。
Sentinel通過Raft共識算法
额划,實現(xiàn)Sentinel選舉,選舉出一個leader档泽,由leader完成故障轉(zhuǎn)移俊戳。
Raft共識算法在線演示:http://thesecretlivesofdata.com/raft(非常直觀,通俗易懂)
打不開時可參考國內(nèi)這個:https://cloud.tencent.com/developer/article/2347149
- Raft算法的應(yīng)用很廣泛馆匿,比如加密貨幣BTB抑胎,Spring Cloud注冊中心Consul也用到了Raft算法。
- Raft算法的核心思想是:先到先得渐北,少數(shù)服從多數(shù)阿逃。Sentinel的Raft實現(xiàn)跟原生的算法是有所區(qū)別的,但是大體思想一致。
哨兵的不足:主從切換的過程中會丟失數(shù)據(jù)恃锉,因為只有一個master搀菩;只能單點寫,沒有解決水平擴容的問題破托。
Redis Cluster 時代
Redis Cluster是在Redis 3.0的版本正式推出的肪跋,用來解決分布式的需求,同時也可以實現(xiàn)高可用炼团,它是去中心化的澎嚣,客戶端可以連接到任意一個可用的節(jié)點。Redis Cluster可以看成是由多個Redis實例組成的數(shù)據(jù)集合瘟芝∫滋遥客戶端不需要關(guān)注數(shù)據(jù)的子集到底存儲在哪個節(jié)點,只需要關(guān)注這個集合整體锌俱。
Redis創(chuàng)建了16384個槽(slot)晤郑,每個節(jié)點負(fù)責(zé)一定區(qū)間的slot。比如Node1負(fù)責(zé)0-5460贸宏,Node2負(fù)責(zé)5461-10922造寝,Node3負(fù)責(zé)10923-16383。
對象分布到Redis節(jié)點的時候吭练,首先是對Key用CRC16算法計算再%16384诫龙,得到一個slot的值,數(shù)據(jù)落到負(fù)責(zé)這個slot的Redis節(jié)點上鲫咽。
key與slot的關(guān)系是永遠(yuǎn)不會變的签赃,會變的只有slot和Redis節(jié)點的關(guān)系。
如果想讓很多個key同時落在同一個節(jié)點怎么辦呢分尸,只需要在key里面加入{hash tag}即可
锦聊。
Redis在計算槽編號的時候只會獲取{}之間的字符串進(jìn)行槽編號計算,如下所示:
user{666}base=...
user{666}fin=...
Redis-Cluster 特點
無中心結(jié)構(gòu)箩绍。
數(shù)據(jù)按照slot存儲分布在多個節(jié)點孔庭,節(jié)點間數(shù)據(jù)共享,可動態(tài)調(diào)整數(shù)據(jù)分布材蛛。
可擴展性圆到,可線性擴展到1000個節(jié)點(官網(wǎng)推薦不超過1000個),節(jié)點可動態(tài)添加或刪除卑吭。
高可用性构资,部分節(jié)點不可用時,集群仍可用陨簇。通過增加Slave做standby數(shù)據(jù)副本吐绵,能夠?qū)崿F(xiàn)故障自動failover迹淌,節(jié)點之間通過gossip協(xié)議交換狀態(tài)信息,用投票機制完成Slave到Master的角色提升己单。
降低運維成本唉窃,提高系統(tǒng)的擴展性和可用性。
Redis Cluster既能實現(xiàn)主從的角色分配纹笼,又能夠?qū)崿F(xiàn)主從切換纹份,相當(dāng)于集成了Replication和Sentinel的功能,目前來看屬于最優(yōu)解方案廷痘。