Redis分布式的發(fā)展演變及Raft共識算法

Redis分布式方案的發(fā)展和演變

主從復(fù)制時代

跟Kafka初坠、RocketMQ查排、MySQL躯舔、ZooKeeper一樣驴剔,Redis支持集群的架構(gòu),集群的節(jié)點有主節(jié)點和從節(jié)點之分粥庄。主節(jié)點叫master丧失,從節(jié)點叫slave。slave會通過復(fù)制的技術(shù)惜互,自動同步master的數(shù)據(jù)布讹。

Redis主從復(fù)制解決了數(shù)據(jù)備份和一部分性能的問題。但是沒有解決高可用的問題训堆,在一主一從或者一主多從的情況下描验,如果主服務(wù)器掛了,對外提供的服務(wù)就不可用了坑鱼,需要手動把從服務(wù)器切換成主服務(wù)器膘流,然后再把剩余節(jié)點設(shè)置為它的從節(jié)點,這個比較費時鲁沥,還會造成一定時間的服務(wù)不可用睡扬。

Sentinel哨兵時代

從Redis2.8版本起,提供了一個穩(wěn)定版本的Sentinel哨兵來解決高可用的問題黍析,它的思路是啟動奇數(shù)個Sentinel的服務(wù)來監(jiān)控Redis服務(wù)器來保證服務(wù)的可用性。

為了保證監(jiān)控服務(wù)器的可用性屎开,我們會對Sentinel做集群部署阐枣,Sentinel既監(jiān)控所有的Redis服務(wù),Sentinel之間也相互監(jiān)控奄抽。 Sentinel本身沒有主從之分蔼两,地位是平等的,只有Redis服務(wù)節(jié)點有主從之分逞度。

Sentinel通過Raft共識算法额划,實現(xiàn)Sentinel選舉,選舉出一個leader档泽,由leader完成故障轉(zhuǎn)移俊戳。
Raft共識算法在線演示:http://thesecretlivesofdata.com/raft(非常直觀,通俗易懂)
打不開時可參考國內(nèi)這個:https://cloud.tencent.com/developer/article/2347149

  • Raft算法的應(yīng)用很廣泛馆匿,比如加密貨幣BTB抑胎,Spring Cloud注冊中心Consul也用到了Raft算法。
  • Raft算法的核心思想是:先到先得渐北,少數(shù)服從多數(shù)阿逃。Sentinel的Raft實現(xiàn)跟原生的算法是有所區(qū)別的,但是大體思想一致。

哨兵的不足:主從切換的過程中會丟失數(shù)據(jù)恃锉,因為只有一個master搀菩;只能單點寫,沒有解決水平擴容的問題破托。

Redis Cluster 時代

Redis Cluster是在Redis 3.0的版本正式推出的肪跋,用來解決分布式的需求,同時也可以實現(xiàn)高可用炼团,它是去中心化的澎嚣,客戶端可以連接到任意一個可用的節(jié)點。Redis Cluster可以看成是由多個Redis實例組成的數(shù)據(jù)集合瘟芝∫滋遥客戶端不需要關(guān)注數(shù)據(jù)的子集到底存儲在哪個節(jié)點,只需要關(guān)注這個集合整體锌俱。
Redis創(chuàng)建了16384個槽(slot)晤郑,每個節(jié)點負(fù)責(zé)一定區(qū)間的slot。比如Node1負(fù)責(zé)0-5460贸宏,Node2負(fù)責(zé)5461-10922造寝,Node3負(fù)責(zé)10923-16383。
對象分布到Redis節(jié)點的時候吭练,首先是對Key用CRC16算法計算再%16384诫龙,得到一個slot的值,數(shù)據(jù)落到負(fù)責(zé)這個slot的Redis節(jié)點上鲫咽。

key與slot的關(guān)系是永遠(yuǎn)不會變的签赃,會變的只有slot和Redis節(jié)點的關(guān)系。
如果想讓很多個key同時落在同一個節(jié)點怎么辦呢分尸,只需要在key里面加入{hash tag}即可锦聊。
Redis在計算槽編號的時候只會獲取{}之間的字符串進(jìn)行槽編號計算,如下所示:

user{666}base=...
user{666}fin=...

Redis-Cluster 特點

無中心結(jié)構(gòu)箩绍。
數(shù)據(jù)按照slot存儲分布在多個節(jié)點孔庭,節(jié)點間數(shù)據(jù)共享,可動態(tài)調(diào)整數(shù)據(jù)分布材蛛。
可擴展性圆到,可線性擴展到1000個節(jié)點(官網(wǎng)推薦不超過1000個),節(jié)點可動態(tài)添加或刪除卑吭。
高可用性构资,部分節(jié)點不可用時,集群仍可用陨簇。通過增加Slave做standby數(shù)據(jù)副本吐绵,能夠?qū)崿F(xiàn)故障自動failover迹淌,節(jié)點之間通過gossip協(xié)議交換狀態(tài)信息,用投票機制完成Slave到Master的角色提升己单。
降低運維成本唉窃,提高系統(tǒng)的擴展性和可用性。

Redis Cluster既能實現(xiàn)主從的角色分配纹笼,又能夠?qū)崿F(xiàn)主從切換纹份,相當(dāng)于集成了Replication和Sentinel的功能,目前來看屬于最優(yōu)解方案廷痘。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蔓涧,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子笋额,更是在濱河造成了極大的恐慌元暴,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件兄猩,死亡現(xiàn)場離奇詭異茉盏,居然都是意外死亡,警方通過查閱死者的電腦和手機枢冤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門鸠姨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人淹真,你說我怎么就攤上這事讶迁。” “怎么了核蘸?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵巍糯,是天一觀的道長。 經(jīng)常有香客問我值纱,道長,這世上最難降的妖魔是什么坯汤? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任虐唠,我火速辦了婚禮,結(jié)果婚禮上惰聂,老公的妹妹穿的比我還像新娘疆偿。我一直安慰自己,他們只是感情好搓幌,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布杆故。 她就那樣靜靜地躺著,像睡著了一般溉愁。 火紅的嫁衣襯著肌膚如雪处铛。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音撤蟆,去河邊找鬼奕塑。 笑死,一個胖子當(dāng)著我的面吹牛家肯,可吹牛的內(nèi)容都是我干的龄砰。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼讨衣,長吁一口氣:“原來是場噩夢啊……” “哼换棚!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起反镇,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤固蚤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后愿险,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體颇蜡,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年辆亏,在試婚紗的時候發(fā)現(xiàn)自己被綠了风秤。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡扮叨,死狀恐怖缤弦,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情彻磁,我是刑警寧澤碍沐,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站衷蜓,受9級特大地震影響累提,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜磁浇,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一斋陪、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧置吓,春花似錦无虚、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至戴质,卻和暖如春度宦,著一層夾襖步出監(jiān)牢的瞬間踢匣,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工斗埂, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留符糊,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓呛凶,卻偏偏與公主長得像男娄,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子漾稀,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容