1. Redis單master的瓶頸
- master節(jié)點的數(shù)據(jù)和slave節(jié)點的數(shù)據(jù)是一模一樣的箫章，master節(jié)點的最多能容納多少數(shù)據(jù)量，slave節(jié)點也就只能容納這么多數(shù)據(jù)
- 當(dāng)數(shù)據(jù)量超過master的內(nèi)存嫡锌，redis會使用LRU算法清除部分?jǐn)?shù)據(jù)
- 如果確實要容納更多的數(shù)據(jù)量虑稼，redis主從架構(gòu)是無法解決這個問題的
2. Redis Cluster架構(gòu)原理
2.1 Redis Cluster架構(gòu)概述
Redis Cluster是Redis的分布式解決方案琳钉，在3.0版本正式推出，解決單master架構(gòu)的內(nèi)存蛛倦、并發(fā)歌懒、流量等瓶頸，以達(dá)到負(fù)載均衡的目的溯壶。
- 每個master負(fù)責(zé)整個集群的一部分?jǐn)?shù)據(jù)及皂，每個節(jié)點負(fù)責(zé)數(shù)據(jù)多少可能不一樣
- 每個master的角色是對等的
- 每個master節(jié)點都可以有N個slave節(jié)點，當(dāng)一個master節(jié)點掛掉后且改，它的其中一個slave節(jié)點升級為master
- redis cluster已經(jīng)自動具備了主從復(fù)制能力验烧，也就是說，我們不需要手動再去搭建主從+sentinel架構(gòu)
- redis cluster適用于海量數(shù)據(jù)又跛、高并發(fā)碍拆、高可用場景
2.2 Hash Slot算法
(1) 分布式存儲的數(shù)據(jù)分配算法
-
按照順序存儲
- 與業(yè)務(wù)相關(guān)，例如商品信息存在A節(jié)點慨蓝，用戶信息存在B節(jié)點感混，每個節(jié)點的數(shù)據(jù)可以排序
- 容易造成數(shù)據(jù)傾斜
- 代表產(chǎn)品：HBase
-
散列存儲
離散度好，數(shù)據(jù)均勻分布礼烈，每個節(jié)點的數(shù)據(jù)量大致相同
業(yè)務(wù)無關(guān)
無法順序訪問
代表產(chǎn)品：Redis Cluster
分布式存儲的hash算法演進(jìn)
(2) hash算法
-
優(yōu)點
- 簡單
-
問題
- 一旦某個master宕機(jī)弧满，就需要調(diào)整hash算法，所有的數(shù)據(jù)都需要重新計算取模(由對3取模變成對2取模)济丘，然后重新分配數(shù)據(jù)
- 發(fā)生這種故障時谱秽，在數(shù)據(jù)未重新分配之前，由于更換了hash算法摹迷，導(dǎo)致大部分的請求都無法正確的拿到數(shù)據(jù)疟赊，從而不得不去訪問數(shù)據(jù)庫，在高并發(fā)場景下峡碉，這樣是不能接受的近哟，所以目前分布式緩存不再使用此種算法分配數(shù)據(jù)
-
適用場景
常用于數(shù)據(jù)庫的分庫分表規(guī)則，采用預(yù)分區(qū)的方式鲫寄，提前根據(jù)數(shù)據(jù)量規(guī)劃好分區(qū)數(shù)吉执，保證可支撐未來一段時間的數(shù)據(jù)量
-
擴(kuò)容方案
通常采用翻倍擴(kuò)容，避免數(shù)據(jù)映射全部被打亂導(dǎo)致全量遷移
(3) 一致性hash算法
- 實現(xiàn)思路
- 每個節(jié)點被預(yù)先分配一個token(可以理解為它管理的hash值的邊界)地来，多個節(jié)點管理范圍為[0, 2^32]的hash值范圍
- 數(shù)據(jù)讀寫時戳玫，先根據(jù)key求hash值，然后就知道此hash值在哪段范圍內(nèi)
- 順時針找到的節(jié)點就是其數(shù)據(jù)存儲的節(jié)點
- 問題
- 加減節(jié)點會造成哈希環(huán)中部分?jǐn)?shù)據(jù)(1/N的數(shù)據(jù)量未斑，N為節(jié)點個數(shù))無法命中咕宿，當(dāng)一個master掛掉之后，例如master1掛掉，那么當(dāng)請求從master1獲取數(shù)據(jù)時府阀，是獲取不到的,于是繼續(xù)順時針去master2缆镣、master0獲取數(shù)據(jù)，當(dāng)然也是獲取不到的试浙，需要手動處理這些無法命中的數(shù)據(jù)
- 節(jié)點數(shù)量越多董瞻，增減節(jié)點帶來的影響越小，因此不適用與集群中只有少量節(jié)點的情況
- 容易造成數(shù)據(jù)熱點問題
- 擴(kuò)容方案
- master的增減田巴，需要增加一倍或者減少一倍钠糊，才能保證數(shù)據(jù)和負(fù)載的均衡
(4) 優(yōu)化后的一致性hash算法
- 給master節(jié)點之間增加了均勻分布的虛擬節(jié)點
- 如果某個區(qū)間內(nèi)有大量的數(shù)據(jù)，順時針找到的就是其他的虛擬節(jié)點固额，這樣每個區(qū)間內(nèi)的數(shù)據(jù)都會均勻的分配到不同的master中去
(5) redis的hash slot算法
-
實現(xiàn)原理
Redis Cluster使用16384個槽(slot)來管理一段整數(shù)集合(hash值)眠蚂，slot是集群內(nèi)數(shù)據(jù)管理和遷移的基本單位
每個master節(jié)點負(fù)責(zé)管理一部分slot，例如有5個節(jié)點斗躏，那個每個節(jié)點管理大約3276個槽
對每個key使用CRC32算法進(jìn)行hash得到一個整數(shù)值逝慧，然后使用hash值對16384進(jìn)行取模，得到此數(shù)據(jù)應(yīng)該分配到的slot編號啄糙，配置該slot即可被該slot的master管理
每個master管理的slot的信息就緩存在本地笛臣，客戶端連接集群時，會獲取集群slot配置信息隧饼，從而通過key精確找到slot所在的節(jié)點
可以強(qiáng)制指定某個key掛在指定的slot上
-
優(yōu)點
解耦數(shù)據(jù)和節(jié)點之間的關(guān)系沈堡，簡化了節(jié)點擴(kuò)容和收縮難度，增加一個master燕雁，就讓其他的master分一部分slot給新來的master管理诞丽，移除一個master，就把這個master管理的slot分配給其他的master
某個master掛掉拐格，不影響整個集群僧免，因為請求是到slot，而不是到master捏浊，但在slot遷移完成之前懂衩，請求到掛掉的節(jié)點也是不行的
slot遷移的過程是很快的
節(jié)點自身維護(hù)slot的映射關(guān)系，無需人為管理
支持槽金踪、節(jié)點浊洞、key之間的映射關(guān)系查詢
