1某残、Redis集群方案比較
- 哨兵模式
在redis3.0以前的版本要實現(xiàn)集群一般是借助哨兵sentinel工具來監(jiān)控master節(jié)點的狀態(tài)代咸,如果master節(jié)點異常蹈丸,則會做主從切換,將某一臺slave作為master呐芥,哨兵的配置略微復(fù)雜逻杖,并且性能和高可用性等各方面表現(xiàn)一般,特別是在主從切換的瞬間存在訪問瞬斷的情況思瘟,而且哨兵模式只有一個主節(jié)點對外提供服務(wù)荸百,沒法支持很高的并發(fā),且單個主節(jié)點內(nèi)存也不宜設(shè)置得過大滨攻,否則會導(dǎo)致持久化文件過大够话,影響數(shù)據(jù)恢復(fù)或主從同步的效率
- 高可用集群模式
redis集群是一個由多個主從節(jié)點群組成的分布式服務(wù)器群,它具有復(fù)制光绕、高可用和分片特性女嘲。Redis集群不需要sentinel哨兵·也能完成節(jié)點移除和故障轉(zhuǎn)移的功能。需要將每個節(jié)點設(shè)置成集群模式诞帐,這種集群模式?jīng)]有中心節(jié)點欣尼,可水平擴展,據(jù)官方文檔稱可以線性擴展到上萬個節(jié)點(官方推薦不超過1000個節(jié)點)停蕉。redis集群的性能和高可用性均優(yōu)于之前版本的哨兵模式愕鼓,且集群配置非常簡單
2钙态、Redis高可用集群搭建
- redis集群搭建
redis集群需要至少三個master節(jié)點,我們這里搭建三個master節(jié)點拒啰,并且給每個master再搭建一個slave節(jié)點驯绎,總共6個redis節(jié)點,這里用三臺機器部署6個redis實例谋旦,每臺機器一主一從剩失,搭建集群的步驟如下:
第一步:在第一臺機器的/usr/local下創(chuàng)建文件夾redis-cluster,然后在其下面分別創(chuàng)建2個文件夾如下
(1)mkdir -p /usr/local/redis-cluster
(2)mkdir 8001 8004
第一步:把之前的redis.conf配置文件copy到8001下册着,修改如下內(nèi)容:
(1)daemonize yes
(2)port 8001(分別對每個機器的端口號進行設(shè)置)
(3)pidfile /var/run/redis_8001.pid # 把pid進程號寫入pidfile配置的文件
(4)dir /usr/local/redis-cluster/8001/(指定數(shù)據(jù)文件存放位置拴孤,必須要指定不同的目錄位置,不然會丟失數(shù)據(jù))
(5)cluster-enabled yes(啟動集群模式)
(6)cluster-config-file nodes-8001.conf(集群節(jié)點信息文件甲捏,這里800x最好和port對應(yīng)上)
(7)cluster-node-timeout 10000
(8)# bind 127.0.0.1(bind綁定的是自己機器網(wǎng)卡的ip演熟,如果有多塊網(wǎng)卡可以配多個ip,代表允許客戶端通過機器的哪些網(wǎng)卡ip去訪問司顿,內(nèi)網(wǎng)一般可以不配置bind芒粹,注釋掉即可)
(9)protected-mode no (關(guān)閉保護模式)
(10)appendonly yes
如果要設(shè)置密碼需要增加如下配置:
(11)requirepass sonarone (設(shè)置redis訪問密碼)
(12)masterauth sonarone (設(shè)置集群節(jié)點間訪問密碼,跟上面一致)
第三步:把修改后的配置文件大溜,copy到8004化漆,修改第2、3钦奋、4座云、6項里的端口號,可以用批量替換:
:%s/源字符串/目的字符串/g
第四步:另外兩臺機器也需要做上面幾步操作付材,第二臺機器用8002和8005朦拖,第三臺機器用8003和8006
第五步:分別啟動6個redis實例,然后檢查是否啟動成功
(1)/usr/local/redis-5.0.3/src/redis-server /usr/local/redis-cluster/800*/redis.conf
(2)ps -ef | grep redis 查看是否啟動成功
第六步:用redis-cli創(chuàng)建整個redis集群(redis5以前的版本集群是依靠ruby腳本redis-trib.rb實現(xiàn))
# 下面命令里的1代表為每個創(chuàng)建的主服務(wù)器節(jié)點創(chuàng)建一個從服務(wù)器節(jié)點
# 執(zhí)行這條命令需要確認(rèn)三臺機器之間的redis實例要能相互訪問厌衔,可以先簡單把所有機器防火墻關(guān)掉璧帝,如果不關(guān)閉防火墻則需要打開redis服務(wù)端口和集群節(jié)點gossip通信端口16379(默認(rèn)是在redis端口號上加1W)
# 關(guān)閉防火墻
# systemctl stop firewalld # 臨時關(guān)閉防火墻
# systemctl disable firewalld # 禁止開機啟動
# 注意:下面這條創(chuàng)建集群的命令大家不要直接復(fù)制,里面的空格編碼可能有問題導(dǎo)致創(chuàng)建集群不成功
(1)/usr/local/redis-5.0.3/src/redis-cli -a sonarone --cluster create --cluster-replicas 1 192.168.0.61:8001 192.168.0.62:8002 192.168.0.63:8003 192.168.0.61:8004 192.168.0.62:8005 192.168.0.63:8006
第七步:驗證集群:
(1)連接任意一個客戶端即可:./redis-cli -c -h -p (-a訪問服務(wù)端密碼富寿,-c表示集群模式睬隶,指定ip地址和端口號)
如:/usr/local/redis-5.0.3/src/redis-cli -a zhuge -c -h 192.168.0.61 -p 800*
(2)進行驗證: cluster info(查看集群信息)、cluster nodes(查看節(jié)點列表)
(3)進行數(shù)據(jù)操作驗證
(4)關(guān)閉集群則需要逐個進行關(guān)閉作喘,使用命令:
/usr/local/redis-5.0.3/src/redis-cli -a sonarone -c -h 192.168.0.60 -p 800* shutdown
3理疙、Java操作redis集群
借助redis的java客戶端jedis可以操作以上集群晕城,引用jedis版本的maven坐標(biāo)如下:
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.9.0</version>
</dependency>
Java編寫訪問redis集群的代碼非常簡單泞坦,如下所示:
public class JedisClusterTest {
public static void main(String[] args) throws IOException {
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxTotal(20);
config.setMaxIdle(10);
config.setMinIdle(5);
Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
jedisClusterNode.add(new HostAndPort("192.168.0.61", 8001));
jedisClusterNode.add(new HostAndPort("192.168.0.62", 8002));
jedisClusterNode.add(new HostAndPort("192.168.0.63", 8003));
jedisClusterNode.add(new HostAndPort("192.168.0.61", 8004));
jedisClusterNode.add(new HostAndPort("192.168.0.62", 8005));
jedisClusterNode.add(new HostAndPort("192.168.0.63", 8006));
JedisCluster jedisCluster = null;
try {
//connectionTimeout:指的是連接一個url的連接等待時間
//soTimeout:指的是連接上一個url,獲取response的返回等待時間
jedisCluster = new JedisCluster(jedisClusterNode, 6000, 5000, 10, "sonarone", config);
System.out.println(jedisCluster.set("cluster", "sonarone"));
System.out.println(jedisCluster.get("cluster"));
} catch (Exception e) {
e.printStackTrace();
} finally {
if (jedisCluster != null)
jedisCluster.close();
}
}
}
運行效果如下:
OK
sonarone
集群的Spring Boot整合Redis連接代碼見示例項目:redis-sentinel-cluster
1砖顷、引入相關(guān)依賴:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
</dependency>
springboot項目核心配置:
server:
port: 8080
spring:
redis:
database: 0
timeout: 3000
password: sonarone
cluster:
nodes: 192.168.0.61:8001,192.168.0.62:8002,192.168.0.63:8003,192.168.0.61:8004,192.168.0.62:8005,192.168.0.63:8006
lettuce:
pool:
max-idle: 50
min-idle: 10
max-active: 100
max-wait: 1000
訪問代碼:
@RestController
public class IndexController {
private static final Logger logger = LoggerFactory.getLogger(IndexController.class);
@Autowired
private StringRedisTemplate stringRedisTemplate;
@RequestMapping("/test_cluster")
public void testCluster() throws InterruptedException {
stringRedisTemplate.opsForValue().set("zhuge", "666");
System.out.println(stringRedisTemplate.opsForValue().get("zhuge"));
}
}
4贰锁、Redis集群原理分析
Redis Cluster 將所有數(shù)據(jù)劃分為 16384 個 slots(槽位)赃梧,每個節(jié)點負(fù)責(zé)其中一部分槽位。槽位的信息存儲于每個節(jié)點中豌熄。
當(dāng) Redis Cluster 的客戶端來連接集群時授嘀,它也會得到一份集群的槽位配置信息并將其緩存在客戶端本地。這樣當(dāng)客戶端要查找某個 key 時锣险,可以直接定位到目標(biāo)節(jié)點蹄皱。同時因為槽位的信息可能會存在客戶端與服務(wù)器不一致的情況,還需要糾正機制來實現(xiàn)槽位信息的校驗調(diào)整芯肤。
槽位定位算法
Cluster 默認(rèn)會對 key 值使用 crc16 算法進行 hash 得到一個整數(shù)值巷折,然后用這個整數(shù)值對 16384 進行取模來得到具體槽位。
HASH_SLOT = CRC16(key) mod 16384
跳轉(zhuǎn)重定位
當(dāng)客戶端向一個錯誤的節(jié)點發(fā)出了指令崖咨,該節(jié)點會發(fā)現(xiàn)指令的 key 所在的槽位并不歸自己管理锻拘,這時它會向客戶端發(fā)送一個特殊的跳轉(zhuǎn)指令攜帶目標(biāo)操作的節(jié)點地址,告訴客戶端去連這個節(jié)點去獲取數(shù)據(jù)击蹲∈鹉猓客戶端收到指令后除了跳轉(zhuǎn)到正確的節(jié)點上去操作,還會同步更新糾正本地的槽位映射表緩存歌豺,后續(xù)所有 key 將使用新的槽位映射表推穷。
Redis集群節(jié)點間的通信機制
redis cluster節(jié)點間采取gossip協(xié)議進行通信
- 維護集群的元數(shù)據(jù)(集群節(jié)點信息,主從角色世曾,節(jié)點數(shù)量缨恒,各節(jié)點共享的數(shù)據(jù)等)有兩種方式:集中式和gossip
集中式:
優(yōu)點在于元數(shù)據(jù)的更新和讀取,時效性非常好轮听,一旦元數(shù)據(jù)出現(xiàn)變更立即就會更新到集中式的存儲中骗露,其他節(jié)點讀取的時候立即就可以立即感知到;不足在于所有的元數(shù)據(jù)的更新壓力全部集中在一個地方血巍,可能導(dǎo)致元數(shù)據(jù)的存儲壓力萧锉。 很多中間件都會借助zookeeper集中式存儲元數(shù)據(jù)。
gossip:
gossip協(xié)議包含多種消息述寡,包括ping柿隙,pong,meet鲫凶,fail等等禀崖。
meet:某個節(jié)點發(fā)送meet給新加入的節(jié)點,讓新節(jié)點加入集群中螟炫,然后新節(jié)點就會開始與其他節(jié)點進行通信波附;
ping:每個節(jié)點都會頻繁給其他節(jié)點發(fā)送ping,其中包含自己的狀態(tài)還有自己維護的集群元數(shù)據(jù),互相通過ping交換元數(shù)據(jù)(類似自己感知到的集群節(jié)點增加和移除掸屡,hash slot信息等)封寞;
pong: 對ping和meet消息的返回,包含自己的狀態(tài)和其他信息仅财,也可以用于信息廣播和更新狈究;
fail: 某個節(jié)點判斷另一個節(jié)點fail之后,就發(fā)送fail給其他節(jié)點盏求,通知其他節(jié)點抖锥,指定的節(jié)點宕機了。
gossip協(xié)議的優(yōu)點在于元數(shù)據(jù)的更新比較分散碎罚,不是集中在一個地方宁改,更新請求會陸陸續(xù)續(xù),打到所有節(jié)點上去更新魂莫,有一定的延時还蹲,降低了壓力;缺點在于元數(shù)據(jù)更新有延時可能導(dǎo)致集群的一些操作會有一些滯后耙考。
gossip通信的10000端口
每個節(jié)點都有一個專門用于節(jié)點間gossip通信的端口谜喊,就是自己提供服務(wù)的端口號+10000,比如7001倦始,那么用于節(jié)點間通信的就是17001端口斗遏。 每個節(jié)點每隔一段時間都會往另外幾個節(jié)點發(fā)送ping消息,同時其他幾點接收到ping消息之后返回pong消息鞋邑。
網(wǎng)絡(luò)抖動
真實世界的機房網(wǎng)絡(luò)往往并不是風(fēng)平浪靜的诵次,它們經(jīng)常會發(fā)生各種各樣的小問題。比如網(wǎng)絡(luò)抖動就是非常常見的一種現(xiàn)象枚碗,突然之間部分連接變得不可訪問逾一,然后很快又恢復(fù)正常。
為解決這種問題肮雨,Redis Cluster 提供了一種選項cluster-node-timeout遵堵,表示當(dāng)某個節(jié)點持續(xù) timeout 的時間失聯(lián)時,才可以認(rèn)定該節(jié)點出現(xiàn)故障,需要進行主從切換。如果沒有這個選項讳窟,網(wǎng)絡(luò)抖動會導(dǎo)致主從頻繁切換 (數(shù)據(jù)的重新復(fù)制)。
Redis集群選舉原理分析
當(dāng)slave發(fā)現(xiàn)自己的master變?yōu)镕AIL狀態(tài)時蒙袍,便嘗試進行Failover,以期成為新的master。由于掛掉的master可能會有多個slave,從而存在多個slave競爭成為master節(jié)點的過程爽蝴, 其過程如下:
1.slave發(fā)現(xiàn)自己的master變?yōu)镕AIL
2.將自己記錄的集群currentEpoch加1扩灯,并廣播FAILOVER_AUTH_REQUEST 信息
3.其他節(jié)點收到該信息,只有master響應(yīng)霜瘪,判斷請求者的合法性,并發(fā)送FAILOVER_AUTH_ACK惧磺,對每一個epoch只發(fā)送一次ack
4.嘗試failover的slave收集master返回的FAILOVER_AUTH_ACK
5.slave收到超過半數(shù)master的ack后變成新Master(這里解釋了集群為什么至少需要三個主節(jié)點颖对,如果只有兩個,當(dāng)其中一個掛了磨隘,只剩一個主節(jié)點是不能選舉成功的)
6.slave廣播Pong消息通知其他集群節(jié)點缤底。
從節(jié)點并不是在主節(jié)點一進入 FAIL 狀態(tài)就馬上嘗試發(fā)起選舉,而是有一定延遲番捂,一定的延遲確保我們等待FAIL狀態(tài)在集群中傳播个唧,slave如果立即嘗試選舉,其它masters或許尚未意識到FAIL狀態(tài)设预,可能會拒絕投票
?延遲計算公式:
DELAY = 500ms + random(0 ~ 500ms) + SLAVE_RANK * 1000ms
?SLAVE_RANK表示此slave已經(jīng)從master復(fù)制數(shù)據(jù)的總量的rank徙歼。Rank越小代表已復(fù)制的數(shù)據(jù)越新。這種方式下鳖枕,持有最新數(shù)據(jù)的slave將會首先發(fā)起選舉(理論上)魄梯。
集群腦裂數(shù)據(jù)丟失問題
redis集群沒有過半機制會有腦裂問題,網(wǎng)絡(luò)分區(qū)導(dǎo)致腦裂后多個主節(jié)點對外提供寫服務(wù)宾符,一旦網(wǎng)絡(luò)分區(qū)恢復(fù)酿秸,會將其中一個主節(jié)點變?yōu)閺墓?jié)點,這時會有大量數(shù)據(jù)丟失魏烫。
規(guī)避方法可以在redis配置里加上參數(shù)(這種方法不可能百分百避免數(shù)據(jù)丟失辣苏,參考集群leader選舉機制):
min-replicas-to-write 1 //寫數(shù)據(jù)成功最少同步的slave數(shù)量,這個數(shù)量可以模仿大于半數(shù)機制配置哄褒,比如集群總共三個節(jié)點可以配置1稀蟋,加上leader就是2,超過了半數(shù)
注意:這個配置在一定程度上會影響集群的可用性呐赡,比如slave要是少于1個糊治,這個集群就算leader正常也不能提供服務(wù)了,需要具體場景權(quán)衡選擇罚舱。
集群是否完整才能對外提供服務(wù)
當(dāng)redis.conf的配置cluster-require-full-coverage為no時井辜,表示當(dāng)負(fù)責(zé)一個插槽的主庫下線且沒有相應(yīng)的從庫進行故障恢復(fù)時,集群仍然可用管闷,如果為yes則集群不可用粥脚。
Redis集群為什么至少需要三個master節(jié)點,并且推薦節(jié)點數(shù)為奇數(shù)包个?
因為新master的選舉需要大于半數(shù)的集群master節(jié)點同意才能選舉成功刷允,如果只有兩個master節(jié)點冤留,當(dāng)其中一個掛了,是達不到選舉新master的條件的树灶。
奇數(shù)個master節(jié)點可以在滿足選舉該條件的基礎(chǔ)上節(jié)省一個節(jié)點纤怒,比如三個master節(jié)點和四個master節(jié)點的集群相比,大家如果都掛了一個master節(jié)點都能選舉新master節(jié)點天通,如果都掛了兩個master節(jié)點都沒法選舉新master節(jié)點了泊窘,所以奇數(shù)的master節(jié)點更多的是從節(jié)省機器資源角度出發(fā)說的。
Redis集群對批量操作命令的支持
對于類似mset像寒,mget這樣的多個key的原生批量操作命令烘豹,redis集群只支持所有key落在同一slot的情況,如果有多個key一定要用mset命令在redis集群上操作诺祸,則可以在key的前面加上{XX}携悯,這樣參數(shù)數(shù)據(jù)分片hash計算的只會是大括號里的值,這樣能確保不同的key能落到同一slot里去筷笨,示例如下:
mset {user1}:1:name zhuge {user1}:1:age 18
假設(shè)name和age計算的hash slot值不一樣憔鬼,但是這條命令在集群下執(zhí)行,redis只會用大括號里的 user1 做hash slot計算胃夏,所以算出來的slot值肯定相同逊彭,最后都能落在同一slot。
哨兵leader選舉流程
當(dāng)一個master服務(wù)器被某sentinel視為下線狀態(tài)后构订,該sentinel會與其他sentinel協(xié)商選出sentinel的leader進行故障轉(zhuǎn)移工作侮叮。每個發(fā)現(xiàn)master服務(wù)器進入下線的sentinel都可以要求其他sentinel選自己為sentinel的leader,選舉是先到先得悼瘾。同時每個sentinel每次選舉都會自增配置紀(jì)元(選舉周期)囊榜,每個紀(jì)元中只會選擇一個sentinel的leader。如果所有超過一半的sentinel選舉某sentinel作為leader亥宿。之后該sentinel進行故障轉(zhuǎn)移操作卸勺,從存活的slave中選舉出新的master,這個選舉過程跟集群的master選舉很類似烫扼。
哨兵集群只有一個哨兵節(jié)點曙求,redis的主從也能正常運行以及選舉master,如果master掛了映企,那唯一的那個哨兵節(jié)點就是哨兵leader了悟狱,可以正常選舉新master。
不過為了高可用一般都推薦至少部署三個哨兵節(jié)點堰氓。為什么推薦奇數(shù)個哨兵節(jié)點原理跟集群奇數(shù)個master節(jié)點類似挤渐。