一年又一年，字節(jié)跳動(dòng) Lark（飛書） 研發(fā)團(tuán)隊(duì)又雙叒叕開始招新生啦！

【內(nèi)推碼】：GTPUVBA

【內(nèi)推鏈接】：https://job.toutiao.com/s/JRupWVj

【招生對(duì)象】：20年9月后~21年8月前 畢業(yè)的同學(xué)

【報(bào)名時(shí)間】：6.16-7.16（提前批簡(jiǎn)歷投遞只有一個(gè)月抓住機(jī)會(huì)哦！）

【畫重點(diǎn)】：提前批和正式秋招不矛盾！面試成功，提前鎖定Offer诞仓；若有失利，額外獲得一次面試機(jī)會(huì)速兔，正式秋招開啟后還可再次投遞墅拭。

章節(jié)目錄

Redis詳解1.安裝及使用
Redis詳解2.數(shù)據(jù)結(jié)構(gòu)
Redis詳解3.發(fā)布訂閱
Redis詳解4.事務(wù)
Redis詳解5.數(shù)據(jù)持久化
Redis詳解6.主從模式
Redis詳解7.哨兵模式
Redis詳解8.Cluster模式

1 簡(jiǎn)介

參考資料來(lái)源

Redis 學(xué)習(xí)筆記（十四）Redis Cluster介紹與搭建
Redis Cluster集群理解
Redis進(jìn)階實(shí)踐之十一 Redis的Cluster集群搭建

Redis Cluster

Redis Cluster是Redis的分布式解決方案，在Redis 3.0版本正式推出的涣狗，有效解決了Redis分布式方面的需求谍婉。當(dāng)遇到單機(jī)內(nèi)存舒憾、并發(fā)、流量等瓶頸時(shí)穗熬，可以采用Cluster架構(gòu)達(dá)到負(fù)載均衡的目的镀迂。Redis-Cluster采用無(wú)中心結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)保存數(shù)據(jù)和整個(gè)集群狀態(tài)唤蔗，每個(gè)節(jié)點(diǎn)都和其他所有節(jié)點(diǎn)連接招拙。

Redis Cluster結(jié)構(gòu)特點(diǎn)

1. 所有的redis節(jié)點(diǎn)彼此互聯(lián)（PING-PONG機(jī)制），內(nèi)部使用二進(jìn)制協(xié)議優(yōu)化傳輸速度和帶寬措译。
2. 節(jié)點(diǎn)的fail是通過(guò)集群中超過(guò)半數(shù)的節(jié)點(diǎn)檢測(cè)失效時(shí)才生效。
3. 客戶端與redis節(jié)點(diǎn)直連,不需要中間proxy層饰序，客戶端不需要連接集群所有節(jié)點(diǎn)领虹，連接集群中任何一個(gè)可用節(jié)點(diǎn)即可。
4. redis-cluster把所有的物理節(jié)點(diǎn)映射到[0-16383]slot上（不一定是平均分配）求豫，cluster 負(fù)責(zé)維護(hù)node塌衰、slot、value蝠嘉。
5. Redis集群預(yù)分好16384個(gè)桶最疆，當(dāng)需要在 Redis 集群中放置一個(gè) key-value 時(shí)，根據(jù) CRC16(key) mod 16384的值蚤告，決定將一個(gè)key放到哪個(gè)桶中努酸。

Redis 集群功能限制

Redis集群相對(duì)單機(jī)在功能上有一定限制。

• key批量操作支持有限杜恰。如：MSET``MGET获诈，目前只支持具有相同slot值的key執(zhí)行批量操作。
• key事務(wù)操作支持有限心褐。支持多key在同一節(jié)點(diǎn)上的事務(wù)操作舔涎，不支持分布在多個(gè)節(jié)點(diǎn)的事務(wù)功能。
• key作為數(shù)據(jù)分區(qū)的最小粒度逗爹，因此不能將一個(gè)大的鍵值對(duì)象映射到不同的節(jié)點(diǎn)亡嫌。如：hash、list掘而。
• 不支持多數(shù)據(jù)庫(kù)空間挟冠。單機(jī)下Redis支持16個(gè)數(shù)據(jù)庫(kù)，集群模式下只能使用一個(gè)數(shù)據(jù)庫(kù)空間镣屹，即db 0圃郊。
• 復(fù)制結(jié)構(gòu)只支持一層，不支持嵌套樹狀復(fù)制結(jié)構(gòu)女蜈。

數(shù)據(jù)分布理論

分布式數(shù)據(jù)庫(kù)首要解決把整個(gè)數(shù)據(jù)集按照分區(qū)規(guī)則映射到多個(gè)節(jié)點(diǎn)的問(wèn)題持舆，即把數(shù)據(jù)集劃分到多個(gè)節(jié)點(diǎn)上色瘩，每個(gè)節(jié)點(diǎn)負(fù)責(zé)整個(gè)數(shù)據(jù)的一個(gè)子集，常見的分區(qū)規(guī)則有哈希分區(qū)和順序分區(qū)逸寓。Redis Cluster采用哈希分區(qū)規(guī)則居兆，因此接下來(lái)會(huì)討論哈希分區(qū)規(guī)則。常見的哈希分區(qū)有以下幾種：

• 節(jié)點(diǎn)取余分區(qū)
• 一致性哈希分區(qū)
• 虛擬槽分區(qū)

Redis Cluster采用虛擬槽分區(qū)竹伸，虛擬槽分區(qū)巧妙地使用了哈夏嗥埽空間，使用分散度良好的哈希函數(shù)把所有的數(shù)據(jù)映射到一個(gè)固定范圍內(nèi)的整數(shù)集合勋篓，整數(shù)定義為槽（slot）吧享。比如Redis Cluster槽的范圍是0～16383。槽是集群內(nèi)數(shù)據(jù)管理和遷移的基本單位譬嚣。采用大范圍的槽的主要目的是為了方便數(shù)據(jù)的拆分和集群的擴(kuò)展钢颂，每個(gè)節(jié)點(diǎn)負(fù)責(zé)一定數(shù)量的槽。

Redis 數(shù)據(jù)分區(qū)

Redis Cluster采用虛擬槽分區(qū)拜银，所有的鍵根據(jù)哈希函數(shù)映射到0～16383殊鞭，計(jì)算公式：slot = CRC16(key)&16383。每一個(gè)節(jié)點(diǎn)負(fù)責(zé)維護(hù)一部分槽以及槽所映射的鍵值數(shù)據(jù)尼桶。

2 配置

由于我們是在單臺(tái)機(jī)器上啟動(dòng)Redis集群操灿，需要通過(guò)不同的端口號(hào)來(lái)區(qū)別Redis Server。本篇中我們?cè)O(shè)置的是三主模式A泵督、B趾盐、C的集群，在生產(chǎn)環(huán)境中我們可以為每個(gè)Master節(jié)點(diǎn)添加一個(gè)從服務(wù)器節(jié)點(diǎn)小腊，以便最終集群由作為主服務(wù)器節(jié)點(diǎn)的A谤碳、B、C以及作為從服務(wù)器節(jié)點(diǎn)的A₁溢豆、B₁蜒简、C₁組成，如果節(jié)點(diǎn)A發(fā)生故障漩仙，則集群將促使節(jié)點(diǎn)A₁作為新的主服務(wù)器節(jié)點(diǎn)并且將繼續(xù)正確地操作搓茬。

1. 我們首先復(fù)制3份redis.conf文件并分別命名為redis_master1.conf、redis_master2.conf队他、redis_master3.conf卷仑。
2. 為每一份文件添加如下配置，讓它們分別監(jiān)聽6380麸折、6381锡凝、6382端口，并開啟集群垢啼。
3. 通過(guò)redis-server redis_master1.conf啟動(dòng)三個(gè)Redis Server窜锯。

# 另外兩個(gè)端口分別是6381和6382（或者任意不重復(fù)即可）
port 6380
# 另外兩個(gè)配置文件dir分別是/usr/local/var/db/redis_master2/、/usr/local/var/db/redis_master3/
dir /usr/local/var/db/redis_master1/
# 是否啟用集群
cluster-enabled yes
# 另外兩個(gè)配置文件分別為nodes-6381.conf锚扎、nodes-6382.conf
cluster-config-file nodes-6380.conf
# 配置集群節(jié)點(diǎn)的超時(shí)時(shí)間
cluster-node-timeout 15000

3 啟動(dòng)

Redis提供了多種集群的啟動(dòng)方式驾孔，可以通過(guò)手動(dòng)啟動(dòng)芍秆、redis-trib.rb、redis-cli啟動(dòng)集群翠勉，目前最為推薦的是通過(guò)redis-cli啟動(dòng)集群。

3.1 手動(dòng)啟動(dòng)

第一步：準(zhǔn)備節(jié)點(diǎn)

根據(jù)三個(gè)配置文件分別啟動(dòng)上述3個(gè)redis-server

第二步：節(jié)點(diǎn)握手

• 節(jié)點(diǎn)握手是一批運(yùn)行在集群模式的節(jié)點(diǎn)通過(guò)gossip協(xié)議彼此通信对碌，達(dá)到感知對(duì)方的過(guò)程。
• 節(jié)點(diǎn)握手是集群彼此通信的第一步俭缓，由客戶端發(fā)起命令：cluster meet <ip> <port>。

127.0.0.1:6380> CLUSTER MEET 127.0.0.1 6381
OK
127.0.0.1:6380> CLUSTER MEET 127.0.0.1 6382
OK
// 已經(jīng)全部感知到所有的節(jié)點(diǎn)
127.0.0.1:6380> CLUSTER NODES
9433ce1d5acfe63b7de43494a262f4608c49f25c 127.0.0.1:6382@16382 master - 0 1550125636416 2 connected
71300f99af624bc88d20c70cd251f3b2fbc004b9 127.0.0.1:6381@16381 master - 0 1550125635391 1 connected
e5bbe0af467b45a99bec0430b06bb9ede98ee5d2 127.0.0.1:6380@16380 myself,master - 0 1550125635000 0 connected

第三步：分配槽

• 可以通過(guò)CLUSTER INFO查看節(jié)點(diǎn)狀態(tài)

127.0.0.1:6380> CLUSTER INFO
# 目前集群是fail的
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:0
cluster_current_epoch:2
cluster_my_epoch:0
cluster_stats_messages_ping_sent:90
cluster_stats_messages_pong_sent:87
cluster_stats_messages_meet_sent:2
cluster_stats_messages_sent:179
cluster_stats_messages_ping_received:87
cluster_stats_messages_pong_received:92
cluster_stats_messages_received:179

• 通過(guò)cluster addslots為節(jié)點(diǎn)分配槽

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6380 cluster addslots {0..5461}
OK
zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6381 cluster addslots {5462..10922}
OK
zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -h 127.0.0.1 -p 6382 cluster addslots {10923..16383}
OK

連接集群

通過(guò)redis-cli -c來(lái)連接集群酥郭。

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli -c -p 6380
127.0.0.1:6380> CLUSTER NODES
9433ce1d5acfe63b7de43494a262f4608c49f25c 127.0.0.1:6382@16382 master - 0 1550126121982 2 connected 10923-16383
71300f99af624bc88d20c70cd251f3b2fbc004b9 127.0.0.1:6381@16381 master - 0 1550126121000 1 connected 5462-10922
e5bbe0af467b45a99bec0430b06bb9ede98ee5d2 127.0.0.1:6380@16380 myself,master - 0 1550126119000 0 connected 0 5461
127.0.0.1:6380> CLUSTER INFO
# 集群設(shè)置成功
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:3
cluster_size:3
cluster_current_epoch:2
cluster_my_epoch:0
cluster_stats_messages_ping_sent:57
cluster_stats_messages_pong_sent:60
cluster_stats_messages_meet_sent:2
cluster_stats_messages_sent:119
cluster_stats_messages_ping_received:60
cluster_stats_messages_pong_received:59
cluster_stats_messages_received:119

驗(yàn)證集群功能

# 我們連接的是6380端口不从，但是通過(guò)集群的功能，a被放置在6382對(duì)應(yīng)的節(jié)點(diǎn)
127.0.0.1:6380> SET a 1
-> Redirected to slot [15495] located at 127.0.0.1:6382
OK
127.0.0.1:6382>

3.2 通過(guò)redis-trib.rb啟動(dòng)

redis-trib.rb是Redis官方提供的一個(gè)基于ruby的Redis Cluster管理腳本歹袁，在很長(zhǎng)一段時(shí)間內(nèi)是主流的集群管理方式寝优。但在高版本的Redis中已經(jīng)被redis-cli所取代条舔。低版本的Redis中還可以通過(guò)此種方式啟動(dòng)孟抗，有興趣的可以參考以下文檔：redis-trib.rb命令詳解钻心。

> ruby /usr/local/Cellar/redis/5.0.3/redis-5.0.3/src/redis-trib.rb 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382
WARNING: redis-trib.rb is not longer available!
You should use redis-cli instead.
All commands and features belonging to redis-trib.rb have been moved to redis-cli.

3.3 通過(guò)redis-cli啟動(dòng)

我們可以通過(guò)redis-cli啟動(dòng)redis集群，首先要根據(jù)三個(gè)配置文件分別啟動(dòng)上述3個(gè)redis-server摊沉，然后通過(guò)redis-cli --cluster create來(lái)開啟集群痒给。redis-cli --cluster還有很多子指令骏全，可以通過(guò)redis-cli --cluster help來(lái)具體查看吟温。

zhengzhaoxi@zhengzhaoxideMacBook-Pro ~ redis-cli --cluster create 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382
>>> Performing hash slots allocation on 3 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
M: 5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380
   slots:[0-5460] (5461 slots) master
M: 817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381
   slots:[5461-10922] (5462 slots) master
M: 5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382
   slots:[10923-16383] (5461 slots) master
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
..
>>> Performing Cluster Check (using node 127.0.0.1:6380)
M: 5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380
   slots:[0-5460] (5461 slots) master
M: 817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381
   slots:[5461-10922] (5462 slots) master
M: 5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382
   slots:[10923-16383] (5461 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

# 6380節(jié)點(diǎn)的日志鲁豪，其他節(jié)點(diǎn)相同
39133:M 14 Feb 2019 14:09:14.291 # configEpoch set to 1 via CLUSTER SET-CONFIG-EPOCH
39133:M 14 Feb 2019 14:09:14.331 # IP address for this node updated to 127.0.0.1
39133:M 14 Feb 2019 14:09:19.248 # Cluster state changed: ok

# 6380節(jié)點(diǎn)的/usr/local/var/db/redis_master1/nodes-6380.conf配置文件
817a0f0eb42cf67c024a02836051753eee36b474 127.0.0.1:6381@16381 master - 0 1550124554432 2 connected 5461-10922
5a118db9780daca9a1998caa88ce281f1ce69cf3 127.0.0.1:6380@16380 myself,master - 0 0 1 connected 0-5460
5b7a979808c748e68146ad318479430bbd839df1 127.0.0.1:6382@16382 master - 0 1550124554531 3 connected 10923-16383
vars currentEpoch 3 lastVoteEpoch 0