Redis-分布式緩存(三)

前置文章:
Redis-分布式緩存(一):數(shù)據(jù)持久化拙毫、主從集群桑驱;
Redis-分布式緩存(二):哨兵機制。

零戳鹅、本文綱要

  • 一、單機Redis的問題
  • 二、Redis分片集群
    1均牢、Redis分片集群的優(yōu)勢
    2、搭建Redis分片集群
    3才睹、散列插槽
    4徘跪、集群伸縮
    5甘邀、故障轉移/數(shù)據(jù)遷移
    6、RedisTemplate訪問分片集群

tips:Ctrl + F快速定位所需內容閱讀吧垮庐。

一松邪、單機Redis的問題

1、數(shù)據(jù)丟失問題

實現(xiàn)Redis數(shù)據(jù)持久化哨查;

2逗抑、并發(fā)能力問題

搭建主從集群,實現(xiàn)讀寫分離寒亥;

3邮府、故障恢復問題

利用哨兵機制,實現(xiàn)健康檢測和自動恢復溉奕;

4褂傀、存儲能力問題

搭建分片集群,利用插槽機制實現(xiàn)動態(tài)擴容加勤。

二仙辟、Redis分片集群

Scaling with Redis Cluster

1、Redis分片集群的優(yōu)勢

  • ① 自動分割數(shù)據(jù)到不同的節(jié)點上鳄梅;
  • ② 整個集群的部分節(jié)點失敗或者不可達的情況下能夠繼續(xù)處理命令叠国。

可以解決:

  • ① 海量數(shù)據(jù)存儲問題;
  • ② 高并發(fā)寫的問題戴尸。

2粟焊、搭建Redis分片集群

  • ① 準備目錄及配置文件

Ⅰ 新創(chuàng)建出7001、7002孙蒙、7003吆玖、8001、8002马篮、8003目錄:

# 創(chuàng)建目錄
mkdir 7001 7002 7003 8001 8002 8003

Ⅱ 準備一個新的redis.conf文件(記得修改為自己本地的IP):

port 6379
# 開啟集群功能
cluster-enabled yes
# 集群的配置文件名稱沾乘,不需要我們創(chuàng)建,由redis自己維護
cluster-config-file /tmp/6379/nodes.conf
# 節(jié)點心跳失敗的超時時間
cluster-node-timeout 5000
# 持久化文件存放目錄
dir /tmp/6379
# 綁定地址
bind 0.0.0.0
# 讓redis后臺運行
daemonize yes
# 注冊的實例ip
replica-announce-ip 192.168.253.128
# 保護模式
protected-mode no
# 數(shù)據(jù)庫數(shù)量
databases 1
# 日志
logfile /tmp/6379/run.log

Ⅲ 將文件放入每個目錄:

# 執(zhí)行拷貝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

Ⅳ 修改每個目錄下的redis.conf浑测,將其中的6379修改為與所在目錄一致:

# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf
  • ② 啟動各個實例

Ⅰ 直接啟動服務:

# 一鍵啟動所有服務
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

Ⅱ 查看實例狀態(tài):
ps: (英文全拼:process status)命令用于顯示當前進程的狀態(tài)翅阵,語法ps [options] [--help]
查找指定進程:ps -ef | grep 進程關鍵字迁央;

ps -ef | grep redis
查看實例狀態(tài).png

Ⅲ 關閉所有進程:

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown
  • ③ 創(chuàng)建分片集群

redis-cli --cluster或者./redis-trib.rb:代表集群操作命令掷匠;
create:代表是創(chuàng)建集群;
--replicas 1或者--cluster-replicas 1 :指定集群中每個master的副本個數(shù)為1岖圈,此時節(jié)點總數(shù) ÷ (replicas + 1) 得到的就是master的數(shù)量讹语。因此節(jié)點列表中的前n個就是master,其它節(jié)點都是slave節(jié)點蜂科,隨機分配到不同master

redis-cli --cluster create --cluster-replicas 1 192.168.253.128:7001 192.168.253.128:7002 192.168.253.128:7003 192.168.253.128:8001 192.168.253.128:8002 192.168.253.128:8003
創(chuàng)建分片集群.png
分片集群開始創(chuàng)建.png

查看分片集群狀態(tài):

redis-cli -p 7001 cluster nodes
查看分片集群狀態(tài).png
  • ④ 測試

Ⅰ 以單節(jié)點形式連接客戶端顽决,命令redis-cli -p 7001

[root@localhost tmp]# redis-cli -p 7001
127.0.0.1:7001> set num 123
OK
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
(error) MOVED 15495 192.168.253.128:7003

Ⅱ 以分片集群形式連接客戶端短条,命令redis-cli -c -p 7001

[root@localhost tmp]# redis-cli -c -p 7001
127.0.0.1:7001> get num
"123"
127.0.0.1:7001> set a 1
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK

3、散列插槽

  • ① 散列插槽分布

Redis會把每一個master節(jié)點映射到0~16383共16384個插槽(hash slot)上:
slots:[0-5460] (5461 slots)
slots:[5461-10922] (5462 slots)
slots:[10923-16383] (5461 slots)

M: 063cb797912b1a8f6c86f8994defcc850b1b2144 192.168.253.128:7001
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
M: 3fdc9e0fc5599b10b1886f8fa8046faa6e14d8ee 192.168.253.128:7002
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 7b8f5aa31d510f3127c89907084196fb01fc02c4 192.168.253.128:7003
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
  • ② 插槽規(guī)則

數(shù)據(jù)key不是與節(jié)點綁定才菠,而是與插槽綁定茸时。redis會根據(jù)key的有效部分計算插槽值,分兩種情況:
Ⅰ key中包含"{}"赋访,且“{}”中至少包含1個字符可都,“{}”中的部分是有效部分;
Ⅱ key中不包含“{}”蚓耽,整個key都是有效部分渠牲。

192.168.253.128:7001> set {num}a 789
OK
192.168.253.128:7001> set num 456
OK
192.168.253.128:7001> set a 123
-> Redirected to slot [15495] located at 192.168.253.128:7003
OK
192.168.253.128:7003> set {a}num 456
OK

可以看到{num}a和num被插入同一個插槽,a和{a}num又被插到另一個相同插槽步悠。

4签杈、集群伸縮

  • ① 查看集群操作命令
redis-cli --cluster help
  • ② 增刪節(jié)點操作
  add-node       new_host:new_port existing_host:existing_port
                 --cluster-slave
                 --cluster-master-id <arg>

  del-node       host:port node_id
# 創(chuàng)建7004目錄
mkdir 7004
# 拷貝配置文件
cp redis.conf 7004
# 修改配置文件
sed -i s/6379/7004/g 7004/redis.conf
# 啟動7004
redis-server 7004/redis.conf
# 查看redis狀態(tài)
ps -ef | grep redis

# 添加7004到集群
redis-cli --cluster add-node 192.168.253.128:7004 192.168.253.128:7001
# 查看集群狀態(tài)
redis-cli -p 7001 cluster nodes
  • ③ 分配插槽
  reshard        host:port
                 --cluster-from <arg>
                 --cluster-to <arg>
                 --cluster-slots <arg>
                 --cluster-yes
                 --cluster-timeout <arg>
                 --cluster-pipeline <arg>
                 --cluster-replace
  • ④ 測試

Ⅰ 添加7004節(jié)點,并且分配3000個槽位:

# 連接至集群中的7001節(jié)點
redis-cli --cluster reshard 192.168.253.128:7001
# 分配3000個槽位
3000
# 接受槽位的7004節(jié)點的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7001節(jié)點的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 確認槽位分配
done
# 確認開始分配
yes

Ⅱ 刪除7004節(jié)點:
移除7004節(jié)點上的槽位贤徒,將數(shù)據(jù)拷貝至7001節(jié)點:

# 連接至集群中的7004節(jié)點
redis-cli --cluster reshard 192.168.253.128:7004
# 分配3000個槽位
3000
# 接受槽位的7001節(jié)點的id
3b86fb982c1a04142735a9923818e7716897ad81
# 分配槽位的7004節(jié)點的id
063cb797912b1a8f6c86f8994defcc850b1b2144
# 確認槽位分配
done
# 確認開始分配
yes

從分片集群中移除7004節(jié)點:

[root@localhost tmp]# redis-cli --cluster del-node 192.168.253.128:7004 3b86fb982c1a04142735a9923818e7716897ad81
>>> Removing node 3b86fb982c1a04142735a9923818e7716897ad81 from cluster 192.168.253.128:7004
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.
從分片集群中移除7004節(jié)點.png

5、故障轉移/數(shù)據(jù)遷移

  • ① 自動故障轉移
故障轉移.png
  • ② 手動數(shù)據(jù)遷移

利用cluster failover命令可以手動讓集群中的某個master宕機汇四,切換到執(zhí)行cluster failover命令的這個slave節(jié)點接奈,實現(xiàn)無感知的數(shù)據(jù)遷移。

指令:CLUSTER FAILOVER [FORCE|TAKEOVER]
Ⅰ 缺释酢:默認的流程序宦,如圖1~6歩;
Ⅱ FORCE:省略了對offset的一致性校驗背苦,如圖2~3步互捌;
Ⅲ TAKEOVER:直接執(zhí)行第5歩,忽略數(shù)據(jù)一致性行剂、忽略master狀態(tài)和其它master的意見。

手動數(shù)據(jù)遷移.png

6厚宰、RedisTemplate訪問分片集群

  • ① 修改原有配置
spring:
  redis:
    cluster:
      nodes:
        - 192.168.253.128:7001
        - 192.168.253.128:7002
        - 192.168.253.128:7003
        - 192.168.253.128:8001
        - 192.168.253.128:8002
        - 192.168.253.128:8003
#    sentinel:
#      master: mymaster
#      nodes:
#        - 192.168.253.128:27001
#        - 192.168.253.128:27002
#        - 192.168.253.128:27003
  • ② 測試
    寫:8001master節(jié)點
    讀:7002slave節(jié)點
RedisTemplate訪問分片集群.png

三腌巾、結尾

以上即為Redis分布式緩存的全部內容了,感謝閱讀铲觉。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末澈蝙,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子撵幽,更是在濱河造成了極大的恐慌灯荧,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,651評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件盐杂,死亡現(xiàn)場離奇詭異逗载,居然都是意外死亡哆窿,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評論 3 392
  • 文/潘曉璐 我一進店門撕贞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來更耻,“玉大人,你說我怎么就攤上這事捏膨⊙砭” “怎么了?”我有些...
    開封第一講書人閱讀 162,931評論 0 353
  • 文/不壞的土叔 我叫張陵号涯,是天一觀的道長目胡。 經常有香客問我,道長链快,這世上最難降的妖魔是什么誉己? 我笑而不...
    開封第一講書人閱讀 58,218評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮域蜗,結果婚禮上巨双,老公的妹妹穿的比我還像新娘。我一直安慰自己霉祸,他們只是感情好筑累,可當我...
    茶點故事閱讀 67,234評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著丝蹭,像睡著了一般慢宗。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上奔穿,一...
    開封第一講書人閱讀 51,198評論 1 299
  • 那天镜沽,我揣著相機與錄音,去河邊找鬼贱田。 笑死缅茉,一個胖子當著我的面吹牛,可吹牛的內容都是我干的男摧。 我是一名探鬼主播宾舅,決...
    沈念sama閱讀 40,084評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼彩倚!你這毒婦竟也來了筹我?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,926評論 0 274
  • 序言:老撾萬榮一對情侶失蹤帆离,失蹤者是張志新(化名)和其女友劉穎蔬蕊,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 45,341評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡岸夯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,563評論 2 333
  • 正文 我和宋清朗相戀三年麻献,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片猜扮。...
    茶點故事閱讀 39,731評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡勉吻,死狀恐怖,靈堂內的尸體忽然破棺而出旅赢,到底是詐尸還是另有隱情齿桃,我是刑警寧澤,帶...
    沈念sama閱讀 35,430評論 5 343
  • 正文 年R本政府宣布煮盼,位于F島的核電站短纵,受9級特大地震影響,放射性物質發(fā)生泄漏僵控。R本人自食惡果不足惜香到,卻給世界環(huán)境...
    茶點故事閱讀 41,036評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望报破。 院中可真熱鬧纵刘,春花似錦冒萄、人聲如沸朽肥。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蔽氨。三九已至藐唠,卻和暖如春帆疟,著一層夾襖步出監(jiān)牢的瞬間鹉究,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評論 1 269
  • 我被黑心中介騙來泰國打工踪宠, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留自赔,地道東北人。 一個月前我還...
    沈念sama閱讀 47,743評論 2 368
  • 正文 我出身青樓柳琢,卻偏偏與公主長得像绍妨,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子柬脸,可洞房花燭夜當晚...
    茶點故事閱讀 44,629評論 2 354

推薦閱讀更多精彩內容