一個(gè)最小的redis集群，需要3個(gè)主節(jié)點(diǎn)，以及3個(gè)從節(jié)點(diǎn)缕碎，每個(gè)主節(jié)點(diǎn)對(duì)應(yīng)一個(gè)從節(jié)點(diǎn)，主從做數(shù)據(jù)備份池户，主節(jié)點(diǎn)間做數(shù)據(jù)分片咏雌。當(dāng)Master掉線后,redis cluster集群會(huì)從多個(gè)Slave中選舉出來(lái)一個(gè)新的Matser作為代替,而舊的Master重新上線后變成 Master 的Slave。
在k8s上部署redis集群校焦，需要對(duì)每個(gè)節(jié)點(diǎn)的配置和數(shù)據(jù)做持久化赊抖，并且要確保節(jié)點(diǎn)pod重建以后，配置和數(shù)據(jù)不變寨典，并可以自動(dòng)將新的pod ip注冊(cè)到集群氛雪。
因此需要結(jié)合StatefulSets（有狀態(tài)集）服務(wù)和持久卷來(lái)確保redis集群的正確運(yùn)行。
Statefulset 的設(shè)計(jì)原理模型:
- 拓?fù)錉顟B(tài):
應(yīng)用的多個(gè)實(shí)例之間不是完全對(duì)等的關(guān)系,這個(gè)應(yīng)用實(shí)例的啟動(dòng)必須按照某些順序啟動(dòng),比如應(yīng)用的主節(jié)點(diǎn) A 要先于從節(jié)點(diǎn) B 啟動(dòng)耸成。而如果你把 A 和 B 兩個(gè)Pod刪除掉,他們?cè)俅伪粍?chuàng)建出來(lái)是也必須嚴(yán)格按照這個(gè)順序才行,并且,新創(chuàng)建出來(lái)的Pod,必須和原來(lái)的Pod的網(wǎng)絡(luò)標(biāo)識(shí)一樣,這樣原先的訪問(wèn)者才能使用同樣的方法,訪問(wèn)到這個(gè)新的Pod报亩。
- 存儲(chǔ)狀態(tài):
應(yīng)用的多個(gè)實(shí)例分別綁定了不同的存儲(chǔ)數(shù)據(jù).對(duì)于這些應(yīng)用實(shí)例來(lái)說(shuō),Pod A第一次讀取到的數(shù)據(jù),和隔了十分鐘之后再次讀取到的數(shù)據(jù),應(yīng)該是同一份,哪怕在此期間Pod A被重新創(chuàng)建過(guò).一個(gè)數(shù)據(jù)庫(kù)應(yīng)用的多個(gè)存儲(chǔ)實(shí)例。
使用statefulset服務(wù)部署井氢，無(wú)論是Master 還是 slave都作為statefulset的一個(gè)副本,通過(guò)pv/pvc進(jìn)行持久化,對(duì)外暴露一個(gè)service 接受客戶端請(qǐng)求弦追。
存儲(chǔ)類
首先需要準(zhǔn)備好nfs 服務(wù)器，并在kubernetes中注冊(cè)nfs 存儲(chǔ)類花竞，作為持久卷的來(lái)源劲件。
基于StorageClass的動(dòng)態(tài)存儲(chǔ)供應(yīng)整體過(guò)程如下圖所示：
1）集群管理員預(yù)先創(chuàng)建存儲(chǔ)類（StorageClass）；
2）用戶創(chuàng)建使用存儲(chǔ)類的持久化存儲(chǔ)聲明(PVC：PersistentVolumeClaim)约急；
3）存儲(chǔ)持久化聲明通知系統(tǒng)零远，它需要一個(gè)持久化存儲(chǔ)(PV: PersistentVolume)；
4）系統(tǒng)讀取存儲(chǔ)類的信息厌蔽；
5）系統(tǒng)基于存儲(chǔ)類的信息牵辣，在后臺(tái)自動(dòng)創(chuàng)建PVC需要的PV；
6）用戶創(chuàng)建一個(gè)使用PVC的Pod奴饮；
7）Pod中的應(yīng)用通過(guò)PVC進(jìn)行數(shù)據(jù)的持久化服猪；
8）而PVC使用PV進(jìn)行數(shù)據(jù)的最終持久化處理供填。
使用nfs-client-provisioner 來(lái)創(chuàng)建nfs存儲(chǔ)類：
- 創(chuàng)建serviceaccount并授權(quán)
- 創(chuàng)建nfs-client-provisioner服務(wù)，指定nfs服務(wù)器地址及目錄
- 根據(jù)nfs-client-provisioner創(chuàng)建存儲(chǔ)類罢猪。
可以使用kubectl應(yīng)用文件近她，或者在rancher項(xiàng)目中導(dǎo)入yml文件
#創(chuàng)建serviceaccount及授權(quán)
---
kind: ServiceAccount
apiVersion: v1
metadata:
name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["list", "watch", "create", "update", "patch"]
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
#部署nfs-client-provisioner
---
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
name: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
image: quay.io/external_storage/nfs-client-provisioner:latest
#image: quay.io/external_storage/nfs-client-provisioner:v2.1.2-k8s1.11
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: nfs-client-provisioner
# value: fuseim.pri/ifs
#注意這里指定nfs服務(wù)器地址，以及nfs目錄
- name: NFS_SERVER
value: 172.19.74.250
- name: NFS_PATH
value: /app/nfs/data
volumes:
- name: nfs-client-root
#注意這里指定nfs服務(wù)器地址膳帕，以及nfs目錄
nfs:
server: 172.19.74.250
path: /app/nfs/data
#使用自定義的nfs提供方創(chuàng)建存儲(chǔ)類
---
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
provisioner: nfs-client-provisioner
nfs-client-provisioner服務(wù)
nfs-storage存儲(chǔ)類
創(chuàng)建redis集群服務(wù)
應(yīng)用如下yml
#創(chuàng)建配置映射
---
apiVersion: v1
kind: ConfigMap
metadata:
name: redis-cluster
data:
update-node.sh: |
#!/bin/sh
REDIS_NODES="/data/nodes.conf"
sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
exec "$@"
redis.conf: |+
cluster-enabled yes
cluster-require-full-coverage no
cluster-node-timeout 15000
cluster-config-file /data/nodes.conf
cluster-migration-barrier 1
appendonly yes
protected-mode no
#創(chuàng)建statefulset服務(wù)
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: redis-cluster
spec:
serviceName: redis-cluster
replicas: 6
selector:
matchLabels:
app: redis-cluster
template:
metadata:
labels:
app: redis-cluster
spec:
containers:
- name: redis
image: redis:alpine
ports:
- containerPort: 6379
name: client
- containerPort: 16379
name: gossip
command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]
env:
- name: POD_IP
valueFrom:
fieldRef:
fieldPath: status.podIP
volumeMounts:
- name: conf
mountPath: /conf
readOnly: false
- name: data
mountPath: /data
readOnly: false
volumes:
- name: conf
configMap:
name: redis-cluster
defaultMode: 0755
#pvc模板
volumeClaimTemplates:
- metadata:
name: data
#指定存儲(chǔ)類為nfs-storage
annotations:
volume.beta.kubernetes.io/storage-class: nfs-storage
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
#指定持久卷大小
storage: 1Gi
#創(chuàng)建服務(wù)發(fā)現(xiàn)粘捎，生成集群ip負(fù)載到redis集群的6個(gè)節(jié)點(diǎn)
---
apiVersion: v1
kind: Service
metadata:
name: redis-cluster
spec:
type: ClusterIP
ports:
- port: 6379
targetPort: 6379
name: client
- port: 16379
targetPort: 16379
name: gossip
selector:
app: redis-cluster
以下是應(yīng)用的結(jié)果說(shuō)明，基于rancher界面
1. 創(chuàng)建配置映射危彩，保存redis集群的配置及update-node.sh腳本
2. 創(chuàng)建StatefulSet服務(wù)攒磨，指定6個(gè)pod
獲取實(shí)時(shí)pod ip，以便更新集群注冊(cè)
指定configmap數(shù)據(jù)卷汤徽，映射redis配置文件
指定pvc模板數(shù)據(jù)卷娩缰，映射redis數(shù)據(jù)目錄
3. 配置服務(wù)發(fā)現(xiàn)
4. 創(chuàng)建成功以后，自動(dòng)生成pod
5. 創(chuàng)建成功以后谒府，自動(dòng)生成的持久卷拼坎，每個(gè)pod綁定一個(gè)持久卷，pod重建以后完疫，會(huì)綁定到同樣的持久卷泰鸡，確保了配置和數(shù)據(jù)不變。
注冊(cè)redis集群
集群pod創(chuàng)建好以后壳鹤，還需要注冊(cè)成為cluster盛龄，分配主從角色，使用kubectl命令芳誓，進(jìn)入redis-cluster-0pod命令行余舶，執(zhí)行redis-cli集群注冊(cè)。節(jié)點(diǎn)ip為pod ip锹淌。
kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')
查看集群信息
以上信息說(shuō)明集群注冊(cè)成功欧芽，并可以正常使用。
經(jīng)過(guò)隨機(jī)節(jié)點(diǎn)刪除的故障測(cè)試葛圃，可以確定少數(shù)節(jié)點(diǎn)失效，對(duì)整個(gè)集群的可用性沒(méi)有影響憎妙。
