在Kubernetes上部署Redis集群

Redis的分布式模式有主從模式、哨兵模式和Cluster模式酪耳,相對(duì)來(lái)說(shuō)Cluster模式的機(jī)制更完善铡恕,內(nèi)存利用率更高。因?yàn)轫?xiàng)目在使用Redis進(jìn)行存儲(chǔ)時(shí)碰到了性能瓶頸脏答,所以準(zhǔn)備用Cluster模式嘗試部署分布式Redis糕殉。

ps:Redis分布式的介紹可以參考https://segmentfault.com/a/1190000022808576

一、配置文件

先配置一個(gè)ConfigMap殖告,后面會(huì)掛載到Redis的實(shí)例上阿蝶,里面有一個(gè)腳本和一個(gè)redis的配置文件,redis配置文件可以根據(jù)需求修改黄绩,腳本的作用后面會(huì)講羡洁。

apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-cluster
data:
  fix-ip.sh: |
    #!/bin/sh
    CLUSTER_CONFIG="/data/nodes.conf"
    echo "creating nodes"
    if [ -f ${CLUSTER_CONFIG} ]; then
      echo "[ INFO ]File:${CLUSTER_CONFIG} is Found"
    else
      touch $CLUSTER_CONFIG
    fi
    if [ -z "${POD_IP}" ]; then
      echo "Unable to determine Pod IP address!"
      exit 1
    fi
    echo "Updating my IP to ${POD_IP} in ${CLUSTER_CONFIG}"
    sed -i.bak -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${CLUSTER_CONFIG}
    echo "done"
    exec "$@"
  redis.conf: |+
    cluster-enabled yes
    cluster-require-full-coverage no
    cluster-node-timeout 15000
    cluster-config-file /data/nodes.conf
    cluster-migration-barrier 1
    appendonly yes
    protected-mode no

二、啟動(dòng)節(jié)點(diǎn)

這里使用StatefulSet作為工作負(fù)載爽丹,因?yàn)閞edis集群的節(jié)點(diǎn)是有狀態(tài)的筑煮,這個(gè)狀態(tài)會(huì)記錄在之前配置指定的/data/nodes.conf文件里辛蚊,節(jié)點(diǎn)重啟后會(huì)根據(jù)這個(gè)文件的內(nèi)容恢復(fù)節(jié)點(diǎn)在集群里的狀態(tài),所以需要StatefulSet提供持久化真仲。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
  labels:
    run: redis-cluster
spec:
  serviceName: redis-cluster
  replicas: 6
  selector:
    matchLabels:
      run: redis-cluster
  template:
    metadata:
      labels:
        run: redis-cluster
    spec:
      containers:
      - name: redis
        image: redis:alpine 
        ports:
        - containerPort: 6379
          name: redis
        - containerPort: 16379
          name: gossip
        command: ["/conf/fix-ip.sh", "redis-server", "/conf/redis.conf"]
        env:
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        volumeMounts:
        - name: conf
          mountPath: /conf
          readOnly: false
        - name: data
          mountPath: /data
          readOnly: false
      volumes:
      - name: conf
        configMap:
          name: redis-cluster
          defaultMode: 0755
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 5Gi
      storageClassName: default

三袋马、創(chuàng)建集群

加載上面兩個(gè)配置文件后執(zhí)行:

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l run=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 {end}')  

這樣就創(chuàng)建好了redis集群,redis-server會(huì)寫(xiě)入/data/nodes.conf文件秸应,記錄集群狀態(tài)虑凛。因?yàn)樵趧?chuàng)建集群的時(shí)候是使用固定ip創(chuàng)建的,當(dāng)節(jié)點(diǎn)重啟后ip會(huì)發(fā)生變化灸眼,這個(gè)文件的信息就不準(zhǔn)確了卧檐,所以需要在啟動(dòng)時(shí)更新/data/nodes.conf。這個(gè)就是fix-ip.sh這個(gè)腳本的工作焰宣,如果文件存在霉囚,就更新ip,如果不存在就創(chuàng)建文件匕积。所以k8s的容器配置里有兩個(gè)點(diǎn)和單機(jī)不一樣:一個(gè)是command里使用"/conf/fix-ip.sh"作為啟動(dòng)項(xiàng)盈罐,先更新ip再啟動(dòng)實(shí)例;一個(gè)是加載pod ip到環(huán)境變量POD_IP闪唆,方便腳本加載盅粪。

四、創(chuàng)建service

創(chuàng)建好redis集群后還需要訪問(wèn)接口

apiVersion: v1
kind: Service
metadata:
  name: redis-cluster
spec:
  selector:
    run: redis-cluster
  ports:
  - port: 6379
    targetPort: 6379
    name: server
  - port: 16379
    targetPort: 16379
    name: gossip
  type: ClusterIP

五悄蕾、坑

一開(kāi)始是想用service的域名創(chuàng)建redis集群的票顾,這樣節(jié)點(diǎn)重啟后就不需要更新ip,但是redis不支持使用域名帆调,所以只能繞了一圈又回到固定ip的方法奠骄,和容器環(huán)境很不協(xié)調(diào)。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末番刊,一起剝皮案震驚了整個(gè)濱河市含鳞,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌芹务,老刑警劉巖蝉绷,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異枣抱,居然都是意外死亡熔吗,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)佳晶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)桅狠,“玉大人,你說(shuō)我怎么就攤上這事〈谷粒” “怎么了维雇?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)晒他。 經(jīng)常有香客問(wèn)我吱型,道長(zhǎng),這世上最難降的妖魔是什么陨仅? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任津滞,我火速辦了婚禮,結(jié)果婚禮上灼伤,老公的妹妹穿的比我還像新娘触徐。我一直安慰自己,他們只是感情好狐赡,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布撞鹉。 她就那樣靜靜地躺著,像睡著了一般颖侄。 火紅的嫁衣襯著肌膚如雪鸟雏。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,736評(píng)論 1 312
  • 那天览祖,我揣著相機(jī)與錄音孝鹊,去河邊找鬼。 笑死展蒂,一個(gè)胖子當(dāng)著我的面吹牛又活,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播锰悼,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼柳骄,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了松捉?” 一聲冷哼從身側(cè)響起夹界,我...
    開(kāi)封第一講書(shū)人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤馆里,失蹤者是張志新(化名)和其女友劉穎隘世,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體鸠踪,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡丙者,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了营密。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片械媒。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出纷捞,到底是詐尸還是另有隱情痢虹,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布主儡,位于F島的核電站奖唯,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏糜值。R本人自食惡果不足惜丰捷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望寂汇。 院中可真熱鬧病往,春花似錦、人聲如沸骄瓣。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)榕栏。三九已至叠穆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間臼膏,已是汗流浹背硼被。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留渗磅,地道東北人嚷硫。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像始鱼,于是被迫代替她去往敵國(guó)和親仔掸。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容