kubernetes中持久化存儲(chǔ)之StorageClass

微信圖片_20200119163111.jpg

上面介紹的PV和PVC模式是需要運(yùn)維人員先創(chuàng)建好PV捂齐，然后開(kāi)發(fā)人員定義好PVC進(jìn)行一對(duì)一的Bond慧脱，但是如果PVC請(qǐng)求成千上萬(wàn)酬滤，那么就需要?jiǎng)?chuàng)建成千上萬(wàn)的PV镜廉，對(duì)于運(yùn)維人員來(lái)說(shuō)維護(hù)成本很高弄诲，Kubernetes提供一種自動(dòng)創(chuàng)建PV的機(jī)制，叫StorageClass娇唯，它的作用就是創(chuàng)建PV的模板齐遵。

具體來(lái)說(shuō)，StorageClass會(huì)定義一下兩部分：

  1. PV的屬性 塔插，比如存儲(chǔ)的大小梗摇、類(lèi)型等；
  2. 創(chuàng)建這種PV需要使用到的存儲(chǔ)插件想许，比如Ceph等伶授；

有了這兩部分信息，Kubernetes就能夠根據(jù)用戶提交的PVC流纹，找到對(duì)應(yīng)的StorageClass糜烹，然后Kubernetes就會(huì)調(diào)用 StorageClass聲明的存儲(chǔ)插件，創(chuàng)建出需要的PV漱凝。

這里我們以NFS為例疮蹦，要使用NFS，我們就需要一個(gè)nfs-client的自動(dòng)裝載程序碉哑，我們稱(chēng)之為Provisioner挚币，這個(gè)程序會(huì)使用我們已經(jīng)配置好的NFS服務(wù)器自動(dòng)創(chuàng)建持久卷，也就是自動(dòng)幫我們創(chuàng)建PV扣典。

說(shuō)明：

  • 自動(dòng)創(chuàng)建的PV會(huì)以{namespace}-{pvcName}-${pvName}的目錄格式放到NFS服務(wù)器上妆毕；
  • 如果這個(gè)PV被回收，則會(huì)以archieved-{namespace}-{pvcName}-${pvName}這樣的格式存放到NFS服務(wù)器上贮尖；

詳細(xì)可以參考：https://github.com/kubernetes-incubator/external-storage/tree/master/nfs-client

在部署之前笛粘，首先得確保有可用得NFS服務(wù)器，這里默認(rèn)已經(jīng)有可用得NFS服務(wù)器了。
1薪前、創(chuàng)建ServiceAccount润努，為nfs-client授權(quán)。
nfs-client-sa.yaml

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-clusterrole
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: nfs-client-provisioner-clusterrolebinding
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-clusterrole
  apiGroup: rbac.authorization.k8s.io

通過(guò)上面得配置示括，設(shè)置nfs-client對(duì)PV铺浇，PVC，StorageClass等得規(guī)則垛膝。接下來(lái)我們創(chuàng)建這個(gè)YAML文件：

[root@master storageclass]# kubectl apply -f nfs-client-sa.yaml 
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrole created
clusterrolebinding.rbac.authorization.k8s.io/nfs-client-provisioner-clusterrolebinding created

2鳍侣、創(chuàng)建nfs-client
使用Deployment來(lái)創(chuàng)建nfs-client，配置如下：
nfs-client.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-client-prosioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-client-prosioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      - name: nfs-client-prosioner
        image: registry.cn-hangzhou.aliyuncs.com/rookieops/nfs-client-provisioner:v0.1
        imagePullPolicy: IfNotPresent
        volumeMounts:
        - name: nfs-client-root
          mountPath: /data/pv
        env:
        - name: PROVISIONER_NAME
          value: rookieops/nfs
        - name: NFS_SERVER
          value: 122.51.79.172
        - name: NFS_PATH
          value: /data/k8s/prometheus
      volumes:
      - name: nfs-client-root
        nfs:
          server: 122.51.79.172
          path: /data/k8s/prometheus

然后創(chuàng)建這個(gè)YAML文件吼拥。

[root@master storageclass]# kubectl apply -f nfs-client.yaml 
deployment.extensions/nfs-client-prosioner created

查看其狀態(tài)：

[root@master storageclass]# kubectl get pod
NAME                                    READY   STATUS    RESTARTS   AGE
nfs-client-prosioner-66c9bb7f88-q2qm4   1/1     Running   0          52m

3倚聚、上面得創(chuàng)建完成后就可以創(chuàng)建StorageClass了。
nfs-client-storageclass.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-client-storageclass
provisioner: rookieops/nfs

注意provisioner必須和上面得Deployment的YAML文件中PROVISIONER_NAME的值保持一致凿可。
創(chuàng)建這個(gè)YAML文件：

[root@master storageclass]# kubectl apply -f nfs-client-storageclass.yaml 
storageclass.storage.k8s.io/nfs-client-storageclass created
[root@master storageclass]# kubectl get storageclass
NAME                      PROVISIONER      AGE
nfs-client-storageclass   fuseim.pri/ifs   15s

4惑折、創(chuàng)建PVC
test-nfs-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: test-nfs-pvc2
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-client-storageclass"
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

annotations的作用是在PVC里聲明一個(gè)StorageClass對(duì)象的標(biāo)識(shí)。

創(chuàng)建這個(gè)YAML文件，觀察其狀態(tài)：

[root@master storageclass]# kubectl apply -f test-pvc.yaml 
persistentvolumeclaim/test-nfs-pvc created
[root@master storageclass]# kubectl get pvc
NAME           STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS              AGE
test-nfs-pvc   Bound    pvc-e5b8765b-1d7b-4529-860f-bbe34e0b4109   1Mi        RWX            nfs-client-storageclass   2m16s

我們看到該P(yáng)VC自動(dòng)申請(qǐng)到空間，其STORAGECLASS就是我們創(chuàng)建的nfs-client-storageclass下梢。

5、創(chuàng)建一個(gè)Pod敞咧，進(jìn)行測(cè)試<br />test-pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: test-storageclass-pod
spec:
  containers:
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command:
    - "/bin/sh"
    - "-c"
    args:
    - "sleep 3600"
    volumeMounts:
    - name: nfs-pvc
      mountPath: /mnt
  restartPolicy: Never
  volumes:
  - name: nfs-pvc
    persistentVolumeClaim:
      claimName: test-nfs-pvc2

然后查看NFS服務(wù)器上是否生成對(duì)應(yīng)的目錄：

[root@master k8s]# ll
total 0
drwxrwxrwx 2 root root 6 Oct 29 17:21 default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb

我們可以看到生成了對(duì)應(yīng)的目錄，格式和我們上面說(shuō)的一致」枷伲現(xiàn)在進(jìn)Pod向該目錄下寫(xiě)一個(gè)文件休建，然后查看NFS服務(wù)器上是否存在該文件：

[root@master storageclass]# kubectl exec -it test-storageclass-pod -- /bin/sh
/ # cd /mnt/
/mnt # echo "hello,I am NFS Server!" > test
/mnt # ls
test

[root@master default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb]# ls
test
[root@master default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb]# cat test 
hello,I am NFS Server!

我們發(fā)現(xiàn)NFS服務(wù)器上存在，說(shuō)明我們驗(yàn)證成功评疗。

另外我們可以看到我們這里是手動(dòng)創(chuàng)建的一個(gè) PVC 對(duì)象测砂，在實(shí)際工作中，使用 StorageClass 更多的是 StatefulSet 類(lèi)型的服務(wù)百匆，StatefulSet 類(lèi)型的服務(wù)我們也可以通過(guò)一個(gè) volumeClaimTemplates 屬性來(lái)直接使用 StorageClass砌些，如下：(test-statefulset-nfs.yaml)

apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: nfs-web
spec:
  serviceName: "nginx"
  replicas: 2
  template:
    metadata:
      labels:
        app: nfs-web
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: nginx
        image: nginx:1.7.9
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
      annotations:
        volume.beta.kubernetes.io/storage-class: nfs-client-storageclass
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi

可以看到volumeClaimTemplates就是我們上面的PVC模板。然后我們創(chuàng)建這個(gè)文件：

[root@master storageclass]# kubectl apply -f test-statefulset.yaml 
statefulset.apps/nfs-web created

[root@master storageclass]# kubectl get pvc
NAME            STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS              AGE
www-nfs-web-0   Bound    pvc-5df69dbe-8b54-45dd-acd0-769c0c9ee1b8   1Gi        RWO            nfs-client-storageclass   7s
www-nfs-web-1   Bound    pvc-0e83fef9-ec16-4e02-8482-7e04b7c81c92   1Gi        RWO            nfs-client-storageclass   3s

可以看到會(huì)自動(dòng)生成兩個(gè)PVC加匈。

在NFS服務(wù)器上也可以看到正常創(chuàng)建了目錄：

[root@master k8s]# ll
total 0
drwxrwxrwx 2 root root 18 Oct 29 17:29 default-test-nfs-pvc2-pvc-91671ba7-8da8-4611-8bd5-3673f63d15cb
drwxrwxrwx 2 root root  6 Oct 29 17:34 default-www-nfs-web-0-pvc-5df69dbe-8b54-45dd-acd0-769c0c9ee1b8
drwxrwxrwx 2 root root  6 Oct 29 17:34 default-www-nfs-web-1-pvc-0e83fef9-ec16-4e02-8482-7e04b7c81c92

-----------------------

公眾號(hào)：?jiǎn)踢吂适拢↖D：qiaobiangushi）

知乎: 喬邊故事

頭條號(hào)：?jiǎn)踢吂适?/strong>

只要臉皮夠厚存璃，整個(gè)世界都將被你踩在腳下。

-----------------------

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末雕拼，一起剝皮案震驚了整個(gè)濱河市纵东，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌啥寇，老刑警劉巖偎球，帶你破解...
    沈念sama閱讀 206,378評(píng)論 6贊 481
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件洒扎，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡衰絮，警方通過(guò)查閱死者的電腦和手機(jī)袍冷，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評(píng)論 2贊 382
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)猫牡，“玉大人胡诗，你說(shuō)我怎么就攤上這事∧饕矗” “怎么了乃戈？”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,702評(píng)論 0贊 342
  • 道士緝兇錄：失蹤的賣(mài)姜人
    文/不壞的土叔 我叫張陵褂痰，是天一觀的道長(zhǎng)亩进。 經(jīng)常有香客問(wèn)我，道長(zhǎng)缩歪，這世上最難降的妖魔是什么归薛？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,259評(píng)論 1贊 279
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮匪蝙，結(jié)果婚禮上主籍，老公的妹妹穿的比我還像新娘。我一直安慰自己逛球，他們只是感情好千元，可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評(píng)論 5贊 371
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著颤绕，像睡著了一般幸海。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上奥务，一...
    開(kāi)封第一講書(shū)人閱讀 49,036評(píng)論 1贊 285
  • 城市分裂傳說(shuō)
    那天物独，我揣著相機(jī)與錄音，去河邊找鬼氯葬。 笑死挡篓，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的帚称。 我是一名探鬼主播官研，決...
    沈念sama閱讀 38,349評(píng)論 3贊 400
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼闯睹！你這毒婦竟也來(lái)了戏羽？” 一聲冷哼從身側(cè)響起，我...
    開(kāi)封第一講書(shū)人閱讀 36,979評(píng)論 0贊 259
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤瞻坝，失蹤者是張志新（化名）和其女友劉穎蛛壳，沒(méi)想到半個(gè)月后杏瞻，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 43,469評(píng)論 1贊 300
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡衙荐，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評(píng)論 2贊 323
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年捞挥，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片忧吟。...
    茶點(diǎn)故事閱讀 38,059評(píng)論 1贊 333
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡砌函，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出溜族，到底是詐尸還是另有隱情讹俊，我是刑警寧澤，帶...
    沈念sama閱讀 33,703評(píng)論 4贊 323
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布煌抒，位于F島的核電站仍劈，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏寡壮。R本人自食惡果不足惜贩疙，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評(píng)論 3贊 307
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望况既。 院中可真熱鬧这溅，春花似錦、人聲如沸棒仍。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,262評(píng)論 0贊 19
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)莫其。三九已至癞尚，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間榜配，已是汗流浹背否纬。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1贊 262
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蛋褥，地道東北人临燃。 一個(gè)月前我還...
    沈念sama閱讀 45,501評(píng)論 2贊 354
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長(zhǎng)得像烙心，于是被迫代替她去往敵國(guó)和親膜廊。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評(píng)論 2贊 345