離線加載鏡像

# 可以訪問外網的機器下載鏡像
docker pull k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker pull k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker pull k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker pull k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker pull k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker pull quay.io/cephcsi/cephcsi:canary
# 保存鏡像
docker save -o csi-provisioner k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
docker save -o csi-snapshotter k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0
docker save -o csi-attacher k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
docker save -o csi-resizer k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
docker save -o csi-node-driver-registrar k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
docker save -o cephcsi quay.io/cephcsi/cephcsi:canary

# 拷貝到服務器
scp -r rook-ceph_install_images 用戶名@服務器ip:/home/用戶名
# 服務器A分發(fā)到其他服務器 

sudo docker load < csi-provisioner 
sudo docker load < csi-snapshotter 
sudo docker load < csi-attacher 
sudo docker load < csi-resizer 
sudo docker load < csi-node-driver-registrar 
sudo docker load < cephcsi 

安裝過程

官方文檔

#檢查磁盤么抗，需要沒有分區(qū)辆影，沒有格式化的磁盤
# 如果 FSTYPE 字段不是空的扁达，則在相應的設備上有一個文件系統(tǒng)怪得。在這種情況下，可以為 Ceph 使用 vdb，而不能使用 vda 及其分區(qū)。
lsblk -f
#結果例子：
NAME                  FSTYPE      LABEL UUID                                   MOUNTPOINT
vda
└─vda1                LVM2_member       >eSO50t-GkUV-YKTH-WsGq-hNJY-eKNf-3i07IB
 ├─ubuntu--vg-root   ext4              c2366f76-6e21-4f10-a8f3-6776212e2fe4   /
 └─ubuntu--vg-swap_1 swap              9492a3dc-ad75-47cd-9596-678e8cf17ff9   [SWAP]
vdb
#如果需要可以刪除[dev]磁盤格式化信息和分區(qū)信息
sudo sgdisk --zap-all /dev/sdb
參考地址：http://docs.ceph.org.cn/man/8/ceph-disk/#id1

#安裝rook-ceph 
#查看內核版本必須大于4.17
 uname -sr
#如果小于4.17就升級內核，具體方法自行百度陷嘴，不贅述
sudo rm -rf /var/lib/rook
sudo rm -rf /var/lib/kubelet/plugins/* 
sudo rm -rf /var/lib/kubelet/plugins_registry/*

git clone --single-branch --branch v1.6.5 https://github.com/rook/rook.git
cd rook/cluster/examples/kubernetes/ceph
sudo kubectl apply -f crds.yaml -f common.yaml -f operator.yaml
sudo kubectl apply -f cluster.yaml
# 刪除ceph
# sudo kubectl delete -f crds.yaml -f common.yaml -f operator.yaml
# sudo kubectl delete -f cluster.yaml
#查看pod是否有osd相關pod
#需要重啟時候重啟rook-ceph-operator
kubectl rollout restart deploy rook-ceph-operator -n rook-ceph

#查看rook-ceph命名空間下的所有服務 
kubectl get service -n rook-ceph 

#暴露端口
kubectl apply -f dashboard-external-https.yaml

#查看暴露的端口
kubectl get svc -n rook-ceph | grep mgr-dashboard

#獲取登錄密碼，訪問地址翰撑，注意是https罩旋，http會訪問不成功
https://服務器ip:31866

#默認用戶名為admin啊央，密碼獲取方式執(zhí)行如下命令
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo

創(chuàng)建存儲類

創(chuàng)建塊存儲類

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f ./csi/rbd/storageclass.yaml

創(chuàng)建共享文件系統(tǒng)存儲類

建議參考官方文檔，可能會有更新

官網文檔

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f filesystem.yaml
kubectl apply -f ./csi/cephfs/storageclass.yaml 

創(chuàng)建對象存儲類

官網地址

#創(chuàng)建對象存儲涨醋，對象存儲類瓜饥，對象存儲桶

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl apply -f object.yaml 
kubectl apply -f storageclass-bucket-delete.yaml
kubectl apply -f object-bucket-claim-delete.yaml

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl delete -f object.yaml 
kubectl delete -f storageclass-bucket-delete.yaml
kubectl delete -f object-bucket-claim-delete.yaml


kubectl get cm ceph-delete-bucket  -o jsonpath='{.data.BUCKET_HOST}'
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_ACCESS_KEY_ID}' | base64 --decode
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AWS_SECRET_ACCESS_KEY}' | base64 --decode
 
#集群外部訪問
kubectl apply -f rgw-external.yaml
kubectl apply -f object-user.yaml

#查看新建用戶的AccessKey
kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.AccessKey}' | base64 --decode

kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.SecretKey}' | base64 --decode

kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o jsonpath='{.data.Endpoint}' | base64 --decode

安裝工具

cd ~/rook/cluster/examples/kubernetes/ceph
kubectl create -f toolbox.yaml