一. 節(jié)點(diǎn)概覽
| IP地址 | 節(jié)點(diǎn)名稱 | 系統(tǒng) | 描述 |
|---|---|---|---|
| 192.168.10.200 | node-master | CentOS 7 | 主節(jié)點(diǎn) |
| 192.168.10.199 | node-slave-1 | Ubuntu Server 22.04 | 工作節(jié)點(diǎn)1 |
| 192.168.10.198 | node-slave-2 | Ubuntu Server 20.04 | 工作節(jié)點(diǎn)2 |
注: 如你所見,三臺(tái)服務(wù)器的系統(tǒng)都不統(tǒng)一
二. 前置條件
1. 設(shè)置節(jié)點(diǎn)主機(jī)名
首先是 192.168.10.200 設(shè)置為主節(jié)點(diǎn)
hostname node-master # 臨時(shí)生效
hostnamectl set-hostname node-master # 永久生效
然后是 192.168.10.199 設(shè)置為工作節(jié)點(diǎn)一
hostname node-slave-1
hostnamectl set-hostname node-slave-1
最后是 192.168.10.198 設(shè)置為工作節(jié)點(diǎn)二
hostname node-slave-2
hostnamectl set-hostname node-slave-2
2.添加IP與主機(jī)名的地址解析指向 (所有服務(wù)器都需要執(zhí)行)
cat >> /etc/hosts << EOF
192.168.10.200 node-master
192.168.10.199 node-slave-1
192.168.10.198 node-slave-2
EOF
3.關(guān)閉swap
swapoff -a # 臨時(shí)關(guān)閉
永久關(guān)閉需要編輯/etc/fstab文件,將其中的swap.img的掛載項(xiàng)注釋掉
4.關(guān)閉防火墻
CentOS
systemctl stop firewalld
systemctl disable firewalld
Ubuntu
ufw disable
5.關(guān)閉SELinux (CentOS)
setenforce 0 # 臨時(shí)關(guān)閉
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久關(guān)閉
6.橋接設(shè)置
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.ipv4.tcp_tw_recycle = 0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
三.安裝Docker
建議使用鏡像源加速,此處以清華鏡像源為例,參考https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/
CentOS
# 先刪除舊版軟件包
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine
# 安裝依賴項(xiàng)
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 替換為清華鏡像地址
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# 創(chuàng)建yum緩存
yum makecache fast
# 安裝docker-ce
yum install docker-ce
Ubuntu
# 刪除舊版軟件包
apt remove docker docker-engine docker.io containerd runc
# 安裝依賴項(xiàng)
apt install apt-transport-https ca-certificates curl gnupg2 software-properties-common
# 添加GPG公鑰
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
# 添加倉庫
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null
# 更新軟件源
apt update
# 安裝docker-ce
apt install docker-ce
然后把docker設(shè)置為開機(jī)啟動(dòng)
systemctl enable docker
把docker的cgroup設(shè)置為與k8s一致
vim /etc/docker/daemon.json
順便設(shè)置個(gè)Docker Hub鏡像地址吧,參考如下配置
{
"registry-mirrors": [
"https://registry.docker-cn.com",
"https://docker.mirrors.ustc.edu.cn"
],
"exec-opts": [
"native.cgroupdriver=systemd"
]
}
最后重啟docker
systemctl daemon-reload
systemctl restart docker
四.安裝Kubernetes
1.安裝kubernetes工具
建議使用鏡像源加速,此處以阿里云為例,參考https://developer.aliyun.com/mirror/kubernetes
CentOS
# 添加源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 重建yum緩存
yum makecache fast
# 安裝kubernetes工具
yum install -y kubelet kubeadm kubectl
# 設(shè)置kubelet服務(wù)開機(jī)啟動(dòng)
systemctl enable kubelet
# 啟動(dòng)kubelet服務(wù)
systemctl start kubelet
如需查看版本請(qǐng)使用以下命令
yum list kubelet --showduplicates | sort -r
指定版本安裝,以1.23.14為例
yum install -y kubeadm-1.23.14 kubectl-1.23.14 kubelet-1.23.14
Ubuntu
# 安裝依賴項(xiàng)
apt install -y apt-transport-https
# 導(dǎo)入GPG證書
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
# 添加源
cat > /etc/apt/sources.list.d/kubernetes.list << EOF
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
# 更新軟件源
apt update
# 安裝Kubernetes工具
apt install -y kubeadm kubectl kubelet
如需查看版本請(qǐng)使用以下命令
apt-cache madison kubelet
指定版本安裝,以1.23.14為例
apt install -y kubeadm=1.23.14-00 kubectl=1.23.14-00 kubelet=1.23.14-00
2.執(zhí)行初始化
如需單獨(dú)下載組件鏡像可以使用以下腳本
#!/bin/bash
# 使用kubeadm獲取準(zhǔn)確的鏡像依賴版本
images=$(kubeadm config images list | grep k8s.gcr.io)
# 遍歷依賴組件
for name in ${images[@]}; do
# 替換為可用的鏡像地址
echo -e "\e[32mPULL ----> $name\e[0m"
temp=$(echo $name | sed -e "s?k8s.gcr.io?registry.aliyuncs.com/google_containers?")
temp=$(echo $temp | sed -e "s?/coredns/?/?")
# 拉取鏡像
echo -e "\e[32mPROXY ---> $temp\e[0m"
docker pull $temp
# 重命名鏡像
echo -e "\e[32mRENAME --> $temp\e[0m"
echo -e "\e[32mTO ------> $name\e[0m"
docker tag $temp $name
# 刪除重命名前的鏡像
echo -e "\e[32mREMOVE --> $temp\e[0m"
docker rmi $temp
done
echo -e "\e[32mSUCCESS!\e[0m"
使用kubeadm init初始化主節(jié)點(diǎn)
kubeadm init \
--apiserver-advertise-address=192.168.10.200 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.14 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.60.0.0/16
--apiserver-advertise-address指定apiserver的IP地址
--image-repository指定使用的鏡像倉庫,默認(rèn)是k8s.gcr.io
--kubernetes-version指定k8s的版本
--service-cidr與--pod-network-cidr配置的地址只要不與當(dāng)前服務(wù)器IP網(wǎng)段沖突即可
如果初始化出錯(cuò),可以使用以下命令重置
kubeadm reset
初始化完成之后在主節(jié)點(diǎn)執(zhí)行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3.將工作節(jié)點(diǎn)加入到集群
初始化完成之后會(huì)給你一條命令,大概如下
kubeadm join 192.168.10.200:6443 --token js19ad.zgk6eocm3bn4lzzp \
--discovery-token-ca-cert-hash sha256:11b6f8d45c68d19d26a32b951ec3602d45af226ac71f0982ce474b6e769fde39
只需要復(fù)制這條命令,然后在所有工作節(jié)點(diǎn)的服務(wù)器執(zhí)行即可,之后可通過kubectl get nodes查詢所有節(jié)點(diǎn)
NAME STATUS ROLES AGE VERSION
node-master NotReady control-plane,master 5m34s v1.23.14
node-slave-1 NotReady <none> 51s v1.23.14
node-slave-2 NotReady <none> 17s v1.23.14
如果忘記token或token過期可使用以下命令新建一個(gè)
kubeadm token create --print-join-command
4.安裝CNI
加入節(jié)點(diǎn)后所有節(jié)點(diǎn)都處于NotReady狀態(tài),需要安裝CNI插件,這里以使用flannel為例
# 下載flannel的yaml
wget https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml
# 應(yīng)用到集群
kubectl apply -f kube-flannel.yml
之后稍等片刻后再次執(zhí)行kubectl get nodes即可看到所有節(jié)點(diǎn)變?yōu)?code>Ready狀態(tài)
NAME STATUS ROLES AGE VERSION
node-master Ready control-plane,master 17m v1.23.14
node-slave-1 Ready <none> 12m v1.23.14
node-slave-2 Ready <none> 11m v1.23.14
五.證書過期之后的處理
手動(dòng)更新kubernetes證書的所有操作都在主節(jié)點(diǎn)執(zhí)行,建議操作前先備份/etc/kubernetes文件夾
cp -r /etc/kubernetes /etc/kubernetes.bak
然后手動(dòng)重建證書
kubeadm certs renew all
重建完成之后可以查看證書的有效期
kubeadm certs check-expiration
之后需要?jiǎng)h除原來的配置文件
rm -rf /etc/kubernetes/*.conf
然后重新生成新的配置文件
kubeadm init phase kubeconfig all
之后重啟kubelet服務(wù)
systemctl restart kubelet
然后把/etc/kubernetes/admin.conf復(fù)制到~/.kube/config下覆蓋
cp /etc/kubernetes/admin.conf ~/.kube/config
這時(shí)候就完成了證書更新
六.注意事項(xiàng)
由于Kubernetes自1.24.0版本起棄用docker,轉(zhuǎn)而使用更底層的containerd,所以1.24.0及以上的版本如果想繼續(xù)使用docer作為容器運(yùn)行時(shí)就需要額外安裝cri-dockerd
