環(huán)境版本說明：

三臺(tái)vmware虛擬機(jī)誉结，系統(tǒng)版本CentOS7.8桩撮。

Kubernetes 1.16.3及穗。

flannel v0.11

docker 18.09

使用kubeadm可以簡(jiǎn)單的搭建一套k8s集群環(huán)境崔兴，印机。

相關(guān)準(zhǔn)備

硬件環(huán)境

使用三臺(tái)vmware虛擬機(jī)，配置網(wǎng)絡(luò)鞭衩，安裝centos的時(shí)候不分區(qū)swap,并保證可以聯(lián)網(wǎng),安裝好一個(gè)后可以clone,記住修改IP和hostname学搜。

k8s-master 4G 4核 CentOS7 192.168.0.4

k8s-node1 2G 2核 CentOS7 192.168.0.8

k8s-node2 2G 2核 CentOS7 192.168.0.9

主機(jī)劃分

k8s-master作為集群管理節(jié)點(diǎn)：etcd kubeadm kube-apiserver kube-scheduler kube-controller-manager kubelet flanneld docker

k8s-node1作為工作節(jié)點(diǎn)：kubeadm kubelet flanneld docker

k8s-node2作為工作節(jié)點(diǎn)：kubeadm kubelet flanneld docker

一娃善，準(zhǔn)備工作，本節(jié)相關(guān)操作要在所有節(jié)點(diǎn)上執(zhí)行瑞佩。

安裝必要的rpm軟件：

yum install -y wget vim net-tools epel-release

關(guān)閉防火墻

systemctl disable firewalld

systemctl stop firewalld

關(guān)閉selinux

# 臨時(shí)禁用selinux

setenforce 0

# 永久關(guān)閉 修改/etc/sysconfig/selinux文件設(shè)置

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

禁用交換分區(qū)聚磺，沒給swap分區(qū)可不做這一步

swapoff -a

# 永久禁用，打開/etc/fstab注釋掉swap那一行炬丸。

sed -i 's/.*swap.*/#&/' /etc/fstab

修改 /etc/hosts

cat <<EOF >> /etc/host

192.168.10.20 k8s-master

192.168.10.21 k8s-node1

192.168.10.22 k8s-node2

EOF

修改內(nèi)核參數(shù)

cat <<EOF >? /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

sysctl --system

安裝docker18.09

配置yum源

## 配置默認(rèn)源

## 備份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

## 下載阿里源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

## 刷新

yum makecache fast

## 配置k8s源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

EOF

## 重建yum緩存

yum clean all

yum makecache fast

安裝docker

下載docker的yum源文件

yum -y install yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

這里指定docker版本瘫寝，可以先查看支持的版本

[root@master ~]# yum list docker-ce --showduplicates |sort -r? ? ? ? ? ? ?

* updates: mirrors.aliyun.com

Loading mirror speeds from cached hostfile

Loaded plugins: fastestmirror

* extras: mirrors.aliyun.com

* epel: hkg.mirror.rackspace.com

docker-ce.x86_64? ? ? ? ? ? 3:19.03.2-3.el7? ? ? ? ? ? ? ? ? ? docker-ce-stable

docker-ce.x86_64? ? ? ? ? ? 3:19.03.1-3.el7? ? ? ? ? ? ? ? ? ? docker-ce-stable

docker-ce.x86_64? ? ? ? ? ? 3:19.03.0-3.el7? ? ? ? ? ? ? ? ? ? docker-ce-stable

docker-ce.x86_64? ? ? ? ? ? 3:18.09.9-3.el7? ? ? ? ? ? ? ? ? ? docker-ce-stable

...

* base: mirrors.aliyun.com

目前最新版本為19.03，指定下載18.09

yum install -y docker-ce-18.09.9-3.el7

systemctl enable docker

systemctl start docker

修改docker的啟動(dòng)參數(shù)

cat > /etc/docker/daemon.json <<EOF

{

? "registry-mirrors": ["https://xxx.mirror.aliyuncs.com"],

? "exec-opts": ["native.cgroupdriver=systemd"],

? "log-driver": "json-file",

? "log-opts": {

? ? "max-size": "100m"

? },

? "storage-driver": "overlay2",

? "storage-opts": [

? ? "overlay2.override_kernel_check=true"

? ]

}

EOF

systemctl restart docker

安裝k8s

二稠炬，管理節(jié)點(diǎn)配置

先在k8s-master上安裝管理節(jié)點(diǎn)

安裝kubeadm焕阿，kubelet，指定版本1.16.3

yum install -y kubeadm-1.16.3-0 kubelet-1.16.3-0

初始化kubeadm

這里不直接初始化首启，因?yàn)閲?guó)內(nèi)用戶不能直接拉取相關(guān)的鏡像暮屡，所以這里想查看需要的鏡像版本

[root@master ~]# kubeadm config images list

k8s.gcr.io/kube-apiserver:v1.16.3

k8s.gcr.io/kube-controller-manager:v1.16.3

k8s.gcr.io/kube-scheduler:v1.16.3

k8s.gcr.io/kube-proxy:v1.16.3

k8s.gcr.io/pause:3.1

k8s.gcr.io/etcd:3.3.15-0

k8s.gcr.io/coredns:1.6.2

根據(jù)需要的版本，直接拉取國(guó)內(nèi)鏡像毅桃，并修改tag

# vim kubeadm.sh

#!/bin/bash

## 使用如下腳本下載國(guó)內(nèi)鏡像褒纲，并修改tag為google的tag

set -e

KUBE_VERSION=v1.16.3

KUBE_PAUSE_VERSION=3.1

ETCD_VERSION=3.3.15-0

CORE_DNS_VERSION=1.6.2

GCR_URL=k8s.gcr.io

ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers

images=(kube-proxy:${KUBE_VERSION}

kube-scheduler:${KUBE_VERSION}

kube-controller-manager:${KUBE_VERSION}

kube-apiserver:${KUBE_VERSION}

pause:${KUBE_PAUSE_VERSION}

etcd:${ETCD_VERSION}

coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do

? docker pull $ALIYUN_URL/$imageName

? docker tag? $ALIYUN_URL/$imageName $GCR_URL/$imageName

? docker rmi $ALIYUN_URL/$imageName

done

運(yùn)行腳本，拉取鏡像

sh kubeadm.sh

master節(jié)點(diǎn)執(zhí)行

sudo kubeadm init \

--apiserver-advertise-address 192.168.0.4 \

--kubernetes-version=v1.16.3 \

--pod-network-cidr=10.244.0.0/16

注：這里的pod-network-cidr疾嗅，最好不要改動(dòng)外厂，和以下的步驟是關(guān)聯(lián)的。

結(jié)果返回

...

...

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

...

這幾步輸出結(jié)果有代承，可以直接復(fù)制

## 添加節(jié)點(diǎn)需要執(zhí)行以下命令，可以使用命令 kubeadm token create --print-join-command 來獲取

kubeadm join 192.168.0.4:6443 --token mg3ew8.om0uaq1ygbi6c42a? ? --discovery-token-ca-cert-hash sha256:254a6e3d50ef751f992a7022b15830ddf747c869e3f7a887eb02e6a0294f7ec4

如果是要安裝多個(gè)master節(jié)點(diǎn)渐扮，則初始化命令使用

kubeadm init? --apiserver-advertise-address 192.168.0.4 --control-plane-endpoint 192.168.0.4? --kubernetes-version=v1.16.3? --pod-network-cidr=10.244.0.0/16? --upload-certs

注：這里命令init有輸出

三论悴，工作節(jié)點(diǎn)配置

下載kubeadm kubelet

三臺(tái)節(jié)點(diǎn)都要運(yùn)行

yum install -y kubeadm kubelet

添加節(jié)點(diǎn)

node節(jié)點(diǎn)都要運(yùn)行，

kubeadm join 192.168.10.20:6443 --token lixsl8.v1auqmf91ty0xl0k \

? ? --discovery-token-ca-cert-hash sha256:c3f92a6ed9149ead327342f48a545e7e127a455d5b338129feac85893d918a55 \

? --ignore-preflight-errors=all（實(shí)際中最好預(yù)檢查）

如果添加節(jié)點(diǎn)失敗墓律，或是想重新添加膀估，可以使用命令

kubeadm reset

注：不要在輕易master上使用，它會(huì)刪除所有kubeadm配置 這時(shí)在節(jié)點(diǎn)上就可以使用命令查看添加的節(jié)點(diǎn)信息了

[root@k8s-master ~]# kubectl get nodes

NAME? ? ? ? STATUS? ? ROLES? ? AGE? VERSION

k8s-master? NotReady? master? 45m? v1.16.0

k8s-node1? ? NotReady? <none>? 26s? v1.16.0

k8s-node2? ? NotReady? <none>? 12s? v1.16.0

但節(jié)點(diǎn)的狀態(tài)就是 NotReady耻讽，還需要一些操作

四察纯，安裝flanneld

下載flannel配置文件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml，這一步有時(shí)報(bào)錯(cuò)针肥，想辦法下載下來拷貝進(jìn)去

因?yàn)閗ube-flannel.yml文件中使用的鏡像為quay.io的饼记，國(guó)內(nèi)無法拉取，所以同樣的先從國(guó)內(nèi)源上下載慰枕，再修改tag具则，腳本如下

# vim flanneld.sh

#!/bin/bash

set -e

FLANNEL_VERSION=v0.11.0

# 在這里修改源

QUAY_URL=quay.io/coreos

QINIU_URL=quay-mirror.qiniu.com/coreos

images=(flannel:${FLANNEL_VERSION}-amd64

flannel:${FLANNEL_VERSION}-arm64

flannel:${FLANNEL_VERSION}-arm

flannel:${FLANNEL_VERSION}-ppc64le

flannel:${FLANNEL_VERSION}-s390x)

for imageName in ${images[@]} ; do

? docker pull $QINIU_URL/$imageName

? docker tag? $QINIU_URL/$imageName $QUAY_URL/$imageName

? docker rmi $QINIU_URL/$imageName

done

運(yùn)行腳本，這個(gè)腳本需要在每個(gè)節(jié)點(diǎn)上執(zhí)行

sh flanneld.sh

安裝flanneld

kubectl apply -f kube-flanneld.yaml

flanneld默認(rèn)安裝在kube-system Namespace中具帮，使用以下命令查看:

[root@master ~]# kubectl -n kube-system get pods

NAME? ? ? ? ? ? ? ? ? ? ? ? ? ? READY? STATUS? ? RESTARTS? AGE

coredns-5644d7b6d9-ddfkf? ? ? ? 1/1? ? Running? 0? ? ? ? ? 3h19m

coredns-5644d7b6d9-vzmlh? ? ? ? 1/1? ? Running? 0? ? ? ? ? 3h19m

etcd-master? ? ? ? ? ? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 22m

kube-apiserver-master? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 22m

kube-controller-manager-master? 1/1? ? Running? 0? ? ? ? ? 21m

kube-flannel-ds-amd64-9swbr? ? ? 1/1? ? Running? 0? ? ? ? ? 21m

kube-flannel-ds-amd64-9wcvs? ? ? 1/1? ? Running? 0? ? ? ? ? 21m

kube-flannel-ds-amd64-k57gv? ? ? 1/1? ? Running? 0? ? ? ? ? 81m

kube-proxy-6jn72? ? ? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 3h19m

kube-proxy-7dhng? ? ? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 21m

kube-proxy-gchl2? ? ? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 21m

kube-scheduler-master? ? ? ? ? ? 1/1? ? Running? 0? ? ? ? ? 22m

出現(xiàn)錯(cuò)誤博肋，原因是兩個(gè)工作節(jié)點(diǎn)不能拉取pause和kube-proxy鏡像低斋，可以直接從master上打包，在node上使用

## master上執(zhí)行

docker save -o pause.tar k8s.gcr.io/pause:3.1

docker save -o kube-proxy.tar k8s.gcr.io/kube-proxy

## node上執(zhí)行

docker load -i pause.tar

docker load -i kube-proxy.tar

重新安裝flanneld

kubectl delete -f kube-flannel.yml

kubectl create -f kube-flannel.yml

安裝過程中碰到的幾個(gè)錯(cuò)誤

1匪凡， Docker升級(jí)后報(bào)錯(cuò)：Error response from daemon: client version 1.40 is too new. Maximum supported API version is 1.39

在/etc/profile和 ~/.bashrc 最后追加一個(gè) export DOCKER_API_VERSION=1.39

vi /etc/profile? #結(jié)尾追加

export DOCKER_API_VERSION=1.39

source? /etc/profile? #使配置生效

2膊畴，kubeadm join 超時(shí)

節(jié)點(diǎn)執(zhí)行如下命令

swapoff -a? ? # will turn off the swap

kubeadm reset

systemctl daemon-reload

systemctl restart kubelet

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X? # will reset iptables

journalctl -xeu kubelet? 可查看k8s的日志