一躲庄、Kubernetes的基本知識

Pod
Pod是若干個相關(guān)容器的組合，是一個邏輯概念飒泻，Pod包含的容器運行在同一個宿主機上鞭光，這些容器使用相同的網(wǎng)絡(luò)命名空間、IP地址和端口蠢络，相互之間能通過localhost來發(fā)現(xiàn)和通信衰猛，共享一塊存儲卷空間。在Kubernetes中創(chuàng)建刹孔、調(diào)度和管理的最小單位是Pod。一個Pod一般只放一個業(yè)務(wù)容器和一個用于統(tǒng)一網(wǎng)絡(luò)管理的網(wǎng)絡(luò)容器娜睛。
Replication Controller
Replication Controller是用來控制管理Pod副本(Replica髓霞，或者稱實例)，Replication Controller確保任何時候Kubernetes集群中有指定數(shù)量的Pod副本在運行畦戒，如果少于指定數(shù)量的Pod副本方库，Replication Controller會啟動新的Pod副本，反之會殺死多余的以保證數(shù)量不變障斋。另外Replication Controller是彈性伸縮纵潦、滾動升級的實現(xiàn)核心徐鹤。
Service
Service是真實應(yīng)用服務(wù)的抽象，定義了Pod的邏輯集合和訪問這個Pod集合的策略邀层，Service將代理Pod對外表現(xiàn)為一個單一訪問接口返敬，外部不需要了解后端Pod如何運行，這給擴展或維護帶來很大的好處寥院，提供了一套簡化的服務(wù)代理和發(fā)現(xiàn)機制劲赠。
Label
Label是用于區(qū)分Pod、Service秸谢、Replication Controller的Key/Value鍵值對凛澎，實際上Kubernetes中的任意API對象都可以通過Label進行標(biāo)識。每個API對象可以有多個Label估蹄，但是每個Label的Key只能對應(yīng)一個Value塑煎。Label是Service和Replication Controller運行的基礎(chǔ)，它們都通過Label來關(guān)聯(lián)Pod臭蚁，相比于強綁定模型轧叽，這是一種非常好的松耦合關(guān)系。
Node
Kubernets屬于主從的分布式集群架構(gòu)刊棕，Kubernets Node（簡稱為Node炭晒，早期版本叫做Minion）運行并管理容器。Node作為Kubernetes的操作單元甥角，將用來分配給Pod（或者說容器）進行綁定网严，Pod最終運行在Node上，Node可以認(rèn)為是Pod的宿主機嗤无。

需求

目前生產(chǎn)部署Kubernetes集群主要有兩種方式：

kubeadm

Kubeadm是一個K8s部署工具震束，提供kubeadm init和kubeadm join，用于快速部署Kubernetes集群当犯。

二進制包

從github下載發(fā)行版的二進制包垢村，手動部署每個組件，組成Kubernetes集群嚎卫。

Kubeadm降低部署門檻嘉栓，但屏蔽了很多細(xì)節(jié)，遇到問題很難排查拓诸。如果想更容易可控侵佃，推薦使用二進制包部署Kubernetes集群，雖然手動部署麻煩點奠支，期間可以學(xué)習(xí)很多工作原理馋辈，也利于后期維護。

1. 安裝要求

部署Kubernetes集群服務(wù)器需要滿足以下幾個條件：

一臺或多臺機器倍谜，操作系統(tǒng) CentOS7.x-86_x64
硬件配置：2GB或更多RAM迈螟，2個CPU或更多CPU叉抡，硬盤30GB或更多
集群中所有機器之間網(wǎng)絡(luò)互通
可以訪問外網(wǎng)，需要拉取鏡像
禁止swap分區(qū)

軟件環(huán)境：

軟件	版本
操作系統(tǒng)	CentOS7.6.1810
Docker	docker-ce 19.03.11
Kubernetes	1.18

服務(wù)器整體規(guī)劃：

角色	IP	組件
k8s-master1	192.168.0.10	kube-apiserver答毫，kube-controller-manager褥民，kube-scheduler，etcd
k8s-master2	192.168.0.11	kube-apiserver烙常，kube-controller-manager轴捎，kube-scheduler，etcd
k8s-node1	192.168.0.20	kubelet蚕脏，kube-proxy侦副，docker，etcd
k8s-node2	192.168.0.30	kubelet驼鞭，kube-proxy秦驯，docker，etcd
Load Balancer (master)	192.168.0.40	nginx L4 挣棕，master節(jié)點的高可用 192.168.0.41(VIP)
Load Balancer (Backup)	192.168.0.41	nginx L4

須知：考慮電腦配置環(huán)境較低译隘，這么多虛擬機跑不動，所以這一套高可用集群分兩部分實施洛心，先部署一套單Master架構(gòu)（192.168.0.10/20/30）固耘，再擴容為多Master架構(gòu)（上述規(guī)劃）。

單Master節(jié)點服務(wù)器規(guī)劃：

角色	IP	組件
k8s-master	192.168.0.10	kube-apiserver词身，kube-controller-manager厅目，kube-scheduler，etcd
k8s-node1	192.168.0.20	kubelet法严，kube-proxy损敷，docker etcd
k8s-node2	192.168.0.30	kubelet，kube-proxy深啤，docker拗馒，etcd

kubernetes架構(gòu)圖

2. 系統(tǒng)初始化配置

# 關(guān)閉防火墻
systemctl stop firewalld
systemctl disable firewalld

# 關(guān)閉selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

# 關(guān)閉swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 根據(jù)規(guī)劃設(shè)置主機名
hostnamectl set-hostname < name >

# 在master添加hosts
cat >> /etc/hosts << EOF
192.168.0.10 k8s-master
192.168.0.20 k8s-node1
192.168.0.30 k8s-node2
EOF

# 將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效
sysctl -p /etc/sysctl.d/k8s.conf

# 時間同步
yum install ntpdate -y
ntpdate time.windows.com

組件	使用的證書
etcd	ca.pem，server.pem溯街，server-key.pem
flannel	ca.pem诱桂，server.pem，server-key.pem
kube-apiserver	ca.pem苫幢，server.pem访诱，server-key.pem
kubelet(自動頒發(fā))	ca.pem，ca-key.pem
kube-proxy	ca.pem韩肝，kube-proxy.pem，kube-proxy-key.pem
kubectl	ca.pem九榔，admin.pem哀峻，admin-key.pem

二涡相、部署Etcd集群

Etcd 是一個分布式鍵值存儲系統(tǒng)，Kubernetes使用Etcd進行數(shù)據(jù)存儲剩蟀，所以先準(zhǔn)備一個Etcd數(shù)據(jù)庫催蝗，為解決Etcd單點故障，應(yīng)采用集群方式部署育特，這里使用3臺組建集群丙号，可容忍1臺機器故障，當(dāng)然缰冤，你也可以使用5臺組建集群犬缨，可容忍2臺機器故障。

節(jié)點名稱	IP
etcd-1 (k8s-master)	192.168.0.10
etcd-2 (k8s-node1)	192.168.0.20
etcd-3 (k8s-node2)	192.168.0.30

注：為了節(jié)省機器棉浸，這里與K8s節(jié)點機器復(fù)用怀薛。也可以獨立于k8s集群之外部署，只要api-server能連接到就行迷郑。

2.1 準(zhǔn)備cfssl證書生成工具

cfssl是一個開源的證書管理工具枝恋，使用json文件生成證書，相比openssl更方便使用嗡害。這里用Master節(jié)點焚碌。

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo

2.2 生成Etcd證書

2.2.1 自簽證書頒發(fā)機構(gòu)（CA）

# 創(chuàng)建工作目錄
mkdir -p ~/TLS/{etcd,k8s}
cd TLS/etcd

# 自簽CA
cat > ca-config.json << EOF
{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "kubernetes": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

# 生成證書
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

[root@k8s-master etcd]# ll *pem
-rw-------. 1 root root 1675 Jul 10 15:32 ca-key.pem
-rw-r--r--. 1 root root 1265 Jul 10 15:32 ca.pem

2.2.2 使用自簽CA簽發(fā)Etcd HTTPS證書

# 創(chuàng)建證書申請文件
cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.0.10",
    "192.168.0.20",
    "192.168.0.30"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

注：文件hosts字段中IP為所有etcd節(jié)點的集群內(nèi)部通信IP，一個都不能少霸妹！為了方便后期擴容也可以多寫幾個預(yù)留的IP十电。

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

[root@k8s-master etcd]# ll server*pem
-rw-------. 1 root root 1679 Jul 10 15:38 server-key.pem
-rw-r--r--. 1 root root 1338 Jul 10 15:38 server.pem

2.3 從Github下載Etcd二進制文件

# 下載地址
#官網(wǎng)寫了，因為新版3.4以上版本不支持舊版API抑堡，建議換成3.3的etcd
wget https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

2.4 部署Etcd集群

在master節(jié)點上操作摆出，為簡化操作，可以將master節(jié)點生成的所有文件拷貝到倆臺node節(jié)點

2.4.1 創(chuàng)建目錄并解壓二進制包

mkdir /opt/etcd/{bin,cfg,ssl} -p
tar zxvf etcd-v3.3.22-linux-amd64.tar.gz
chown -R root:root etcd-v3.3.22-linux-amd64
mv etcd-v3.3.22-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

2.4.2 創(chuàng)建etcd配置文件

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.0.10:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.10:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.10:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.10:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.10:2380,etcd-2=https://192.168.0.20:2380,etcd-3=https://192.168.0.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

ETCD_NAME：節(jié)點名稱首妖，集群中唯一
ETCD_DATA_DIR：數(shù)據(jù)目錄
ETCD_LISTEN_PEER_URLS：集群通信監(jiān)聽地址
ETCD_LISTEN_CLIENT_URLS：客戶端訪問監(jiān)聽地址
ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
ETCD_ADVERTISE_CLIENT_URLS：客戶端通告地址
ETCD_INITIAL_CLUSTER：集群節(jié)點地址
ETCD_INITIAL_CLUSTER_TOKEN：集群Token
ETCD_INITIAL_CLUSTER_STATE：加入集群的當(dāng)前狀態(tài)偎漫，new是新集群，existing表示加入已有集群

2.4.3 配置systemd管理etcd

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \\
--cert-file=/opt/etcd/ssl/server.pem \\
--key-file=/opt/etcd/ssl/server-key.pem \\
--peer-cert-file=/opt/etcd/ssl/server.pem \\
--peer-key-file=/opt/etcd/ssl/server-key.pem \\
--trusted-ca-file=/opt/etcd/ssl/ca.pem \\
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \\
--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

2.4.3 拷貝生成的證書

把剛才生成的證書拷貝到配置文件中的路徑

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

2.4.5 啟動并設(shè)置自啟動

systemctl daemon-reload
systemctl restart etcd
systemctl enable etcd

# 如果報錯無法啟動有缆，則需要將其他etcd節(jié)點設(shè)置完成后才可以啟動

2.4.6 將master節(jié)點生成所有的文件拷貝到兩臺node節(jié)點

scp -rp /opt/etcd/ k8s-node1:/opt/
scp -rp /opt/etcd/ k8s-node2:/opt/

scp -rp /usr/lib/systemd/system/etcd.service k8s-node1:/usr/lib/systemd/system/
scp -rp /usr/lib/systemd/system/etcd.service k8s-node2:/usr/lib/systemd/system/

2.4.7 在node節(jié)點分別修改etcd.conf配置文件中的節(jié)點名稱和當(dāng)前服務(wù)器IP

#node1和node2節(jié)點都進行修改
vim /opt/etcd/cfg/etcd.conf
#[Member]
ETCD_NAME="etcd-2"  # 修改此處象踊，節(jié)點2改為etcd-2，節(jié)點3改為etcd-3
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"  # 修改此處為當(dāng)前服務(wù)器IP
ETCD_LISTEN_PEER_URLS="https://192.168.0.20:2380"   # 修改此處為當(dāng)前服務(wù)器IP
ETCD_LISTEN_CLIENT_URLS="https://192.168.0.20:2379" # 修改此處為當(dāng)前服務(wù)器IP

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.0.20:2380"    # 修改此處為當(dāng)前服務(wù)器IP
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.0.20:2379"  # 修改此處為當(dāng)前服務(wù)器IP
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.0.10:2380,etcd-2=https://192.168.0.20:2380,etcd-3=https://192.168.0.30:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"


# 最后啟動etcd并設(shè)置開機啟動
systemctl daemon-reload
systemctl restart etcd
systemctl enable etcd

[root@k8s-master etcd]# netstat -lntup|grep etcd
tcp        0      0 192.168.0.10:2379       0.0.0.0:*               LISTEN      10529/etcd          
tcp        0      0 192.168.0.10:2380       0.0.0.0:*               LISTEN      10529/etcd 

#為三臺節(jié)點都創(chuàng)建系統(tǒng)執(zhí)行指令命令
cp /opt/etcd/bin/etcdctl /usr/bin/

2.4.8 查看etcd集群狀態(tài)

[root@k8s-master etcd]# etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.0.10:2379,https://192.168.0.20:2379,https://192.168.0.30:2379" endpoint health
https://192.168.0.30:2379 is healthy: successfully committed proposal: took = 18.649662ms
https://192.168.0.20:2379 is healthy: successfully committed proposal: took = 20.469511ms
https://192.168.0.10:2379 is healthy: successfully committed proposal: took = 22.428573ms

如果輸出上面信息棚壁，就說明Etcd集群部署成功杯矩。如果有問題先看日志：/var/log/message或 journalctl -u etcd

三、所有節(jié)點部署Docker

image

我這里采用yum安裝袖外，用二進制安裝也一樣

二進制包下載鏈接

# 1. 卸載舊版本
yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
                  
# 2. 使用存儲庫安裝
yum install -y yum-utils

# 3. 設(shè)置鏡像倉庫(修改為國內(nèi)源地址)
yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 5. 更新索引
yum makecache fast

# 4. 安裝docker相關(guān)的依賴 默認(rèn)最新版(docker-ce:社區(qū)版 ee:企業(yè)版)
yum install docker-ce docker-ce-cli containerd.io -y

#5. 安裝特定docker版本(先列出列出可用版本)
yum list docker-ce --showduplicates | sort -r
yum install docker-ce-19.03.9 docker-ce-cli-19.03.9 containerd.io

# 所有節(jié)點設(shè)置防火墻規(guī)則史隆，并讓生效
vim /lib/systemd/system/docker.service
[Service]
ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT

# 7. 啟動docker
systemctl enable docker
systemctl restart docker

# 8. 查看版本
[root@k8s-master ~]# docker --version
Docker version 19.03.11, build 42e35e61f3

# 9. 配置docker鏡像加速器
## 鏡像加速器：阿里云加速器，daocloud加速器曼验，中科大加速器
## Docker 中國官方鏡像加速：https://registry.docker-cn.com
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker

四泌射、部署Master節(jié)點

kube-apiserver粘姜，
kube-controller-manager，
kube-scheduler

4.1 生成kube-apiserver證書

4.1.1 自簽CA證書頒發(fā)機構(gòu)

cd /root/TLS/k8s

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

# 生成證書
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

[root@k8s-master k8s]# ll *pem
-rw-------. 1 root root 1675 Jul 13 14:49 ca-key.pem
-rw-r--r--. 1 root root 1359 Jul 13 14:49 ca.pem

4.1.2 使用自簽CA簽發(fā)kube-apiserver HTTPS證書

# 創(chuàng)建證書申請文件:
cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "10.240.0.1",
      "172.16.0.1",
      "127.0.0.1",
      "192.168.0.10",
      "192.168.0.11",
      "192.168.0.12",
      "192.168.0.20",
      "192.168.0.21",
      "192.168.0.22",
      "192.168.0.30",
      "192.168.0.31",
      "192.168.0.32",
      "192.168.0.40",
      "192.168.0.41",
      "192.168.0.42",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

#上述文件hosts字段中IP為所有Master/LB/VIP IP熔酷，一個都不能少孤紧！為了方便后期擴容可以多寫幾個預(yù)留的IP

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

[root@k8s-master k8s]# ll server*pem
-rw-------. 1 root root 1679 Jul 13 14:55 server-key.pem
-rw-r--r--. 1 root root 1700 Jul 13 14:55 server.pem

4.2下載二進制文件包并解壓

下載地址： https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#v1183

打開鏈接會發(fā)現(xiàn)里面有很多包，下載一個最新版server包就夠了拒秘，包含了Master和Node二進制文件号显。

# 解壓二進制包
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd ./kubernetes/server/bin/
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

4.3 部署kube-apiserver

4.3.1. 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--etcd-servers=https://192.168.0.10:2379,https://192.168.0.20:2379,https://192.168.0.30:2379 \\
--bind-address=192.168.0.10 \\
--secure-port=6443 \\
--advertise-address=192.168.0.10 \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--enable-bootstrap-token-auth=true \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-32767 \\
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \\
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF

注：上面兩個\\ 第一個是轉(zhuǎn)義符，第二個是換行符躺酒，使用轉(zhuǎn)義符是為了使用EOF保留換行符押蚤。

--logtostderr：啟用日志
--log-dir:日志目錄
--v：日志等級，越小越多
--etcd-servers: etcd集群地址
--bind-address :監(jiān)聽地址
--secure-port：https安全端口
--advertise-address：集群通告地址
--allow-privileged：啟用授權(quán)
--service-cluster-ip-range：Service虛擬IP地址段
--enable-admission-plugins：準(zhǔn)入控制模塊阴颖，決定是否啟用k8s高級功能
--authorization-mode：認(rèn)證授權(quán)活喊，啟用RBAC授權(quán)和節(jié)點自管理
--enable-bootstrap-token-auth：啟用TLS bootstrap機制
--token-auth-file：bootstrap token文件
--service-node-port-range：Service nodeport類型默認(rèn)分配端口范圍
--kubelet-https：apiserver主動訪問kubectl時默認(rèn)使用https
--kubelet-client-xxx：apiserver訪問kubelet客戶端證書
--tls-xxx-file：apiserver https證書
--etcd-xxxfile：連接Etcd集群證書
--audit-log-xxx：審計日志

啟用 TLS Bootstrapping 機制

TLS Bootstraping：Master apiserver啟用TLS認(rèn)證后，Node節(jié)點kubelet和kube-proxy要與kube-apiserver進行通信量愧，必須使用CA簽發(fā)的有效證書才可以钾菊，當(dāng)Node節(jié)點很多時，這種客戶端證書頒發(fā)需要大量工作偎肃，同樣也會增加集群擴展復(fù)雜度煞烫。為了簡化流程，Kubernetes引入了TLS bootstraping機制來自動頒發(fā)客戶端證書累颂，kubelet會以一個低權(quán)限用戶自動向apiserver申請證書滞详，kubelet的證書由apiserver動態(tài)簽署。所以強烈建議在Node上使用這種方式紊馏，目前主要用于kubelet料饥，kube-proxy還是由我們統(tǒng)一頒發(fā)一個證書。

此圖僅用來學(xué)習(xí)朱监，不為本人原創(chuàng)

image

4.3.2 拷貝剛才生成的證書

cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

4.3.3 創(chuàng)建配置文件中的token文件

# 獲取16位token隨機值的命令
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
863b2ebebecffbb3a6493ff15dfc57c6

# 添加token文件（格式：token,用戶名,UID,用戶組）
BOOTSTRAP_TOKEN=863b2ebebecffbb3a6493ff15dfc57c6
cat > /opt/kubernetes/cfg/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

4.3.4 配置systemd啟動apiserver

cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.3.5 啟動并設(shè)置開機啟動

systemctl daemon-reload
systemctl restart kube-apiserver
systemctl enable kube-apiserver

4.3.6 授權(quán)kubelet-bootstrapper用戶允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

4.4 部署controller-manager

5.4.1 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF

–master：通過本地非安全本地端口8080連接apiserver
–leader-elect：當(dāng)該組件啟動多個時岸啡，自動選舉（HA）
–cluster-signing-cert-file / –cluster-signing-key-file：自動為kubelet頒發(fā)證書的CA，與apiserver保持一致

4.4.2 配置systemd啟動controller-manager

cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.4.3 啟動并設(shè)置開機啟動

systemctl daemon-reload
systemctl restart kube-controller-manager
systemctl enable kube-controller-manager

4.5 部署kube-scheduler

4.5.1 創(chuàng)建配置文件

cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1"
EOF

–master：通過本地非安全本地端口8080連接apiserver赫编。
–leader-elect：當(dāng)該組件啟動多個時巡蘸，自動選舉（HA）

4.5.2 配置systemd管理scheduler

cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4.5.3 啟動并設(shè)置開機啟動

systemctl daemon-reload
systemctl restart kube-scheduler
systemctl enable kube-scheduler

4.6 查看集群狀態(tài)

所有組件都已經(jīng)啟動成功，通過kubectl工具查看當(dāng)前集群組件狀態(tài)

[root@k8s-master TLS]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
etcd-1               Healthy   {"health":"true"}   
etcd-2               Healthy   {"health":"true"}

輸出如上內(nèi)容說明Master節(jié)點組件運行正常

五擂送、部署Node節(jié)點

5.1 創(chuàng)建工作目錄并拷貝二進制文件

如果想把Master也當(dāng)做Node節(jié)點的話悦荒，也可以在Master節(jié)點上安裝kubelet和kube-proxy

# 1.在所有node節(jié)點創(chuàng)建工作目錄
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs} 

# 2. 從master節(jié)點上解壓的kubernetes壓縮包中拷貝文件到所有node節(jié)點
for ip in 20 30 ;do scp -rp ./kubernetes/server/bin/{kubelet,kube-proxy} 192.168.0.$ip:/opt/kubernetes/bin/ ;done

5.2 部署kubelet

5.2.1 創(chuàng)建配置文件

pod的基礎(chǔ)容器鏡像改為國內(nèi)的下載的鏡像地址或自己的Docker Hub

registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0

245684979/pause-amd64:3.0

# node1節(jié)點
cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-node1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=245684979/pause-amd64:3.0"
EOF

# node2節(jié)點
cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=k8s-node2 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=245684979/pause-amd64:3.0"
EOF

–hostname-override：顯示主機名稱，集群中唯一
–network-plugin：啟用CNI
–kubeconfig：空路徑嘹吨，會自動生成搬味，后面用于連接apiserver
–bootstrap-kubeconfig：首次啟動向apiserver申請證書
–config：配置參數(shù)文件
–cert-dir：kubelet證書生成目錄
–pod-infra-container-image：管理Pod網(wǎng)絡(luò)容器的鏡像，用于實現(xiàn)Kubernetes集群里pod之間的網(wǎng)絡(luò)通訊

5.2.2 配置參數(shù)文件

# node1節(jié)點和node2節(jié)點配置相同
cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509: 
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

5.2.3 生成bootstrap.kubeconfig文件

在master節(jié)點將node節(jié)點需要的CA證書文件拷貝過去

[root@k8s-master ~]# scp /opt/kubernetes/ssl/ca.pem k8s-node1:/opt/kubernetes/ssl
[root@k8s-master ~]# scp /opt/kubernetes/ssl/ca.pem k8s-node2:/opt/kubernetes/ssl

在master上查看Token文件的隨機值

[root@k8s-master ~]# cat /opt/kubernetes/cfg/token.csv 
863b2ebebecffbb3a6493ff15dfc57c6,kubelet-bootstrap,10001,"system:kubelet-bootstrapper"

在master上生成bootstrap.kubeconfig文件

KUBE_APISERVER="https://192.168.0.10:6443" # apiserverIP:PORT
TOKEN="863b2ebebecffbb3a6493ff15dfc57c6" # 與token.csv里保持一致

# 設(shè)置集群參數(shù)
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
  
# 設(shè)置客戶端認(rèn)證參數(shù)
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
  
# 設(shè)置上下文參數(shù)
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=bootstrap.kubeconfig
  
# 設(shè)置默認(rèn)上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

# 保存到配置文件路徑下
cp bootstrap.kubeconfig /opt/kubernetes/cfg/

# 拷貝到node節(jié)點的/opt/kubernetes/cfg/下
scp -rp /opt/kubernetes/cfg/bootstrap.kubeconfig k8s-node1:/opt/kubernetes/cfg
scp -rp /opt/kubernetes/cfg/bootstrap.kubeconfig k8s-node2:/opt/kubernetes/cfg

5.2.4 配置systemd管理kubelet

# node1節(jié)點和node2節(jié)點配置相同
cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5.2.5 啟動并設(shè)置開機啟動

systemctl daemon-reload
systemctl restart kubelet
systemctl enable kubelet

5.2.6 批準(zhǔn)kubelet證書申請并加入集群

# 查看kubelet證書請求
[root@k8s-master ~]# kubectl get csr
NAME                                                   AGE   SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-1-0ue-UfiHoWna5v68PDMgrxk1cPPNFLG3EtoUUCdwk   85s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
node-csr-zjBOatKIi69UhbL7ypngHFw5C7xfjCOZnFyTG4Ux1H0   76s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending

# 批準(zhǔn)請求
kubectl certificate approve node-csr-1-0ue-UfiHoWna5v68PDMgrxk1cPPNFLG3EtoUUCdwk
kubectl certificate approve node-csr-zjBOatKIi69UhbL7ypngHFw5C7xfjCOZnFyTG4Ux1H0

# 查看node節(jié)點狀態(tài)
[root@k8s-master ~]# kubectl get nodes
NAME           STATUS     ROLES    AGE   VERSION
k8s-node1   NotReady   <none>   1s    v1.18.5
k8s-node2   NotReady   <none>   1s    v1.18.5
#@注：由于網(wǎng)絡(luò)插件還沒有部署，節(jié)點會沒有準(zhǔn)備就緒 NotReady

5.4 部署kube-proxy

5.4.1 創(chuàng)建配置文件

# node1節(jié)點和node2節(jié)點配置相同
cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

5.4.2 配置參數(shù)文件

# node1
cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-node1
clusterCIDR: 10.0.0.0/24
EOF

# node2
cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-node2
clusterCIDR: 10.0.0.0/24
EOF

5.4.3 生成kube-proxy.kubeconfig文件

在master節(jié)點生成kube-proxy證書

# 切換到存放證書目錄
cd ~/TLS/k8s/

# 創(chuàng)建證書請求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

[root@k8s-master k8s]# ll kube-proxy*pem
-rw-------. 1 root root 1679 Jul 14 15:41 kube-proxy-key.pem
-rw-r--r--. 1 root root 1403 Jul 14 15:41 kube-proxy.pem

5.4.3 生成kube-proxy.kubeconfig文件

在master節(jié)點生成kube-proxy.kubeconfig文件

KUBE_APISERVER="https://192.168.0.10:6443"

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=./kube-proxy.pem \
  --client-key=./kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

# 保存到配置文件路徑下
cp kube-proxy.kubeconfig /opt/kubernetes/cfg/

# 拷貝到node節(jié)點的/opt/kubernetes/cfg/下
scp -rp /opt/kubernetes/cfg/kube-proxy.kubeconfig k8s-node1:/opt/kubernetes/cfg
scp -rp /opt/kubernetes/cfg/kube-proxy.kubeconfig k8s-node2:/opt/kubernetes/cfg

5.4.4 配置systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

5.4.5 啟動并設(shè)置開機啟動

systemctl daemon-reload
systemctl restart kube-proxy
systemctl enable kube-proxy

六身腻、部署CNI網(wǎng)絡(luò)

容器網(wǎng)絡(luò)接口

kubernetes網(wǎng)絡(luò)模型設(shè)計的基本要求：

一個pod一個ip
每個pod獨立的ip产还，pod內(nèi)所有容器共享網(wǎng)絡(luò)(同一個ip)
所有容器都可以與所有其他容器通信
所有節(jié)點都可以與所有容器通信

目前支持的技術(shù)

.

image

最常用的是flannel和calic

Flannel：適合百臺以下服務(wù)器匹厘，小規(guī)模集群嘀趟，使用操作簡單
calico：適合數(shù)百臺以上，大規(guī)模集群

6.2 下載安裝包

wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz

# 解壓二進制包并移動到默認(rèn)工作目錄
mkdir -p /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

# 在node節(jié)點創(chuàng)建cni目錄
mkdir -p /opt/cni/bin

# 在master節(jié)點上拷貝到node節(jié)點的cni目錄
scp -rp /opt/cni/bin/* k8s-node1:/opt/cni/bin/
scp -rp /opt/cni/bin/* k8s-node2:/opt/cni/bin/

6.3 部署CNI flannel 網(wǎng)絡(luò)

所有的節(jié)點都需要安裝flannel

# 部署CNI網(wǎng)絡(luò)(網(wǎng)絡(luò)問題可以多嘗試幾次)
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 默認(rèn)鏡像地址無法訪問外網(wǎng)愈诚，可以修改為docker hub鏡像倉庫
# 245684979/flannel:v0.12.0-amd64
sed -ri "s#quay.io/coreos/flannel:.*-amd64#245684979/flannel:v0.11.0-amd64#g" kube-flannel.yml

#添加"--iface=eth0"一句指定網(wǎng)卡
...
containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.12.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=eth0

[root@k8s-master ~]# kubectl apply -f kube-flannel.yml

#查看kube-system下的pod
[root@k8s-master cni]# kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
kube-flannel-ds-amd64-lklmb   1/1     Running   0          74s
kube-flannel-ds-amd64-t5tcc   1/1     Running   0          74s

#查看node狀態(tài)
[root@k8s-master ~]# kubectl get nodes
NAME        STATUS   ROLES    AGE    VERSION
k8s-node1   Ready    <none>   2m3s   v1.18.5
k8s-node2   Ready    <none>   104s   v1.18.5

6.4 授權(quán)apiserver訪問kubelet

cat > apiserver-to-kubelet-rbac.yaml << EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
      - pods/log
    verbs:
      - "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: kubernetes
EOF


kubectl apply -f apiserver-to-kubelet-rbac.yaml

八她按、部署Dashboard和CoreDNS

8.1 部署Dashboard

https://github.com/kubernetes/dashboard

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

默認(rèn)Dashboard只能集群內(nèi)部訪問，修改Service為NodePort類型炕柔，暴露到外部

# 修改yaml文件
[root@k8s-master yaml]# vim recommended.yaml    (32gg)
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001       #添加類型
  type: NodePort
  selector:
    k8s-app: kubernetes-dashboard


# 生成dashboard
kubectl apply -f recommended.yaml

# 查看dashboard狀態(tài)
[root@k8s-master yaml]# kubectl get pods,svc -n kubernetes-dashboard
NAME                                             READY   STATUS              RESTARTS   AGE
pod/dashboard-metrics-scraper-6b4884c9d5-gqs7b   0/1     ContainerCreating   0          34s
pod/kubernetes-dashboard-7f99b75bf4-mgg46        0/1     ContainerCreating   0          35s

NAME                                TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
service/dashboard-metrics-scraper   ClusterIP   10.0.0.105   <none>        8000/TCP        35s
service/kubernetes-dashboard        NodePort    10.0.0.80    <none>        443:30001/TCP   35s

查看pod日志

 kubectl -n kube-system  logs -f  kube-flannel-ds-amd64-24jxf

部署Kubernetes集群（二進制 v1.18.5版）

一躲庄、Kubernetes的基本知識

1. 安裝要求

2. 系統(tǒng)初始化配置

二涡相、部署Etcd集群

2.1 準(zhǔn)備cfssl證書生成工具

2.2 生成Etcd證書

2.2.1 自簽證書頒發(fā)機構(gòu)（CA）

2.2.2 使用自簽CA簽發(fā)Etcd HTTPS證書

2.3 從Github下載Etcd二進制文件

2.4 部署Etcd集群

2.4.1 創(chuàng)建目錄并解壓二進制包

2.4.2 創(chuàng)建etcd配置文件

2.4.3 配置systemd管理etcd

2.4.3 拷貝生成的證書

2.4.5 啟動并設(shè)置自啟動

2.4.6 將master節(jié)點生成所有的文件拷貝到兩臺node節(jié)點

2.4.7 在node節(jié)點分別修改etcd.conf配置文件中的節(jié)點名稱和當(dāng)前服務(wù)器IP

2.4.8 查看etcd集群狀態(tài)

三、所有節(jié)點部署Docker

四泌射、部署Master節(jié)點

4.1 生成kube-apiserver證書

4.1.1 自簽CA證書頒發(fā)機構(gòu)

4.1.2 使用自簽CA簽發(fā)kube-apiserver HTTPS證書

4.2下載二進制文件包并解壓

4.3 部署kube-apiserver

4.3.1. 創(chuàng)建配置文件

4.3.2 拷貝剛才生成的證書

4.3.3 創(chuàng)建配置文件中的token文件

4.3.4 配置systemd啟動apiserver

4.3.5 啟動并設(shè)置開機啟動

4.3.6 授權(quán)kubelet-bootstrapper用戶允許請求證書

4.4 部署controller-manager

5.4.1 創(chuàng)建配置文件

4.4.2 配置systemd啟動controller-manager

4.4.3 啟動并設(shè)置開機啟動

4.5 部署kube-scheduler

4.5.1 創(chuàng)建配置文件

4.5.2 配置systemd管理scheduler

4.5.3 啟動并設(shè)置開機啟動

4.6 查看集群狀態(tài)

五擂送、部署Node節(jié)點

5.1 創(chuàng)建工作目錄并拷貝二進制文件

5.2 部署kubelet

5.2.1 創(chuàng)建配置文件

5.2.2 配置參數(shù)文件

5.2.3 生成bootstrap.kubeconfig文件

5.2.4 配置systemd管理kubelet

5.2.5 啟動并設(shè)置開機啟動

5.2.6 批準(zhǔn)kubelet證書申請并加入集群

5.4 部署kube-proxy

5.4.1 創(chuàng)建配置文件

5.4.2 配置參數(shù)文件

5.4.3 生成kube-proxy.kubeconfig文件

5.4.3 生成kube-proxy.kubeconfig文件

5.4.4 配置systemd管理kube-proxy

5.4.5 啟動并設(shè)置開機啟動

六身腻、部署CNI網(wǎng)絡(luò)

6.1 Kubernetes網(wǎng)絡(luò)模型 (CNI)介紹

6.2 下載安裝包

6.3 部署CNI flannel 網(wǎng)絡(luò)

6.4 授權(quán)apiserver訪問kubelet

八她按、部署Dashboard和CoreDNS

8.1 部署Dashboard