[容器化技術(shù)之十五] K8S集群架構(gòu)搭建之二 —— etcd 集群搭建和 flannel 網(wǎng)絡(luò)部署

二您觉、集群環(huán)境搭建

2.5?部署 etcd 集群

??etcd 是基于 Raft 的分布式 key-value 存儲(chǔ)系統(tǒng)灯萍，由 CoreOS 開(kāi)發(fā)棵磷，常用于服務(wù)發(fā)現(xiàn)，共享配置以及并發(fā)控制（如 leader 選舉位隶、分布式鎖等）。kubernetes 使用 etcd 存儲(chǔ)所有運(yùn)行數(shù)據(jù)蓄髓。

??下面介紹部署一個(gè)三節(jié)點(diǎn)高可用 etcd 集群的步驟：

  • 下載和分發(fā) etcd 二進(jìn)制文件串远；
  • 創(chuàng)建 etcd 集群各節(jié)點(diǎn)的 x509 證書(shū)，用于加密客戶(hù)端（如 etcdctl）與 etcd 集群疯攒、etcd 集群之間的數(shù)據(jù)流嗦随；
  • 創(chuàng)建 etcd 的 systemd unit 文件，配置服務(wù)參數(shù)敬尺；
  • 檢查集群工作狀態(tài)枚尼；


    etcd 集群各節(jié)點(diǎn)的名稱(chēng)和 IP 如下：
  • master：192.168.27.135
  • node1：192.168.27.133
  • node2：192.168.27.134

注意：如果沒(méi)有特殊說(shuō)明，下面的操作默認(rèn)在 master 節(jié)點(diǎn)上執(zhí)行砂吞，然后遠(yuǎn)程分發(fā)文件和執(zhí)行命令署恍。

2.5.1?下載和分發(fā) etcd 二進(jìn)制文件

??到 https://github.com/coreos/etcd/releases 頁(yè)面下載最新版本的發(fā)布包：

cd /opt/k8s/work
wget https://github.com/coreos/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz
tar -xvf etcd-v3.3.10-linux-amd64.tar.gz

??如果下載過(guò)慢，直接從百度網(wǎng)盤(pán)下載對(duì)應(yīng)的壓縮包

鏈接：https://pan.baidu.com/s/1Zt9SGin72ahERM7ykJ8o7w
提取碼：27m2

??解壓后分發(fā)二進(jìn)制文件到集群所有節(jié)點(diǎn)：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp etcd-v3.3.10-linux-amd64/etcd* root@${node_ip}:/opt/k8s/bin
    ssh root@${node_ip} "chmod +x /opt/k8s/bin/*"
  done



2.5.2?創(chuàng)建 etcd 證書(shū)和私鑰

??創(chuàng)建證書(shū)簽名請(qǐng)求：

cd /opt/k8s/work/cert
cat > etcd-csr.json <<EOF
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.27.135",
    "192.168.27.133",
    "192.168.27.134"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "study163"
    }
  ]
}
EOF
  • hosts 字段指定授權(quán)使用該證書(shū)的 etcd 節(jié)點(diǎn) IP 或域名列表蜻直，這里將 etcd 集群的三個(gè)節(jié)點(diǎn) IP 都列在其中

??生成證書(shū)和私鑰：

cd /opt/k8s/work/cert
cfssl gencert -ca=/opt/k8s/work/cert/ca.pem \
    -ca-key=/opt/k8s/work/cert/ca-key.pem \
    -config=/opt/k8s/work/cert/ca-config.json \
    -profile=kubernetes etcd-csr.json | cfssljson -bare etcd
ls etcd*pem

??分發(fā)生成的證書(shū)和私鑰到各 etcd 節(jié)點(diǎn)：

cd /opt/k8s/work/cert
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p /etc/etcd/cert"
    scp etcd*.pem root@${node_ip}:/etc/etcd/cert/
  done



2.5.3?創(chuàng)建 etcd 的 systemd unit 模板文件

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > etcd.service.template <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=${ETCD_DATA_DIR}
ExecStart=/opt/k8s/bin/etcd \\
  --data-dir=${ETCD_DATA_DIR} \\
  --wal-dir=${ETCD_WAL_DIR} \\
  --name=##NODE_NAME## \\
  --cert-file=/etc/etcd/cert/etcd.pem \\
  --key-file=/etc/etcd/cert/etcd-key.pem \\
  --trusted-ca-file=/etc/kubernetes/cert/ca.pem \\
  --peer-cert-file=/etc/etcd/cert/etcd.pem \\
  --peer-key-file=/etc/etcd/cert/etcd-key.pem \\
  --peer-trusted-ca-file=/etc/kubernetes/cert/ca.pem \\
  --peer-client-cert-auth \\
  --client-cert-auth \\
  --listen-peer-urls=https://##NODE_IP##:2380 \\
  --initial-advertise-peer-urls=https://##NODE_IP##:2380 \\
  --listen-client-urls=https://##NODE_IP##:2379,http://127.0.0.1:2379 \\
  --advertise-client-urls=https://##NODE_IP##:2379 \\
  --initial-cluster-token=etcd-cluster-0 \\
  --initial-cluster=${ETCD_NODES} \\
  --initial-cluster-state=new \\
  --auto-compaction-mode=periodic \\
  --auto-compaction-retention=1 \\
  --max-request-bytes=33554432 \\
  --quota-backend-bytes=6442450944 \\
  --heartbeat-interval=250 \\
  --election-timeout=2000
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

??其中 ${} 的是環(huán)境變量盯质，生成模板文件的時(shí)候變量占位會(huì)被替換為環(huán)境變量值，##變量##是等下循環(huán)批量文本替換時(shí)會(huì)被替換的變量概而，生成模板文件后打開(kāi)呼巷，檢查環(huán)境變量是否有被正常替換。

  • WorkingDirectory赎瑰、--data-dir：指定工作目錄和數(shù)據(jù)目錄為 ${ETCD_DATA_DIR}王悍，需在啟動(dòng)服務(wù)前創(chuàng)建這個(gè)目錄；
  • --wal-dir：指定 wal 目錄乡范，為了提高性能配名，一般使用 SSD 或者和 --data-dir 不同的磁盤(pán)啤咽；
  • --name：指定節(jié)點(diǎn)名稱(chēng)，當(dāng) --initial-cluster-state 值為 new 時(shí)渠脉，--name 的參數(shù)值必須位于 --initial-cluster 列表中宇整；
  • --cert-file、--key-file：etcd server 與 client 通信時(shí)使用的證書(shū)和私鑰芋膘；
  • --trusted-ca-file：簽名 client 證書(shū)的 CA 證書(shū)鳞青，用于驗(yàn)證 client 證書(shū)；
  • --peer-cert-file为朋、--peer-key-file：etcd 與 peer 通信使用的證書(shū)和私鑰臂拓；
  • --peer-trusted-ca-file：簽名 peer 證書(shū)的 CA 證書(shū)，用于驗(yàn)證 peer 證書(shū)习寸；


    2.5.4?為各節(jié)點(diǎn)創(chuàng)建和分發(fā) etcd systemd unit 文件

??替換模板文件中的變量胶惰，為各節(jié)點(diǎn)創(chuàng)建 systemd unit 文件：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for (( i=0; i < 3; i++ ))
  do
    sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" etcd.service.template > etcd-${NODE_IPS[i]}.service 
  done
ls *.service
  • NODE_NAMES 和 NODE_IPS 為相同長(zhǎng)度的 bash 數(shù)組，分別為節(jié)點(diǎn)名稱(chēng)和對(duì)應(yīng)的 IP霞溪；

??打開(kāi)任意一個(gè)文件查看 ##變量## 是否已經(jīng)被替換

??分發(fā)生成的 systemd unit 文件孵滞，并將分發(fā)的文件重命名為 etcd.service

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp etcd-${node_ip}.service root@${node_ip}:/usr/lib/systemd/system/etcd.service
  done

??分發(fā)到 node1 和 node2 報(bào)錯(cuò)了，說(shuō)是找不到目錄 /usr/lib/systemd/system/鸯匹，排查結(jié)果是因?yàn)?ubuntu 的 systemd unit 文件放置的目錄跟 centos 不一樣坊饶，應(yīng)該放到 /lib/systemd/system/ 目錄中，重新單獨(dú)執(zhí)行分發(fā)的命令：




2.5.5?啟動(dòng) etcd 服務(wù)

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p ${ETCD_DATA_DIR} ${ETCD_WAL_DIR}"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd " &
  done
  • 必須創(chuàng)建 etcd 數(shù)據(jù)目錄和工作目錄;
  • etcd 進(jìn)程首次啟動(dòng)時(shí)會(huì)等待其它節(jié)點(diǎn)的 etcd 加入集群殴蓬，命令 systemctl start etcd 會(huì)卡住一段時(shí)間匿级，為正常現(xiàn)象染厅。


    2.5.6?檢查啟動(dòng)結(jié)果 
cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status etcd|grep Active"
  done

??確保狀態(tài)為 active (running)痘绎，否則查看日志，確認(rèn)原因：

journalctl -u etcd




2.5.7?驗(yàn)證服務(wù)狀態(tài)

??部署完 etcd 集群后糟秘，在任一 etcd 節(jié)點(diǎn)上執(zhí)行如下命令：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ETCDCTL_API=3 /opt/k8s/bin/etcdctl \
    --endpoints=https://${node_ip}:2379 \
    --cacert=/opt/k8s/work/cert/ca.pem \
    --cert=/etc/etcd/cert/etcd.pem \
    --key=/etc/etcd/cert/etcd-key.pem endpoint health
  done

??正常情況下輸出如下：

>>> 192.168.27.135
https://192.168.27.135:2379 is healthy: successfully committed proposal: took = 25.485544ms
>>> 192.168.27.133
https://192.168.27.133:2379 is healthy: successfully committed proposal: took = 27.127103ms
>>> 192.168.27.134
https://192.168.27.134:2379 is healthy: successfully committed proposal: took = 20.815013ms



2.5.8?查看當(dāng)前的 leader

source /opt/k8s/bin/environment.sh
ETCDCTL_API=3 /opt/k8s/bin/etcdctl \
  -w table --cacert=/opt/k8s/work/cert/ca.pem \
  --cert=/etc/etcd/cert/etcd.pem \
  --key=/etc/etcd/cert/etcd-key.pem \
  --endpoints=${ETCD_ENDPOINTS} endpoint status

??輸入如下简逮，可見(jiàn)當(dāng)前的 leader 為 192.168.27.135



2.6?部署 flannel 網(wǎng)絡(luò)

??kubernetes 要求集群內(nèi)各節(jié)點(diǎn)（包括 master 節(jié)點(diǎn)）能通過(guò) Pod 網(wǎng)段互聯(lián)互通。flannel 使用 vxlan 技術(shù)為各節(jié)點(diǎn)創(chuàng)建一個(gè)可以互通的 Pod 網(wǎng)絡(luò)尿赚，使用的端口為 UDP 8472散庶，需要開(kāi)放該端口（如公有云 AWS等）。

??flanneld 第一次啟動(dòng)時(shí)凌净，從 etcd 獲取配置的 Pod 網(wǎng)段信息悲龟，為本節(jié)點(diǎn)分配一個(gè)未使用的地址段，然后創(chuàng)建 flannedl.1 網(wǎng)絡(luò)接口（也可能是其他名稱(chēng)冰寻，如 flannel1 等）须教。

??flannel 將分配給自己的 Pod 網(wǎng)段信息寫(xiě)入 /run/flannel/docker 文件，docker 后續(xù)使用這個(gè)文件中的環(huán)境變量設(shè)置 docker0 網(wǎng)橋，從而從這個(gè)地址為本節(jié)點(diǎn)的所有 Pod 容器分配 IP轻腺。

??注意：如果沒(méi)有特殊指明乐疆，下面的所有操作均在 master 節(jié)點(diǎn)上執(zhí)行，然后遠(yuǎn)程分發(fā)文件和執(zhí)行命令贬养。

2.6.1?下載和分發(fā) flanneld 二進(jìn)制文件

??到 https://github.com/coreos/flannel/releases 頁(yè)面下載最新版本的發(fā)布包：

cd /opt/k8s/work
mkdir flannel
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz
tar -xzvf flannel-v0.10.0-linux-amd64.tar.gz -C flannel

??如果下載過(guò)慢挤土，直接從百度網(wǎng)盤(pán)下載對(duì)應(yīng)的壓縮包

鏈接：https://pan.baidu.com/s/1Zt9SGin72ahERM7ykJ8o7w
提取碼：27m2

??分發(fā) flanneld 二進(jìn)制文件到集群所有節(jié)點(diǎn)：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    scp flannel/{flanneld,mk-docker-opts.sh} root@${node_ip}:/opt/k8s/bin/
    ssh root@${node_ip} "chmod +x /opt/k8s/bin/*"
  done



2.6.2?創(chuàng)建 flannel 證書(shū)和私鑰

??flannel 從 etcd 集群存取網(wǎng)段分配信息，而 etcd 集群?jiǎn)⒂昧穗p向 x509 證書(shū)認(rèn)證误算，所以需要為 flanneld 生成證書(shū)和私鑰仰美。

??創(chuàng)建證書(shū)簽名請(qǐng)求：

cd /opt/k8s/work/cert
cat > flanneld-csr.json <<EOF
{
  "CN": "flanneld",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "study163"
    }
  ]
}
EOF
  • 該證書(shū)只會(huì)被 kubectl 當(dāng)做 client 證書(shū)使用，所以 hosts 字段為空儿礼；

??生成證書(shū)和私鑰：

cfssl gencert -ca=/opt/k8s/work/cert/ca.pem \
  -ca-key=/opt/k8s/work/cert/ca-key.pem \
  -config=/opt/k8s/work/cert/ca-config.json \
  -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld
ls flannel*pem

??將生成的證書(shū)和私鑰分發(fā)到所有節(jié)點(diǎn)（master 和 worker）：

cd /opt/k8s/work/cert
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "mkdir -p /etc/flanneld/cert"
    scp flanneld*.pem root@${node_ip}:/etc/flanneld/cert
  done



2.6.3?向 etcd 寫(xiě)入集群 Pod 網(wǎng)段信息

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
etcdctl \
  --endpoints=${ETCD_ENDPOINTS} \
  --ca-file=/opt/k8s/work/cert/ca.pem \
  --cert-file=/opt/k8s/work/cert/flanneld.pem \
  --key-file=/opt/k8s/work/cert/flanneld-key.pem \
  set ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'
  • flanneld 當(dāng)前版本 (v0.10.0) 不支持 etcd v3咖杂，故使用 etcd v2 API 寫(xiě)入配置 key 和網(wǎng)段數(shù)據(jù)；
  • 寫(xiě)入的 Pod 網(wǎng)段 ${CLUSTER_CIDR} 地址段如 /16 必須小于 SubnetLen蚊夫，必須與 kube-controller-manager 的 --cluster-cidr 參數(shù)值一致诉字；


    2.6.4?創(chuàng)建 flanneld 的 systemd unit 文件 
cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > flanneld.service << EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service

[Service]
Type=notify
ExecStart=/opt/k8s/bin/flanneld \\
  -etcd-cafile=/etc/kubernetes/cert/ca.pem \\
  -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\
  -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\
  -etcd-endpoints=${ETCD_ENDPOINTS} \\
  -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
  -iface=${IFACE} \\
  -ip-masq
ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=always
RestartSec=5
StartLimitInterval=0

[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
EOF
  • mk-docker-opts.sh 腳本將分配給 flanneld 的 Pod 子網(wǎng)網(wǎng)段信息寫(xiě)入 /run/flannel/docker 文件，后續(xù) docker 啟動(dòng)時(shí)使用這個(gè)文件中的環(huán)境變量配置 docker0 網(wǎng)橋知纷；
  • flanneld 使用系統(tǒng)缺省路由所在的接口與其它節(jié)點(diǎn)通信奏窑，對(duì)于有多個(gè)網(wǎng)絡(luò)接口（如內(nèi)網(wǎng)和公網(wǎng)）的節(jié)點(diǎn)，可以用 -iface 參數(shù)指定通信接口;
  • flanneld 運(yùn)行時(shí)需要 root 權(quán)限屈扎；
  • -ip-masq: flanneld 為訪(fǎng)問(wèn) Pod 網(wǎng)絡(luò)外的流量設(shè)置 SNAT 規(guī)則，同時(shí)將傳遞給 Docker 的變量 --ip-masq（/run/flannel/docker 文件中）設(shè)置為 false撩匕，這樣 Docker 將不再創(chuàng)建 SNAT 規(guī)則鹰晨； Docker 的 --ip-masq 為 true 時(shí)，創(chuàng)建的 SNAT 規(guī)則比較“暴力”：將所有本節(jié)點(diǎn) Pod 發(fā)起的止毕、訪(fǎng)問(wèn)非 docker0 接口的請(qǐng)求做 SNAT模蜡，這樣訪(fǎng)問(wèn)其他節(jié)點(diǎn) Pod 的請(qǐng)求來(lái)源 IP 會(huì)被設(shè)置為 flannel.1 接口的 IP，導(dǎo)致目的 Pod 看不到真實(shí)的來(lái)源 Pod IP扁凛。 flanneld 創(chuàng)建的 SNAT 規(guī)則比較溫和忍疾，只對(duì)訪(fǎng)問(wèn)非 Pod 網(wǎng)段的請(qǐng)求做 SNAT。


    2.6.5?分發(fā) flanneld systemd unit 文件到所有節(jié)點(diǎn) 
source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    # 如果分發(fā)的服務(wù)器是 ubuntu這里路徑改成 /lib/systemd/system/ 
    scp flanneld.service root@${node_ip}:/usr/lib/systemd/system/    
  done



2.6.6?啟動(dòng) flanneld 服務(wù)

source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld"
  done



2.6.7?檢查啟動(dòng)結(jié)果

source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status flanneld|grep Active"
  done

??確保狀態(tài)為 active (running)谨朝，否則查看日志卤妒，確認(rèn)原因：

journalctl -u flanneld



2.6.8?檢查分配給各 flanneld 的 Pod 網(wǎng)段信息
??查看集群 Pod 網(wǎng)段（/16）:

source /opt/k8s/bin/environment.sh
etcdctl \
  --endpoints=${ETCD_ENDPOINTS} \
  --ca-file=/etc/kubernetes/cert/ca.pem \
  --cert-file=/etc/flanneld/cert/flanneld.pem \
  --key-file=/etc/flanneld/cert/flanneld-key.pem \
  get ${FLANNEL_ETCD_PREFIX}/config

??輸出：

{"Network":"172.30.0.0/16", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}

??查看已分配的 Pod 子網(wǎng)段列表(/24):

source /opt/k8s/bin/environment.sh
etcdctl \
  --endpoints=${ETCD_ENDPOINTS} \
  --ca-file=/etc/kubernetes/cert/ca.pem \
  --cert-file=/etc/flanneld/cert/flanneld.pem \
  --key-file=/etc/flanneld/cert/flanneld-key.pem \
  ls ${FLANNEL_ETCD_PREFIX}/subnets

??輸出：



??查看某一 Pod 網(wǎng)段對(duì)應(yīng)的節(jié)點(diǎn) IP 和 flannel 接口地址:

source /opt/k8s/bin/environment.sh
etcdctl \
  --endpoints=${ETCD_ENDPOINTS} \
  --ca-file=/etc/kubernetes/cert/ca.pem \
  --cert-file=/etc/flanneld/cert/flanneld.pem \
  --key-file=/etc/flanneld/cert/flanneld-key.pem \
  get ${FLANNEL_ETCD_PREFIX}/subnets/172.30.40.0-21

??輸出：


  • 172.30.40.0/21 被分配給節(jié)點(diǎn) master（192.168.27.135）；
  • VtepMAC 為 master 節(jié)點(diǎn)的 flannel.1 網(wǎng)卡 MAC 地址字币；


    2.6.9?檢查節(jié)點(diǎn) flannel 網(wǎng)絡(luò)信息 
ip addr show
  • flannel.1 網(wǎng)卡的地址為分配的 Pod 子網(wǎng)段的第一個(gè) IP（.0）则披，且是 /32 的地址；
ip route show |grep flannel.1
  • 到其它節(jié)點(diǎn) Pod 網(wǎng)段請(qǐng)求都被轉(zhuǎn)發(fā)到 flannel.1 網(wǎng)卡洗出；
  • flanneld 根據(jù) etcd 中子網(wǎng)段的信息士复，如 ${FLANNEL_ETCD_PREFIX}/subnets/172.30.80.0-21 ，來(lái)決定進(jìn)請(qǐng)求發(fā)送給哪個(gè)節(jié)點(diǎn)的互聯(lián) IP翩活；


    2.6.10?驗(yàn)證各節(jié)點(diǎn)能通過(guò) Pod 網(wǎng)段互通

??在各節(jié)點(diǎn)上部署 flannel 后阱洪，檢查是否創(chuàng)建了 flannel 接口(名稱(chēng)可能為 flannel0便贵、flannel.0、flannel.1 等)：

source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh ${node_ip} "/usr/sbin/ip addr show flannel.1|grep -w inet"
  done

??輸出（由于133冗荸、134都是ubuntu承璃，可執(zhí)行目錄不一樣）：



??在各節(jié)點(diǎn)上 ping 所有 flannel 接口 IP，確保能通：

source /opt/k8s/bin/environment.sh
for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    # 這里 ping 的網(wǎng)段都是上面步驟中分配給每個(gè)節(jié)點(diǎn)的網(wǎng)段
    ssh ${node_ip} "ping -c 1 172.30.40.0"
    ssh ${node_ip} "ping -c 1 172.30.48.0"
    ssh ${node_ip} "ping -c 1 172.30.176.0"
  done
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末俏竞，一起剝皮案震驚了整個(gè)濱河市绸硕，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌魂毁，老刑警劉巖玻佩，帶你破解...
    沈念sama閱讀 219,188評(píng)論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異席楚，居然都是意外死亡咬崔，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評(píng)論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)烦秩，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)垮斯，“玉大人，你說(shuō)我怎么就攤上這事只祠《等洌” “怎么了？”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,562評(píng)論 0贊 356
  • 道士緝兇錄：失蹤的賣(mài)姜人
    文/不壞的土叔 我叫張陵抛寝，是天一觀的道長(zhǎng)熊杨。 經(jīng)常有香客問(wèn)我，道長(zhǎng)盗舰，這世上最難降的妖魔是什么晶府？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,893評(píng)論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮钻趋，結(jié)果婚禮上川陆，老公的妹妹穿的比我還像新娘。我一直安慰自己蛮位，他們只是感情好较沪，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評(píng)論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著失仁，像睡著了一般购对。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上陶因，一...
    開(kāi)封第一講書(shū)人閱讀 51,708評(píng)論 1贊 305
  • 城市分裂傳說(shuō)
    那天骡苞，我揣著相機(jī)與錄音，去河邊找鬼。 笑死解幽，一個(gè)胖子當(dāng)著我的面吹牛贴见，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播躲株，決...
    沈念sama閱讀 40,430評(píng)論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼片部，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了霜定？” 一聲冷哼從身側(cè)響起档悠，我...
    開(kāi)封第一講書(shū)人閱讀 39,342評(píng)論 0贊 276
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎望浩，沒(méi)想到半個(gè)月后辖所，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,801評(píng)論 1贊 317
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡磨德，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評(píng)論 3贊 337
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年缘回，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片典挑。...
    茶點(diǎn)故事閱讀 40,115評(píng)論 1贊 351
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡酥宴，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出您觉，到底是詐尸還是另有隱情拙寡，我是刑警寧澤，帶...
    沈念sama閱讀 35,804評(píng)論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布琳水，位于F島的核電站倒庵，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏炫刷。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評(píng)論 3贊 331
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一郁妈、第九天 我趴在偏房一處隱蔽的房頂上張望浑玛。 院中可真熱鬧，春花似錦噩咪、人聲如沸顾彰。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,008評(píng)論 0贊 22
  • 一樁弒父案胃碾，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)涨享。三九已至，卻和暖如春仆百，著一層夾襖步出監(jiān)牢的瞬間厕隧，已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,135評(píng)論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留吁讨，地道東北人髓迎。 一個(gè)月前我還...
    沈念sama閱讀 48,365評(píng)論 3贊 373
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長(zhǎng)得像建丧，于是被迫代替她去往敵國(guó)和親排龄。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評(píng)論 2贊 355

推薦閱讀更多精彩內(nèi)容