手動(dòng)搭建kubernetes集群（四）

開始改造我們之前搭建的基礎(chǔ)集群，加上安全機(jī)制焰宣。

準(zhǔn)備工作

1. 停止master節(jié)點(diǎn)的所有服務(wù)

查看已有的service

kubectl get services

刪除service（例如有一個(gè)叫xxx的service）

kubectl delete service xxx

查看已有的deployments

kubectl get deploy

刪除deployments

kubectl delete deploy xxx

停止master的服務(wù)

service kube-calico stop
service kube-scheduler stop
service kube-controller-manager stop
service kube-apiserver stop
service etcd stop && rm -fr /var/lib/etcd/*

2. 停止worker節(jié)點(diǎn)的所有服務(wù)

service kubelet stop 
rm -fr /var/lib/kubelet/*
service kube-proxy stop 
rm -fr /var/lib/kube-proxy/*
service kube-calico stop

3. 安裝需要的工具

在所有節(jié)點(diǎn)上安裝cfssl:

CFSSL是CloudFlare開源的一款PKI/TLS工具盈罐。 CFSSL 包含一個(gè)命令行工具和一個(gè)用于簽名，驗(yàn)證并且捆綁TLS證書的 HTTP API 服務(wù)钓葫。用Go寫的湾揽。具體相關(guān)信息自行g(shù)oogle库物。
下載

wget -q --show-progress --https-only --timestamping \
  https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 \
  https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64

修改權(quán)限

chmod +x cfssl_linux-amd64 cfssljson_linux-amd64

放到可執(zhí)行目錄

mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson

在worker節(jié)點(diǎn)上安裝conntrack

apt install conntrack

4.在master上生成根證書

mkdir -p /etc/kubernetes/ca
cd /etc/kubernetes/ca

編輯ca-config.json文件戚揭，內(nèi)容如下：

{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "87600h"
      }
    }
  }
}

編輯ca-csr.json文件民晒，內(nèi)容如下：

{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

執(zhí)行生成證書的命令：

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

OK锄禽。

master節(jié)點(diǎn)設(shè)置

1. etcd設(shè)置

設(shè)置etcd的證書：

mkdir -p /etc/kubernetes/ca/etcd
cd /etc/kubernetes/ca/etcd

編輯etcd-csr.json文件沃但，內(nèi)容如下：

{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.32.131"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

執(zhí)行簽發(fā)證書的命令：

cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes etcd-csr.json | cfssljson -bare etcd

編輯/lib/systemd/system/etcd.service宵晚，內(nèi)容如下：

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
ExecStart=/home/anakin/bin/etcd \
  --name=192.168.32.131 \
  --listen-client-urls=https://192.168.32.131:2379,http://127.0.0.1:2379 \
  --advertise-client-urls=https://192.168.32.131:2379 \
  --data-dir=/var/lib/etcd \
  --listen-peer-urls=https://192.168.32.131:2380 \
  --initial-advertise-peer-urls=https://192.168.32.131:2380 \
  --cert-file=/etc/kubernetes/ca/etcd/etcd.pem \
  --key-file=/etc/kubernetes/ca/etcd/etcd-key.pem \
  --peer-cert-file=/etc/kubernetes/ca/etcd/etcd.pem \
  --peer-key-file=/etc/kubernetes/ca/etcd/etcd-key.pem \
  --trusted-ca-file=/etc/kubernetes/ca/ca.pem \
  --peer-trusted-ca-file=/etc/kubernetes/ca/ca.pem
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

然后啟動(dòng)服務(wù)：

systemctl daemon-reload
service etcd start

2. apiserver設(shè)置

創(chuàng)建一個(gè)存放證書的目錄：

mkdir -p /etc/kubernetes/ca/kubernetes
cd /etc/kubernetes/ca/kubernetes/

編輯kubernetes-csr.json文件淤刃，內(nèi)容如下：

{
  "CN": "kubernetes",
  "hosts": [
    "127.0.0.1",
    "192.168.32.131",
    "10.68.0.1",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

簽發(fā)證書：

cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes

生成一個(gè)token文件：

head -c 16 /dev/urandom | od -An -t x | tr -d ' '
c81fb8ce5502f19d510d159ff8a1cf12

把這個(gè)token存入文件：

echo "c81fb8ce5502f19d510d159ff8a1cf12,kubelet-bootstrap,10001,\"system:kubelet-bootstrap\"" > /etc/kubernetes/ca/kubernetes/token.csv

編輯/lib/systemd/system/kube-apiserver.service逸贾，內(nèi)容如下：

[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
ExecStart=/home/anakin/bin/kube-apiserver \
  --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction \
  --insecure-bind-address=127.0.0.1 \
  --kubelet-https=true \
  --bind-address=192.168.32.131 \
  --authorization-mode=Node,RBAC \
  --runtime-config=rbac.authorization.k8s.io/v1 \
  --enable-bootstrap-token-auth \
  --token-auth-file=/etc/kubernetes/ca/kubernetes/token.csv \
  --tls-cert-file=/etc/kubernetes/ca/kubernetes/kubernetes.pem \
  --tls-private-key-file=/etc/kubernetes/ca/kubernetes/kubernetes-key.pem \
  --client-ca-file=/etc/kubernetes/ca/ca.pem \
  --service-account-key-file=/etc/kubernetes/ca/ca-key.pem \
  --etcd-cafile=/etc/kubernetes/ca/ca.pem \
  --etcd-certfile=/etc/kubernetes/ca/kubernetes/kubernetes.pem \
  --etcd-keyfile=/etc/kubernetes/ca/kubernetes/kubernetes-key.pem \
  --service-cluster-ip-range=10.68.0.0/16 \
  --service-node-port-range=20000-40000 \
  --etcd-servers=https://192.168.32.131:2379 \
  --enable-swagger-ui=true \
  --allow-privileged=true \
  --audit-log-maxage=30 \
  --audit-log-maxbackup=3 \
  --audit-log-maxsize=100 \
  --audit-log-path=/var/lib/audit.log \
  --event-ttl=1h \
  --v=2
Restart=on-failure
RestartSec=5
Type=notify
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target

然后啟動(dòng)服務(wù)：

systemctl daemon-reload
service kube-apiserver start

3. controller-manager設(shè)置

編輯/lib/systemd/system/kube-controller-manager.service文件灼伤，內(nèi)容如下：

[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
[Service]
ExecStart=/home/anakin/bin/kube-controller-manager \
  --address=127.0.0.1 \
  --master=http://127.0.0.1:8080 \
  --allocate-node-cidrs=true \
  --service-cluster-ip-range=10.68.0.0/16 \
  --cluster-cidr=172.20.0.0/16 \
  --cluster-name=kubernetes \
  --leader-elect=true \
  --cluster-signing-cert-file=/etc/kubernetes/ca/ca.pem \
  --cluster-signing-key-file=/etc/kubernetes/ca/ca-key.pem \
  --service-account-private-key-file=/etc/kubernetes/ca/ca-key.pem \
  --root-ca-file=/etc/kubernetes/ca/ca.pem \
  --v=2
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target

啟動(dòng)服務(wù)

systemctl daemon-reload
service kube-controller-manager start

4. scheduler設(shè)置

scheduler不需要重新設(shè)置饺蔑，直接啟動(dòng)就ok了嗜诀。

5. kubectl設(shè)置

先創(chuàng)建一個(gè)叫做admin的系統(tǒng)管理員：

mkdir -p /etc/kubernetes/ca/admin
cd /etc/kubernetes/ca/admin/

編輯admin-csr.json文件，內(nèi)容如下：

{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}

簽發(fā)證書：

cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes admin-csr.json | cfssljson -bare admin

然后開始設(shè)置kubectl

kubectl config set-cluster kubernetes \
        --certificate-authority=/etc/kubernetes/ca/ca.pem \
        --embed-certs=true \
        --server=https://192.168.32.131:6443

kubectl config set-credentials admin \
        --client-certificate=/etc/kubernetes/ca/admin/admin.pem \
        --embed-certs=true \
        --client-key=/etc/kubernetes/ca/admin/admin-key.pem

kubectl config set-context kubernetes \
        --cluster=kubernetes --user=admin
    
kubectl config use-context kubernetes

6. calico設(shè)置

生成證書：

mkdir -p /etc/kubernetes/ca/calico
cd /etc/kubernetes/ca/calico/

編輯calico-csr.json文件崔慧，內(nèi)容如下：

{
  "CN": "calico",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

簽發(fā)證書：

cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes calico-csr.json | cfssljson -bare calico

編輯/lib/systemd/system/kube-calico.service文件惶室，內(nèi)容如下：

[Unit]
Description=calico node
After=docker.service
Requires=docker.service

[Service]
User=root
PermissionsStartOnly=true
ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \
  -e NODENAME="calico1" \
  -e ETCD_ENDPOINTS=https://192.168.32.131:2379 \
  -e ETCD_CA_CERT_FILE=/etc/kubernetes/ca/ca.pem \
  -e ETCD_CERT_FILE=/etc/kubernetes/ca/calico/calico.pem \
  -e ETCD_KEY_FILE=/etc/kubernetes/ca/calico/calico-key.pem \
  -e CALICO_LIBNETWORK_ENABLED=true \
  -e CALICO_NETWORKING_BACKEND=bird \
  -e CALICO_DISABLE_FILE_LOGGING=true \
  -e CALICO_IPV4POOL_CIDR=172.20.0.0/16 \
  -e CALICO_IPV4POOL_IPIP=off \
  -e FELIX_DEFAULTENDPOINTTOHOSTACTION=ACCEPT \
  -e FELIX_IPV6SUPPORT=false \
  -e FELIX_LOGSEVERITYSCREEN=info \
  -e FELIX_IPINIPMTU=1440 \
  -e FELIX_HEALTHENABLED=true \
  -e IP=192.168.32.131 \
  -v /etc/kubernetes/ca:/etc/kubernetes/ca \
  -v /var/run/calico:/var/run/calico \
  -v /lib/modules:/lib/modules \
  -v /run/docker/plugins:/run/docker/plugins \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v /var/log/calico:/var/log/calico \
  calico/node:release-v2.6
ExecStop=/usr/bin/docker rm -f calico-node
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

啟動(dòng)服務(wù)：

systemctl daemon-reload
service kube-calico start

還有一步皇钞，就是把/etc/kubernetes/ca/calico目錄下的這幾個(gè)證書拷貝到worker節(jié)點(diǎn)對(duì)應(yīng)的位置上去備用

7. 設(shè)置kubelet的角色綁定

kubectl -n kube-system get clusterrole
kubectl create clusterrolebinding kubelet-bootstrap \
         --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

worker節(jié)點(diǎn)設(shè)置

1. calico設(shè)置

編輯/lib/systemd/system/kube-calico.service文件夹界，參考master節(jié)點(diǎn)的內(nèi)容可柿，只需要修改一下NODENAME就可以了丙者，然后啟動(dòng)服務(wù)

2. kubelet設(shè)置

設(shè)置kubelet參數(shù)：

kubectl config set-cluster kubernetes \
        --certificate-authority=/etc/kubernetes/ca/ca.pem \
        --embed-certs=true \
        --server=https://192.168.32.131:6443 \
        --kubeconfig=bootstrap.kubeconfig

kubectl config set-credentials kubelet-bootstrap \
        --token=c81fb8ce5502f19d510d159ff8a1cf12\
        --kubeconfig=bootstrap.kubeconfig

kubectl config set-context default \
        --cluster=kubernetes \
        --user=kubelet-bootstrap \
        --kubeconfig=bootstrap.kubeconfig

kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

mv bootstrap.kubeconfig /etc/kubernetes/

設(shè)置cni：

cd /etc/cni/net.d/

編輯10-calico.conf文件械媒，內(nèi)容如下：

{
    "name": "calico-k8s-network",
    "cniVersion": "0.1.0",
    "type": "calico",
    "etcd_endpoints": "https://192.168.32.131:2379",
    "etcd_key_file": "/etc/kubernetes/ca/calico/calico-key.pem",
    "etcd_cert_file": "/etc/kubernetes/ca/calico/calico.pem",
    "etcd_ca_cert_file": "/etc/kubernetes/ca/ca.pem",
    "log_level": "info",
    "ipam": {
        "type": "calico-ipam"
    },
    "kubernetes": {
        "kubeconfig": "/etc/kubernetes/kubelet.kubeconfig"
    }
}

編輯/lib/systemd/system/kubelet.service文件滥沫，內(nèi)容如下：

[Unit]
Description=Kubernetes Kubelet
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=docker.service
Requires=docker.service

[Service]
WorkingDirectory=/var/lib/kubelet
ExecStart=/home/anakin/bin/kubelet \
  --address=192.168.32.132 \
  --hostname-override=192.168.32.132 \
  --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/imooc/pause-amd64:3.0 \
  --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \
  --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \
  --cert-dir=/etc/kubernetes/ca \
  --hairpin-mode hairpin-veth \
  --network-plugin=cni \
  --cni-conf-dir=/etc/cni/net.d \
  --cni-bin-dir=/home/anakin/bin \
  --cluster-dns=10.68.0.2 \
  --cluster-domain=cluster.local. \
  --allow-privileged=true \
  --fail-swap-on=false \
  --logtostderr=true \
  --v=2
#kubelet cAdvisor 默認(rèn)在所有接口監(jiān)聽 4194 端口的請(qǐng)求, 以下iptables限制內(nèi)網(wǎng)訪問
ExecStartPost=/sbin/iptables -A INPUT -s 10.0.0.0/8 -p tcp --dport 4194 -j ACCEPT
ExecStartPost=/sbin/iptables -A INPUT -s 172.16.0.0/12 -p tcp --dport 4194 -j ACCEPT
ExecStartPost=/sbin/iptables -A INPUT -s 192.168.0.0/16 -p tcp --dport 4194 -j ACCEPT
ExecStartPost=/sbin/iptables -A INPUT -p tcp --dport 4194 -j DROP
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

啟動(dòng)服務(wù)：

systemctl daemon-reload
service kubelet start

啟動(dòng)之后兰绣，需要去master節(jié)點(diǎn)進(jìn)行授權(quán)操作：

kubectl get csr|grep 'Pending' | awk '{print $1}'| xargs kubectl certificate approve

3. kube-proxy設(shè)置

準(zhǔn)備證書：

mkdir -p /etc/kubernetes/ca/kube-proxy
cd /etc/kubernetes/ca/kube-proxy

編輯kube-proxy-csr.json文件缀辩，內(nèi)容如下：

{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "XS",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

簽發(fā)證書：

cfssl gencert \
        -ca=/etc/kubernetes/ca/ca.pem \
        -ca-key=/etc/kubernetes/ca/ca-key.pem \
        -config=/etc/kubernetes/ca/ca-config.json \
        -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

生成各種配置文件：

kubectl config set-cluster kubernetes \
        --certificate-authority=/etc/kubernetes/ca/ca.pem \
        --embed-certs=true \
        --server=https://192.168.32.131:6443 \
        --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
        --client-certificate=/etc/kubernetes/ca/kube-proxy/kube-proxy.pem \
        --client-key=/etc/kubernetes/ca/kube-proxy/kube-proxy-key.pem \
        --embed-certs=true \
        --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
        --cluster=kubernetes \
        --user=kube-proxy \
        --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

mv kube-proxy.kubeconfig /etc/kubernetes/kube-proxy.kubeconfig

編輯/lib/systemd/system/kube-proxy.service文件臀玄，內(nèi)容如下：

[Unit]
Description=Kubernetes Kube-Proxy Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
WorkingDirectory=/var/lib/kube-proxy
ExecStart=/home/anakin/bin/kube-proxy \
  --bind-address=192.168.32.132 \
  --hostname-override=192.168.32.132 \
  --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \
  --logtostderr=true \
  --v=2
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

啟動(dòng)服務(wù)：

systemctl daemon-reload
service kube-proxy start

總結(jié)

中間可能會(huì)遇到的問題：

calico

calico是以docker的方式運(yùn)行的，有時(shí)候重啟服務(wù)的時(shí)候荣恐，之前的container還沒殺死叠穆，日志里會(huì)報(bào)錯(cuò)誤：

Error response from daemon: Conflict. The container name "/aaa" is already in use by conta
iner "xxx".

這時(shí)候只要?jiǎng)h除這個(gè)container就可以了:

docker rm -f xxx

如果是報(bào)node的名字被占用的錯(cuò)誤，到master節(jié)點(diǎn)刪除就ok了：

calicoctl delete node

一些常用的命令:

查看集群節(jié)點(diǎn)：

kubectl get nodes

查看calico節(jié)點(diǎn)：

calicoctl node status

每個(gè)服務(wù)啟動(dòng)之后示损，都可以用下面的命令查看服務(wù)的日志信息：

journalctl -f -u xxx

ok嚷硫。寫的好累仔掸。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市丹禀，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌持搜，老刑警劉巖葫盼，帶你破解...
沈念sama閱讀 217,406評(píng)論 6贊 503
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異抛猫，居然都是意外死亡孩灯，警方通過查閱死者的電腦和手機(jī)峰档，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,732評(píng)論 3贊 393
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門讥巡，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人槽棍，你說我怎么就攤上這事⊥饫铮” “怎么了特石？”我有些...
開封第一講書人閱讀 163,711評(píng)論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵姆蘸，是天一觀的道長。經(jīng)常有香客問我狂秦，道長推捐，這世上最難降的妖魔是什么牛柒？我笑而不...
開封第一講書人閱讀 58,380評(píng)論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任皮壁，我火速辦了婚禮，結(jié)果婚禮上虑瀑，老公的妹妹穿的比我還像新娘滴须。我一直安慰自己，他們只是感情好痛侍，可當(dāng)我...
茶點(diǎn)故事閱讀 67,432評(píng)論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布恋日。她就那樣靜靜地躺著嘹狞，像睡著了一般。火紅的嫁衣襯著肌膚如雪谈截。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,301評(píng)論 1贊 301
城市分裂傳說
那天毙死，我揣著相機(jī)與錄音扼倘，去河邊找鬼除呵。笑死颜曾，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的稠诲。我是一名探鬼主播诡曙，決...
沈念sama閱讀 40,145評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼岗仑，長吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起炸卑，我...
開封第一講書人閱讀 39,008評(píng)論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤盖文，失蹤者是張志新（化名）和其女友劉穎蚯姆，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體疙驾，經(jīng)...
沈念sama閱讀 45,443評(píng)論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡它碎，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,649評(píng)論 3贊 334
?白月光啟示錄
正文我和宋清朗相戀三年扳肛，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片金拒。...
茶點(diǎn)故事閱讀 39,795評(píng)論 1贊 347
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡殖蚕，死狀恐怖沉迹，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情蛤育，我是刑警寧澤葫松，帶...
沈念sama閱讀 35,501評(píng)論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布腋么，位于F島的核電站珊擂，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏圣贸。R本人自食惡果不足惜扛稽，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,119評(píng)論 3贊 328
男人毒藥：我在死后第九天來索命
文/蒙蒙一在张、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧啄骇，春花似錦辟狈、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,731評(píng)論 0贊 22
一樁弒父案趟妥，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至亲雪，卻和暖如春疚膊，著一層夾襖步出監(jiān)牢的瞬間寓盗，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,865評(píng)論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工基显，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留撩幽，地道東北人箩艺。一個(gè)月前我還...
沈念sama閱讀 47,899評(píng)論 2贊 370
代替公主和親
正文我出身青樓舅桩，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子聊记，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,724評(píng)論 2贊 354

手動(dòng)搭建kubernetes集群（四）

準(zhǔn)備工作

master節(jié)點(diǎn)設(shè)置

worker節(jié)點(diǎn)設(shè)置

總結(jié)

推薦閱讀更多精彩內(nèi)容