問(wèn)題描述
在master節(jié)點(diǎn)上執(zhí)行kbuectl logs / exec / port-forward等命令均異常，具體表現(xiàn)如下：
root@master1:~# kubectl logs pod-name
Error from server (NotFound): the server could not find the requested resource ( pods/log kubia-manual)
root@master1:~# kubectl exec -it pod-name /bin/bash
error: unable to upgrade connection: pod does not exist
root@master1:~# kubectl port-forward pod-name 8888:8080
error: error upgrading connection: unable to upgrade connection: pod does not exist
不僅如此签财，執(zhí)行任何pod操作或查看屬于pod的子資源串慰，都會(huì)顯示 pod 不存在。
問(wèn)題原因
原因是因?yàn)槌簦沂怯玫?code>VirtualBox虛擬化出了兩臺(tái) ubuntu 主機(jī)搭建的 k8s 模庐，詳見 virtualbox 虛擬機(jī)組網(wǎng) 。在組網(wǎng)的過(guò)程中油宜，我采用了雙網(wǎng)卡方案掂碱，網(wǎng)卡1使用NAT地址轉(zhuǎn)換用來(lái)訪問(wèn)互聯(lián)網(wǎng)，網(wǎng)卡2使用Host-only來(lái)實(shí)現(xiàn)虛擬機(jī)互相訪問(wèn)慎冤。而 k8s 默認(rèn)使用了網(wǎng)卡1的 ip 地址疼燥，這就導(dǎo)致了 工作節(jié)點(diǎn)的 ip 地址使用的是網(wǎng)卡1的 NAT 地址轉(zhuǎn)換地址(不可以訪問(wèn)其他虛擬機(jī))，從而導(dǎo)致的問(wèn)題的產(chǎn)生蚁堤。
問(wèn)題發(fā)現(xiàn)
如果你確定自己就是因?yàn)檫@個(gè)問(wèn)題的話醉者，可以跳過(guò)這一節(jié)直接執(zhí)行 解決方案 中的名命令來(lái)嘗試恢復(fù)，或者你也可以通過(guò)如下方式來(lái)檢查自己的kubectl命令無(wú)法執(zhí)行是否也是該問(wèn)題導(dǎo)致的：
在使用命令時(shí)攜帶-v=9參數(shù)來(lái)提高日志的輸出等級(jí)披诗，如下：
kubectl logs kubia-manual -v=9
從輸出圖中可以看到撬即，kubectl先去訪問(wèn)了本機(jī)的apiserver來(lái)獲取目標(biāo)pod的信息（藍(lán)框1，本機(jī) ip 為192.168.56.11）呈队，返回結(jié)果正常剥槐，但是進(jìn)一步去請(qǐng)求pod的log資源的時(shí)候就出現(xiàn)了 404 的情況（藍(lán)框2），而當(dāng)我們仔細(xì)查看pod的信息時(shí)宪摧，可以發(fā)現(xiàn) 它的hostIP居然是 NAT 地址轉(zhuǎn)換模式的默認(rèn)地址10.0.2.15粒竖！ (紅框)颅崩。
解決方案
因?yàn)檫@個(gè)地址是工作節(jié)點(diǎn)上的kubelet自動(dòng)生成并發(fā)給管理節(jié)點(diǎn)的，所以現(xiàn)在我們要登錄工作節(jié)點(diǎn)蕊苗，然后手動(dòng)指定他的 ip 地址：
在 kubelet 啟動(dòng)時(shí)指定 ip
首先修改文件 /etc/systemd/system/kubelet.service.d/10-kubeadm.conf沿后，低版本的 ubuntu 中該文件可能位于/etc/systemd/kubelet.service.d/目錄下：
sudo vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
然后添加在ExecStart行之前新增一行，內(nèi)容為：Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21"朽砰，注意尖滚！這個(gè) ip 地址要填寫你 當(dāng)前節(jié)點(diǎn)的 ip 地址，這個(gè) ip 是可以正常訪問(wèn)管理節(jié)點(diǎn)的網(wǎng)卡 ip瞧柔，如下：
EnvironmentFile=-/etc/default/kubelet
# Note: This dropin only works with kubeadm and kubelet v1.11+
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
# This is a file that "kubeadm init" and "kubeadm join" generates at runtime, populating the KUBELET_KUBEADM_ARGS variable dynamically
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
# This is a file that the user can use for overrides of the kubelet args as a last resort. Preferably, the user should use
# the .NodeRegistration.KubeletExtraArgs object in the configuration files instead. KUBELET_EXTRA_ARGS should be sourced from this file.
EnvironmentFile=-/etc/default/kubelet
Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.56.21"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS
添加完成后:wq保存退出漆弄，然后重啟kubelet
重啟 kubelet
執(zhí)行下面命令即可：
systemctl stop kubelet.service && \
systemctl daemon-reload && \
systemctl start kubelet.service
正常情況下不會(huì)刷新任何內(nèi)容，如果刷新了幾條warning的話不用理會(huì)非剃，然后登錄管理節(jié)點(diǎn)再次嘗試 可能需要十幾秒的時(shí)間等待 kubelet 重啟完成：
root@master1:~# kubectl logs kubia-manual
Kubia server starting...
root@master1:~# kubectl exec -it kubia-manual /bin/bash
root@kubia-manual:/# exit
exit
command terminated with exit code 130
root@master1:~# kubectl port-forward kubia-manual 8888:8080
Forwarding from 127.0.0.1:8888 -> 8080
Forwarding from [::1]:8888 -> 8080
發(fā)現(xiàn)所有命令都已經(jīng)可用置逻，至此，問(wèn)題解決备绽。
