首先介紹環(huán)境信息:
3個master非HA架構速兔,CSI使用nfs server,nfs server是其中一個master節(jié)點薇宠。
環(huán)境部署后nfs server節(jié)點down機肖油,導致剩余兩個節(jié)點的磁盤響應非常慢憨愉。
df -h 查看主機的磁盤使用情況烦绳,發(fā)現(xiàn)命令卡住,無法執(zhí)行配紫,懷疑是因為nfs server服務端down導致客戶端連接服務端失敗径密,這個時候怎么解決呢?
解決辦法:
查看主機上已經(jīng)使用nfs server做mount的目錄躺孝,通過ls查看目錄發(fā)現(xiàn)無法執(zhí)行l(wèi)s命令卡住
mount | grep serverIP
手動umount 卡住的目錄
umount -l /var/lib
此時需要重啟kubelet享扔,因為kubelet中已經(jīng)存在一個goroutine在做umount,且這個goroutine目前處于卡住狀態(tài)植袍,所以重啟一下kubelet惧眠,此時kubelet可以重新做umount,然后查看terminating的pod發(fā)現(xiàn)pod可以被成功刪除于个。
- 沒有調(diào)查清楚的點
kubelet 刪除pod的流程 --force刪除的流程