排查 k8s 集群 master 節(jié)點(diǎn)無(wú)法正常工作的問(wèn)題

搭建的是 k8s 高可用集群伟端,用了 3 臺(tái) master 節(jié)點(diǎn),2 臺(tái) master 節(jié)點(diǎn)宕機(jī)后编丘,僅剩的 1 臺(tái)無(wú)法正常工作摆舟。

運(yùn)行 kubectl get nodes 命令出現(xiàn)下面的錯(cuò)誤

The connection to the server k8s-api:6443 was refused - did you specify the right host or port?

注:k8s-api 對(duì)應(yīng)的就是這臺(tái) master 服務(wù)器的本機(jī) IP 地址。

運(yùn)行 netstat -lntp 命令發(fā)現(xiàn) kube-apiserver 根本沒(méi)有運(yùn)行噪服,同時(shí)發(fā)現(xiàn) etcd 與 kube-proxy 也沒(méi)運(yùn)行铃彰。

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 127.0.0.1:33807         0.0.0.0:*               LISTEN      602/kubelet         
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      572/rpcbind         
tcp        0      0 127.0.0.1:10257         0.0.0.0:*               LISTEN      3229/kube-controlle 
tcp        0      0 127.0.0.1:10259         0.0.0.0:*               LISTEN      3753/kube-scheduler 
tcp        0      0 127.0.0.53:53           0.0.0.0:*               LISTEN      571/systemd-resolve 
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1644/sshd           
tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      602/kubelet         
tcp6       0      0 :::111                  :::*                    LISTEN      572/rpcbind         
tcp6       0      0 :::10250                :::*                    LISTEN      602/kubelet         
tcp6       0      0 :::10251                :::*                    LISTEN      3753/kube-scheduler 
tcp6       0      0 :::10252                :::*                    LISTEN      3229/kube-controlle 

通過(guò) docker ps 命令發(fā)現(xiàn) etcd , kube-apiserver, kube-proxy 這 3 個(gè)容器都沒(méi)有運(yùn)行,etcd 容器在不停地啟動(dòng)->失敗->重啟->又失敗......芯咧,查看容器日志發(fā)現(xiàn)下面的錯(cuò)誤:

etcdserver: publish error: etcdserver: request timed out
rafthttp: health check for peer 611e58a32a3e3ebe could not connect: dial tcp 10.0.1.252:2380: i/o timeout (prober "ROUND_TRIPPER_SNAPSHOT")
rafthttp: health check for peer 611e58a32a3e3ebe could not connect: dial tcp 10.0.1.252:2380: i/o timeout (prober "ROUND_TRIPPER_RAFT_MESSAGE")
rafthttp: health check for peer cc00b4912b6442df could not connect: dial tcp 10.0.1.82:2380: i/o timeout (prober "ROUND_TRIPPER_SNAPSHOT")
rafthttp: health check for peer cc00b4912b6442df could not connect: dial tcp 10.0.1.82:2380: i/o timeout (prober "ROUND_TRIPPER_RAFT_MESSAGE")
raft: 12637f5ec2bd02b8 is starting a new election at term 254669

etcd 啟動(dòng)失敗是由于 etcd 在 3 節(jié)點(diǎn)集群模式在啟動(dòng)卻無(wú)法連接另外 2 臺(tái) master 節(jié)點(diǎn)的 etcd 牙捉,要解決這個(gè)問(wèn)題需要改為單節(jié)點(diǎn)集群模式。開(kāi)始不知道如何將 etcd 改為單節(jié)點(diǎn)模式敬飒,后來(lái)在網(wǎng)上找到 2 個(gè)參數(shù) --initial-cluster-state=new 與 --force-new-cluster 邪铲,在 /etc/kubernetes/manifests/etcd.yaml 中給 etcd 命令加上這 2 個(gè)參數(shù),并重啟服務(wù)器后无拗,master 節(jié)點(diǎn)就能正常運(yùn)行了带到。

  containers:
  - command:
    - etcd
    - --advertise-client-urls=https://10.0.1.81:2379
    - --cert-file=/etc/kubernetes/pki/etcd/server.crt
    - --client-cert-auth=true
    - --data-dir=/var/lib/etcd
    - --initial-advertise-peer-urls=https://10.0.1.81:2380
    - --initial-cluster=k8s-master0=https://10.0.1.81:2380
    - --initial-cluster-state=new
    ......

master 正常運(yùn)行后,需要去掉剛剛添加的這 2 個(gè) etcd 參數(shù)英染。
轉(zhuǎn)載自dudu
出處:http://dwz.date/cAZE

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末揽惹,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子四康,更是在濱河造成了極大的恐慌搪搏,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,277評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件闪金,死亡現(xiàn)場(chǎng)離奇詭異疯溺,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)哎垦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門(mén)囱嫩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人漏设,你說(shuō)我怎么就攤上這事墨闲。” “怎么了郑口?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,624評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵鸳碧,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我潘酗,道長(zhǎng)杆兵,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,356評(píng)論 1 293
  • 正文 為了忘掉前任仔夺,我火速辦了婚禮,結(jié)果婚禮上攒砖,老公的妹妹穿的比我還像新娘缸兔。我一直安慰自己日裙,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布惰蜜。 她就那樣靜靜地躺著昂拂,像睡著了一般。 火紅的嫁衣襯著肌膚如雪抛猖。 梳的紋絲不亂的頭發(fā)上格侯,一...
    開(kāi)封第一講書(shū)人閱讀 51,292評(píng)論 1 301
  • 那天,我揣著相機(jī)與錄音财著,去河邊找鬼联四。 笑死,一個(gè)胖子當(dāng)著我的面吹牛撑教,可吹牛的內(nèi)容都是我干的朝墩。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼伟姐,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼收苏!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起愤兵,我...
    開(kāi)封第一講書(shū)人閱讀 38,992評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤鹿霸,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后秆乳,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體杜跷,經(jīng)...
    沈念sama閱讀 45,429評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評(píng)論 3 334
  • 正文 我和宋清朗相戀三年矫夷,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了葛闷。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,785評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡双藕,死狀恐怖淑趾,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情忧陪,我是刑警寧澤扣泊,帶...
    沈念sama閱讀 35,492評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站嘶摊,受9級(jí)特大地震影響延蟹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜叶堆,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評(píng)論 3 328
  • 文/蒙蒙 一阱飘、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦沥匈、人聲如沸蔗喂。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,723評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)缰儿。三九已至,卻和暖如春散址,著一層夾襖步出監(jiān)牢的瞬間乖阵,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,858評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工预麸, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留瞪浸,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,891評(píng)論 2 370
  • 正文 我出身青樓师崎,卻偏偏與公主長(zhǎng)得像默终,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子犁罩,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評(píng)論 2 354