寫(xiě)了個(gè)監(jiān)控 ElasticSearch 進(jìn)程異常的腳本单匣!

作者:JackTian
文章首發(fā)于公眾號(hào):【杰哥的IT之旅】

服務(wù)器配置免密鑰環(huán)境準(zhǔn)備:

配置免密鑰前,需要在服務(wù)器的 hosts 文件中配置目標(biāo)主機(jī)名稱與 IP 對(duì)應(yīng)關(guān)系。

vim /etc/hosts
IP1 hostname1
IP2 hostname2
......

將 mianmiyaojiaoben.zip 安裝包解壓在當(dāng)前目錄下

cd /usr/local/jiaoben
unzip mianmiyaojiaoben.zip

修改 mianmiyao_config 配置文件逮矛,添加目標(biāo)主機(jī)名稱與目標(biāo)主機(jī)密碼须鼎,通過(guò)用免密鑰的腳本來(lái)調(diào)用。

vim mianmiyao_config

AllHosts=hostname1,hostname2
Passwd='test23!\@Test^&*','test23!\@Test^&*'

配置文件中晋控,需注意:

  • AllHosts:可配置當(dāng)前主機(jī)通往目標(biāo)主機(jī)的主機(jī)名,可以免秘鑰自身仲吏,數(shù)量不限。多臺(tái)目標(biāo)主機(jī)需以英文逗號(hào)隔開(kāi)

  • Passwd:主機(jī)所對(duì)應(yīng)的密碼誓斥,順序需要與主機(jī)順序?qū)?yīng)

  • 如果原密碼為:test23!@Test^&*许帐,則密碼字符帶有特殊符號(hào)可以用 \ 符轉(zhuǎn)義

mianmiyao.sh 腳本文件內(nèi)容:

vim mianmiyao.sh

#!/bin/bash -x
source mianmiyao_config
yum -y install expect expect-devel
#rm -rf /root/.ssh/*
/usr/bin/expect -d <<-EOF
set timeout 100
spawn ssh-keygen -t rsa
expect {
"*id_rsa):" { send "\r"; exp_continue }
"*(y/n)?" { send "y\r"; exp_continue }
"*passphrase)*" { send "\r"; exp_continue }
"*again:" { send "\r"; exp_continue }
"*-------+" { send "\r"}
}
expect eof
EOF

hostsarr=(${hosts//,/ })
passwdarr=(${passwd//,/ })
num=${#hostsarr[@]}  
for((i=0;i<num;i++));  
do  
    /usr/bin/expect <<-EOF
    set timeout 100
    spawn ssh-copy-id ${hostsarr[i]}
    expect {
    "*(yes/no)?" { send "yes\r"; exp_continue }
    "*password:" { send "${passwdarr[i]}\r"; exp_continue }
    "*authorized_keys*" { send "\r"}
    }
    expect eof
    exit
EOF
done 

將 mianmiyao.sh 文件添加執(zhí)行權(quán)限并執(zhí)行此腳本

chmod +x mianmiyao.sh
./mianmiyao.sh

腳本執(zhí)行完畢后成畦,可以先手動(dòng)執(zhí)行如下命令,如無(wú)需輸入密碼跳轉(zhuǎn)到對(duì)應(yīng)的目標(biāo)服務(wù)器時(shí)循帐,則表示成功。

ssh hostname2

服務(wù)器部署監(jiān)測(cè) ElasticSearch 環(huán)境準(zhǔn)備:

將 cpufreedisk_config 配置文件添加對(duì)應(yīng) ES 集群主機(jī)名存和、ES 端口衷旅、ES 主節(jié)點(diǎn)服務(wù)器主機(jī)名。

vim cpufreedisk_config

# 所有 ES 集群的主機(jī)名茄袖,用英文逗號(hào)分隔嘁锯,需要在免密鑰機(jī)器上執(zhí)行
EsHosts=hostname1,hostname2

# ES 端口
EsPort=9200

# ES 主節(jié)點(diǎn)服務(wù)器的主機(jī)名
EsMaster=hostname1

將 cpufreedisk.sh 腳本文件放入 ElasticSearch 服務(wù)器的 /usr/local/jiaoben/ 目錄下

#!/bin/bash
# @Time    : 2023/02/01
# @Author  : JackTian
# @File    : cpufreedisk.sh
# @Desc    : 使用該腳本監(jiān)控 ES 系統(tǒng)程序假死、掛掉蝗羊、異常及服務(wù)器斷網(wǎng)仁锯、宕機(jī)服務(wù)器恢復(fù)后,程序做判斷恢復(fù)/檢測(cè)服務(wù)器cpu內(nèi)存磁盤(pán)业崖。
# 使用前提:ES 集群服務(wù)器配置免密鑰
# 使用方法:將 cpufreedisk.sh 腳本放置 ES 服務(wù)器的 /usr/local/jiaoben/ 目錄下双炕、在 cpufreedisk_config 中配置 ES 集群的主機(jī)名、端口妇斤、ES 主節(jié)點(diǎn)服務(wù)器的主機(jī)名
# 設(shè)置定時(shí)任務(wù)(可以事先手動(dòng)執(zhí)行)
# 0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh
source /usr/local/jiaoben/cpufreedisk_config

function esStatus
{
curl --connect-timeout 30 -m 60 $1:$esport > resultEsCurl.log
echo "`cat resultEsCurl.log | grep cluster_name`"
}

function esLost
{
iptemp=`cat /etc/hosts | grep -w $1 | grep '^[^#]' | awk '{print $1}'`
curl --connect-timeout 30 -m 60 $esMaster:$esport/_cat/nodes?v | grep $iptemp > resultEsCurl1.log
echo "`cat resultEsCurl1.log`"
}

function esDie
{
ssh $1 "source /etc/profile && jps | grep Elasticsearch | awk '{print \$1}' | xargs"
}

function restart
{
ssh $1 <<EOF
echo "請(qǐng)手動(dòng)啟動(dòng) ES 進(jìn)程"
exit
EOF
}


today=$(date +"%Y-%m-%d")
todaytime=`date`
#針對(duì) ES 做假死、宕機(jī)乱投、掛掉,做日志記錄和處理
serverroothostname=(${esHosts//,/ })
for rootHost in ${serverroothostname[*]}
do
    esStatusResult=`esStatus $rootHost`
    echo "$rootHost 的狀態(tài)為: $esStatusResult"
    if [ -n "$esStatusResult" ];then
        esLostResult=`esLost $rootHost`
        echo "$rootHost 的狀態(tài)為: $esLostResult"
        if [ -n "$esLostResult" ];then
            echo "ES 運(yùn)行狀態(tài)正常剑刑。"
        else
            echo "$rootHost 脫離集群双肤。"
            echo "${todaytime}ES的${rootHost}節(jié)點(diǎn)脫離集群。請(qǐng)人工排查" >> /usr/local/jiaoben/ESmanager.log
                        restart $rootHost
        fi
    else
        echo "${todaytime}xxx系統(tǒng)$rootHost 的 ES 進(jìn)程運(yùn)行狀態(tài)異常七芭,啟動(dòng)重啟中..." >> /usr/local/jiaoben/ESmanager.log
        echo "${todaytime}xxx系統(tǒng)$rootHost 重啟" >> /usr/local/jiaoben/ESmanager.log

ssh $rootHost <<EOF >>/usr/local/jiaoben/ESmanager.log
        mkdir -p /usr/local/jiaoben/
        cd /usr/local/jiaoben/
        echo "--------------------------------------服務(wù)器分割線-------------------------------------------"
        echo "$rootHost磁盤(pán)信息"
        df -h
        echo "$rootHost內(nèi)存信息(單位為:G)"
        free -h
        echo "$rootHost的CPU信息"
        vmstat
        exit
EOF
        if [ $? -eq 0 ];then
                        esDieResult=`esDie $rootHost`
                        if [ -n "$esDieResult" ];then
                        echo "${todaytime}xxx系統(tǒng) ES 出現(xiàn)假死狸驳,已執(zhí)行重啟臨時(shí)解決缩赛,詳情參看日志" >> /usr/local/jiaoben/ESmanager.log
                        else
            echo "${todaytime}xxx系統(tǒng) ES 未啟動(dòng),已執(zhí)行重啟臨時(shí)解決酥馍,詳情參看日志" >> /usr/local/jiaoben/ESmanager.log
                        fi
        else
            echo "${todaytime}xxx系統(tǒng) ES 服務(wù)器疑似宕機(jī):無(wú)法 ssh 登錄" >> /usr/local/jiaoben/ESmanager.log
        fi
        restart $rootHost
    fi

done

將 cpufreedisk.sh 腳本文件添加可執(zhí)行權(quán)限并執(zhí)行

chmod +x cpufreedisk.sh
./cpufreedisk.sh

設(shè)定周期性定時(shí)任務(wù)旨袒,每天定時(shí)執(zhí)行。

crontab -e
# 使用該腳本監(jiān)控 ES 系統(tǒng)程序假死砚尽、掛掉、異常及服務(wù)器斷網(wǎng)帆精、宕機(jī)服務(wù)器恢復(fù)后隧魄,程序做判斷恢復(fù)/檢測(cè)服務(wù)器cpu內(nèi)存磁盤(pán)隘蝎。
0 6 * * * source /etc/profile && cd /usr/local/jiaoben && ./cpufreedisk.sh

以上就是今天所要分享的全部?jī)?nèi)容了。

如果你覺(jué)得這篇文章對(duì)你有點(diǎn)用的話狮含,為本文點(diǎn)個(gè)贊留個(gè)言或者轉(zhuǎn)發(fā)一下几迄,讓更多的朋友看到,因?yàn)檫@將是我持續(xù)輸出更多優(yōu)質(zhì)文章的最強(qiáng)動(dòng)力木羹!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末解孙,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子脐瑰,更是在濱河造成了極大的恐慌廷臼,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,509評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件寂恬,死亡現(xiàn)場(chǎng)離奇詭異结啼,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)朴译,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén)属铁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人盯拱,你說(shuō)我怎么就攤上這事例嘱。” “怎么了奢浑?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,875評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵腋腮,是天一觀的道長(zhǎng)壤蚜。 經(jīng)常有香客問(wèn)我徊哑,道長(zhǎng),這世上最難降的妖魔是什么著蟹? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,441評(píng)論 1 293
  • 正文 為了忘掉前任窒盐,我火速辦了婚禮,結(jié)果婚禮上炕横,老公的妹妹穿的比我還像新娘葡粒。我一直安慰自己,他們只是感情好嗽交,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,488評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布夫壁。 她就那樣靜靜地躺著,像睡著了一般盒让。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上姨蝴,一...
    開(kāi)封第一講書(shū)人閱讀 51,365評(píng)論 1 302
  • 那天左医,我揣著相機(jī)與錄音同木,去河邊找鬼。 笑死彤路,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的缝裤。 我是一名探鬼主播颊郎,決...
    沈念sama閱讀 40,190評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼榛做!你這毒婦竟也來(lái)了内狸?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,062評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤锰瘸,失蹤者是張志新(化名)和其女友劉穎昂灵,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體眨补,經(jīng)...
    沈念sama閱讀 45,500評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡撑螺,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,706評(píng)論 3 335
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了含潘。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片安皱。...
    茶點(diǎn)故事閱讀 39,834評(píng)論 1 347
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖腾窝,靈堂內(nèi)的尸體忽然破棺而出居砖,到底是詐尸還是另有隱情,我是刑警寧澤奏候,帶...
    沈念sama閱讀 35,559評(píng)論 5 345
  • 正文 年R本政府宣布蔗草,位于F島的核電站疆柔,受9級(jí)特大地震影響镶柱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜歇拆,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,167評(píng)論 3 328
  • 文/蒙蒙 一故觅、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧输吏,春花似錦、人聲如沸评也。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,779評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)罚缕。三九已至,卻和暖如春黔衡,著一層夾襖步出監(jiān)牢的瞬間腌乡,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,912評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工侣签, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留急迂,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,958評(píng)論 2 370
  • 正文 我出身青樓猴娩,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親卷中。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,779評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容