一瓢阴、看影響范圍，是什么程度的掛了
有的時(shí)候可能是別的服務(wù)掛了導(dǎo)致本服務(wù)的部分功能掛了健无，有的時(shí)候是基礎(chǔ)服務(wù)掛了荣恐，有時(shí)候是服務(wù)所有功能都不可用了。需要確定一下影響范圍累贤。怎么確定呢叠穆？最快的方式就是去頁(yè)面看一下都有哪些功能不可用了，以及關(guān)注下sentry的報(bào)警臼膏。如果說(shuō)服務(wù)掛了所有功能不可用硼被，那么sentry會(huì)瘋狂報(bào)警、頁(yè)面全都打不開(kāi)讶请，error日志都是在刷屏（這時(shí)候就不要看error日志了）祷嘶，然后看一下機(jī)器大盤(pán)監(jiān)控屎媳，一半來(lái)說(shuō)機(jī)器掛了的話夺溢，能很明顯從大盤(pán)監(jiān)控看出來(lái)CPU飆升。
二烛谊、快速解決問(wèn)題
深呼吸风响，保持冷靜，本著以最快速度解決問(wèn)題的精神丹禀，看下是否有新代碼部署状勤，或者腳本在跑鞋怀，如果有的話需要快速回滾代碼〕炙眩回滾無(wú)效的話密似，需要問(wèn)一下運(yùn)維是不是底層服務(wù)出了問(wèn)題，配合去處理葫盼，看下其他服務(wù)最近是否有上線残腌，如果最近有上線的話，需要回滾贫导。
三抛猫、如何定位問(wèn)題？
關(guān)注第一條報(bào)警孩灯，往往是問(wèn)題發(fā)生的根源９虢稹Ｂ蒜伞筷畦！這是最重要的，因?yàn)槲揖团龅胶雎粤说谝粭l最重要的報(bào)警桨踪，然后看各種error日志面哥，看大盤(pán)監(jiān)控哎壳，查詢(xún)bi的nginx都毫無(wú)頭緒的情況，回過(guò)頭來(lái)才發(fā)現(xiàn)是因?yàn)闆](méi)關(guān)注第一條報(bào)警尚卫。所以最后定位到mq掛了的原因是由于發(fā)布消息的時(shí)候超時(shí)時(shí)間設(shè)置為5s归榕，但是mq出現(xiàn)故障了，很多mq任務(wù)一直在嘗試建立連接吱涉，導(dǎo)致連接數(shù)爆滿刹泄，然后CPU開(kāi)始飆升，之后很多請(qǐng)求沒(méi)辦法處理怎爵，就出現(xiàn)了很多499特石，502，504鳖链。后來(lái)重啟服務(wù)之后姆蘸，服務(wù)能正常了，但是出現(xiàn)很多消息堆積的現(xiàn)象芙委，并且內(nèi)存很滿逞敷，這里內(nèi)存快要溢出的原因可能是消息堆積了？灌侣？
四推捐、避免服務(wù)掛了
設(shè)置各類(lèi)報(bào)警，比如錯(cuò)誤日志報(bào)警侧啼、sentry報(bào)警牛柒、服務(wù)狀態(tài)報(bào)警堪簿、慢查詢(xún)報(bào)警、499報(bào)警等皮壁，然后遇到報(bào)警第一時(shí)間處理椭更，關(guān)注第一條報(bào)警是什么。這非常重要６昶恰甜孤！
服務(wù)掛了怎么辦臀玄？
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)嘹狞，“玉大人岂膳，你說(shuō)我怎么就攤上這事“跬” “怎么了谈截？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)涧偷。 經(jīng)常有香客問(wèn)我簸喂，道長(zhǎng)，這世上最難降的妖魔是什么燎潮？ 我笑而不...
- 正文 為了忘掉前任喻鳄，我火速辦了婚禮，結(jié)果婚禮上确封，老公的妹妹穿的比我還像新娘除呵。我一直安慰自己，他們只是感情好爪喘，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布颜曾。 她就那樣靜靜地躺著，像睡著了一般腥放。 火紅的嫁衣襯著肌膚如雪泛啸。 梳的紋絲不亂的頭發(fā)上绿语，一...
- 那天秃症，我揣著相機(jī)與錄音候址，去河邊找鬼。 笑死种柑，一個(gè)胖子當(dāng)著我的面吹牛岗仑，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播聚请，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼荠雕，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了驶赏？” 一聲冷哼從身側(cè)響起炸卑，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎煤傍，沒(méi)想到半個(gè)月后盖文，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡蚯姆，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年五续，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片龄恋。...
- 正文 年R本政府宣布显押，位于F島的核電站链韭，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏煮落。R本人自食惡果不足惜敞峭，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蝉仇。 院中可真熱鬧旋讹，春花似錦、人聲如沸轿衔。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)害驹。三九已至鞭呕，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間宛官，已是汗流浹背葫松。 一陣腳步聲響...
- 正文 我出身青樓咕娄，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親珊擂。 傳聞我的和親對(duì)象是個(gè)殘疾皇子圣勒，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 一、交易型系統(tǒng)設(shè)計(jì)的一些原則 1.在設(shè)計(jì)系統(tǒng)時(shí)摧扇，應(yīng)該多思考墨菲定律： * 任何事情都沒(méi)有表面看起來(lái)那么簡(jiǎn)單 * 所...
- 簡(jiǎn)要 這篇文章是在公司內(nèi)部做的一次關(guān)于Java日志的一次技術(shù)分享圣贸，所以部分敏感圖片、文字打了馬賽克還請(qǐng)諒解扛稽，歡迎指...
- 目錄1 消息隊(duì)列2 緩存3 分布式系統(tǒng) 4 Dubbo5 數(shù)據(jù)庫(kù)參考：· 中華石杉視頻 3 分布式系統(tǒng) 3.1 ...
- 業(yè)務(wù)層面冪等 冗余部署多個(gè)進(jìn)程存在并發(fā)消費(fèi)的可能性并發(fā)轉(zhuǎn)變成串行消費(fèi) 發(fā)送端會(huì)發(fā)送很多次旁趟，消費(fèi)端可能會(huì)消費(fèi)很多次，...
- 點(diǎn)贊再看，養(yǎng)成習(xí)慣本文 GitHub https://github.com/JavaFamily 已收錄瞧掺，有一線大...
