一千零一夜 第一夜
大家好为居，我是PA集團的運維總監(jiān)碌宴，管理著規(guī)模不大的IT組，努力保證各種系統(tǒng)穩(wěn)定運行蒙畴，PA公司是位于北京西二旗的一家IT公司贰镣，主要服務(wù)于保險公司，基本已經(jīng)覆蓋了國內(nèi)百分之80以上市場份額膳凝。即使是在不被重視的IT部門碑隆，我也想打下自己的一片天地。今夜是無眠的第一夜蹬音，歡迎到來上煤。
現(xiàn)在是凌晨三點鐘，歡快動感的歌曲從手機中傾瀉而去著淆，IT有句話如果你想毀掉一首歌就把它設(shè)置成告警音樂吧楼入。監(jiān)控系統(tǒng)就開始瘋狂告警，內(nèi)部機房溫度過高牧抽，看IT群，已經(jīng)有同事趕去現(xiàn)場了遥赚，我也趕緊起床奔去公司扬舒。科比說：你知道凌晨四點的洛杉磯是什么樣子嗎凫佛？不好意思讲坎，北京的夜晚基本無眠。
來到公司愧薛，幾個同事已經(jīng)在處理故障了晨炕，現(xiàn)在機房溫度已經(jīng)達到了35度，在冬天有這個溫度確實讓人感覺溫暖毫炉，但是如果出現(xiàn)在了機房這種地方瓮栗，一切就顯得不那么美好了。
為了保證溫度不在升高，我們關(guān)閉了一些不重要的業(yè)務(wù)和服務(wù)器费奸∶旨ぃ“謝天謝地”，我心里這樣想愿阐。去年也出現(xiàn)過類似的問題微服，當天早上起來，電話就瘋狂的響缨历。各種業(yè)務(wù)部門反饋說系統(tǒng)不可用了以蕴，而我并未收到任何告警，（很遺憾當時我們的告警系統(tǒng)辛孵，就安裝在內(nèi)部機房服務(wù)器的某個虛擬機上丛肮。）來到公司打開機房問，發(fā)現(xiàn)溫度已經(jīng)熱的不行了觉吭，還是空調(diào)制冷損壞腾供，這次故障好死不死的讓核心數(shù)據(jù)庫服務(wù)器造成了損壞。多個內(nèi)部業(yè)務(wù)沒了數(shù)據(jù)庫還玩?zhèn)€毛線鲜滩，雖然進行了緊急恢復伴鳖，但是業(yè)務(wù)還是中斷了2個小時。
后期分析此次事件徙硅，空調(diào)制冷應(yīng)該是凌晨3點出現(xiàn)了問題榜聂，導致內(nèi)部機房溫度過過高，但是當時的告警根本就沒有記錄服務(wù)器硬件設(shè)備的溫度嗓蘑，在3個小時后须肆，溫度已經(jīng)到達極限，造成服務(wù)器硬件設(shè)備損壞桩皿。當天一共由于溫度過高造成了8臺服務(wù)器宕機和兩臺設(shè)備損壞豌汇，當然影響最大的還是這臺數(shù)據(jù)庫。
為了杜絕此類事件泄隔，我們進行各種監(jiān)控溫度的測試拒贱，（也許你會問為什么不從根本解決空調(diào)的問題，很遺憾解決空調(diào)問題成本較高佛嬉，這個成本是時間成本逻澳、業(yè)務(wù)成本、金錢成本暖呕、人力成本等等的斜做，總之就是現(xiàn)在公司情況并不適合更換空調(diào)，當然空調(diào)問題我們也做了規(guī)劃湾揽。）OK繼續(xù)監(jiān)控問題經(jīng)過各種服務(wù)器硬件測試和網(wǎng)絡(luò)設(shè)備硬件測試瓤逼，也考慮通過樹莓派自己寫一個硬件監(jiān)控設(shè)備來進行監(jiān)控笼吟，經(jīng)過各種方案的測試，最終我們用50塊錢搞定了抛姑，買了兩個小米家庭溫濕度監(jiān)控小設(shè)備赞厕，機房的各個角落放了一個，每個人手機開個APP實時告警實時查看（PS后來我們家也買了兩個定硝，還買了個煙感效果同樣很好皿桑。）溫度監(jiān)控的問題就這樣搞定了，當然這只是個臨時解決辦法蔬啡，但這確實起到了實際作用诲侮。今天出現(xiàn)類似問題的時候，我們第一時間接收到了警報趕往現(xiàn)場處理箱蟆，未造成實際業(yè)務(wù)影響沟绪，這對于我們來說已經(jīng)謝天謝地了。處理完所有問題已經(jīng)接近凌晨5點了空猜，也許你會說這種接近方式是不是太low了绽慈，我們公司用的某某監(jiān)控，我們有NOC我們基礎(chǔ)施舍很穩(wěn)定辈毯，但是我想說坝疼，每個公司的IT環(huán)境都有各種各樣的問題，所以需要我們靈活的去處理所有的挑戰(zhàn)谆沃，不要讓一個坑絆倒我們兩次钝凶。
在公司門口早點攤服務(wù)員熟悉的目光中，我們該吃早點吃早點唁影，該回家睡覺回家睡覺耕陷。而我忙碌的一天又開始了。
第一夜結(jié)束据沈。
我是EC君哟沫，如果你喜歡我的文章，請幫忙點個關(guān)注锌介！點個喜歡吧嗜诀！
也可以點擊作者信息，掃描微信二維碼關(guān)注我的個人微信公眾號掏湾。
你的鼓勵將是我們共同進步的源泉。
