『運(yùn)維一體化 之 平臺(tái)一體化』---- 從標(biāo)題看可以看到兩個(gè)一體化跷乐，分別是運(yùn)維一體化與平臺(tái)一體化屠橄。運(yùn)維一體化是數(shù)據(jù)中心的運(yùn)營(yíng)體系，包括：人員組織一體化烤芦、流程一體化举娩、平臺(tái)一體化三方面，其中平臺(tái)一體化偏向于運(yùn)維工具與自動(dòng)化方面的建設(shè)。（平臺(tái)一體化涉及的內(nèi)容比較多铜涉，本文以30分鐘來(lái)摘幾個(gè)重點(diǎn)來(lái)分享）
轉(zhuǎn)型
和目前大部份運(yùn)維團(tuán)隊(duì)一樣智玻，我們的運(yùn)維團(tuán)隊(duì)也打著“救火”、“背鍋”芙代、“低價(jià)值”等標(biāo)簽吊奢，團(tuán)隊(duì)的特點(diǎn)歸納下有四個(gè)特點(diǎn)：
● ?被動(dòng)救火式，以被動(dòng)保障業(yè)務(wù)系統(tǒng)運(yùn)行纹烹，日常計(jì)劃性工作容易被打斷页滚、擱置；
● ?問(wèn)題驅(qū)動(dòng)式滔韵，以系統(tǒng)可用性逻谦、可靠性、業(yè)務(wù)請(qǐng)求等問(wèn)題驅(qū)動(dòng)運(yùn)維工作陪蜻；
● ?操作運(yùn)維邦马，重復(fù)性、操作類點(diǎn)主要工作量的運(yùn)維模式宴卖；
● ?經(jīng)驗(yàn)式運(yùn)維滋将，由人工經(jīng)驗(yàn)驅(qū)動(dòng)的運(yùn)維模式，尤其是一些經(jīng)驗(yàn)豐富的老員工的離職在短期內(nèi)會(huì)對(duì)運(yùn)維質(zhì)量帶來(lái)一定的沖擊症昏。
針對(duì)上面四個(gè)特點(diǎn)我們提出了四個(gè)轉(zhuǎn)型：
● ?分別是從被動(dòng)救火式向主動(dòng)精細(xì)化轉(zhuǎn)型随闽，主動(dòng)分析，主動(dòng)優(yōu)化肝谭，驅(qū)動(dòng)開(kāi)發(fā)掘宪，促進(jìn)DevOps的落地；
● ?從問(wèn)題驅(qū)動(dòng)向價(jià)值驅(qū)動(dòng)轉(zhuǎn)型攘烛，以業(yè)務(wù)體驗(yàn)魏滚、服務(wù)滿意度、促進(jìn)業(yè)務(wù)更好發(fā)展坟漱；
● ?從操作運(yùn)維向運(yùn)維開(kāi)發(fā)轉(zhuǎn)型鼠次，通過(guò)為運(yùn)維人員提供運(yùn)維開(kāi)發(fā)平臺(tái)，降低運(yùn)維開(kāi)發(fā)門檻芋齿，快速落地一些緊迫的運(yùn)維工具腥寇，降低操作性、重復(fù)性的運(yùn)維工作觅捆；
● ?從依靠經(jīng)驗(yàn)向智能化驅(qū)動(dòng)運(yùn)維轉(zhuǎn)型赦役，結(jié)合數(shù)據(jù)分析、知識(shí)庫(kù)栅炒、機(jī)器學(xué)習(xí)技術(shù)促進(jìn)運(yùn)維智能化扩劝。
在現(xiàn)有人力維持不變庸论，運(yùn)維質(zhì)量要求不斷提升的背景下，為實(shí)現(xiàn)上述面四個(gè)轉(zhuǎn)型目標(biāo)棒呛，我們認(rèn)為首先要解放生產(chǎn)力聂示，因?yàn)闆](méi)有人什么都轉(zhuǎn)型都實(shí)現(xiàn)不了。解決生產(chǎn)力當(dāng)前最主要的手段還需靠自動(dòng)化簇秒，所以下面再說(shuō)說(shuō)我們自動(dòng)化方面遇到的3個(gè)困難：
● ?如何更好：雖然運(yùn)維體系比較完整鱼喉，但工具主要以商業(yè)軟件為主，以煙囪式建設(shè)趋观，信息無(wú)法互聯(lián)互通扛禽，無(wú)法實(shí)現(xiàn)1+1>2的效果；
● ?如何更快：運(yùn)維工具拿來(lái)較多皱坛，自主研發(fā)少编曼，無(wú)法快速滿足自身運(yùn)維需求，還是存在較多人肉運(yùn)維的工作剩辟；
● ?如何更重要：運(yùn)維職業(yè)危機(jī)掐场，傳統(tǒng)的運(yùn)維操作為主的方式注定會(huì)成為歷史，取而代之的是精細(xì)化運(yùn)營(yíng)贩猎，如何既解決職業(yè)危機(jī)熊户，又能創(chuàng)造更大的價(jià)值，是難題吭服；
● ?針對(duì)上面提到的四個(gè)轉(zhuǎn)型目標(biāo)嚷堡，以及自動(dòng)化目前遇到的困難，我們制定了相關(guān)的技術(shù)及管理的改進(jìn)方案：運(yùn)維一體化艇棕。
一體化
在講一體化思路前蝌戒，我先講講促進(jìn)一體化思路形成的一些思路來(lái)源：
《架構(gòu)即未來(lái)》這本書(shū)里提到的組織、流程沼琉、架構(gòu)的三位一體和我們運(yùn)維一體化很吻合北苟；
騰訊藍(lán)鯨、云霽科技在運(yùn)維自動(dòng)化方面的整體解決方案引導(dǎo)著我制定平臺(tái)一體化的方案刺桃；
googlesre高逼格的運(yùn)維運(yùn)營(yíng)模式，促進(jìn)我在運(yùn)維開(kāi)發(fā)方面的解決思路形成吸祟；
如上圖所示瑟慈，我們的運(yùn)維一體化的核心是組織、流程屋匕、工具三位一體葛碧，具體來(lái)講是以CMDB為基礎(chǔ)，結(jié)合運(yùn)維統(tǒng)一門戶过吻、運(yùn)維分析平臺(tái)进泼、云平臺(tái)蔗衡、監(jiān)控平臺(tái)、流程平臺(tái)乳绕、操作平臺(tái)绞惦、審計(jì)歸檔平臺(tái)，構(gòu)建運(yùn)維工具一體化（即平臺(tái)一體化）洋措，并在工具一體化的同時(shí)济蝉，結(jié)合流程一體化，最終構(gòu)建組織菠发、流程王滤、工具三位一體的運(yùn)營(yíng)一體化的運(yùn)營(yíng)體系。運(yùn)維一體化以運(yùn)維向主動(dòng)精細(xì)化運(yùn)維滓鸠、價(jià)值驅(qū)動(dòng)雁乡、運(yùn)維開(kāi)發(fā)、智能化轉(zhuǎn)型為目標(biāo)糜俗，為實(shí)現(xiàn)上述目標(biāo)首要的工作是需要解放運(yùn)維生產(chǎn)力踱稍，通過(guò)“監(jiān)管控”運(yùn)維自動(dòng)化提高工作效率，通過(guò)自主的開(kāi)發(fā)平臺(tái)實(shí)現(xiàn)敏捷的開(kāi)發(fā)能力吩跋，通過(guò)運(yùn)維分析實(shí)現(xiàn)運(yùn)維智能化寞射，輔助運(yùn)維決策。
再重點(diǎn)講講分享的重點(diǎn)：平臺(tái)一體化锌钮，平臺(tái)一體化的思路是：6平臺(tái) +1門戶+ 4原則桥温。
● ?6平臺(tái)是：云平臺(tái)、監(jiān)控平臺(tái)梁丘、歸檔審計(jì)平臺(tái)侵浸、流程平臺(tái)、操作平臺(tái)氛谜、分析平臺(tái)這6個(gè)平臺(tái)分別對(duì)標(biāo)我們身體的骨掏觉、眼、神經(jīng)系統(tǒng)值漫、循環(huán)系統(tǒng)澳腹、手、腦杨何。其中監(jiān)控平臺(tái)酱塔、歸檔審計(jì)平臺(tái)、流程平臺(tái)危虱、操作平臺(tái)又組成了我們常規(guī)講到的自動(dòng)化中的“監(jiān)羊娃、管、控”埃跷。這6個(gè)平臺(tái)中每一個(gè)平臺(tái)又組成相關(guān)技術(shù)體系蕊玷，具體每個(gè)平臺(tái)包括的體系內(nèi)容及技術(shù)架構(gòu)這里因時(shí)間問(wèn)題不做深入解釋邮利。
● ?1門戶是：統(tǒng)一門戶是運(yùn)維可視化的關(guān)鍵，它集成了工具的可視化層垃帅，提供多維用戶延届、多種展示形式、以運(yùn)維場(chǎng)景驅(qū)動(dòng)建設(shè)等作用挺智。
● ?4原則是：自主化祷愉，工具化、服務(wù)化赦颇、可視化二鳄，這4個(gè)原則后面會(huì)進(jìn)一步介紹。
通過(guò)歸納這個(gè)6平臺(tái)+1門戶+4原則的平臺(tái)一體化思路媒怯，并將這個(gè)思路推廣到數(shù)據(jù)中心工具建設(shè)團(tuán)隊(duì)中订讼，使我們能否快速達(dá)成共識(shí)，提高協(xié)作效率扇苞。
下面這張PPT是對(duì)平臺(tái)一體化的進(jìn)一步細(xì)化欺殿，概括了目前平臺(tái)一體化中的主要內(nèi)容，各位有興趣可以花時(shí)間看看鳖敷。
建設(shè)原則
平臺(tái)一體化規(guī)劃重點(diǎn)解決各技術(shù)平臺(tái)間的信息互聯(lián)互通脖苏、統(tǒng)一展現(xiàn)和緊密聯(lián)動(dòng)，對(duì)于各個(gè)平臺(tái)工具有著幾個(gè)原則“服務(wù)化定踱、可視化棍潘、自主化、工具化”崖媚，即：
● ?自主化：構(gòu)建運(yùn)維開(kāi)發(fā)平臺(tái)降低運(yùn)維工具開(kāi)發(fā)門檻亦歉，促進(jìn)平臺(tái)工具開(kāi)發(fā)更加自主可控，更加敏捷畅哑；
● ?工具化：在運(yùn)維團(tuán)隊(duì)中建設(shè)工具建設(shè)文化肴楷，促進(jìn)運(yùn)維開(kāi)發(fā)文化建設(shè)；
● ?服務(wù)化：拒絕推倒重建荠呐，整合好存量自動(dòng)化工具赛蔫，引入新的工具，實(shí)現(xiàn)工具間的互聯(lián)互通泥张，數(shù)據(jù)共享呵恢；
● ?可視化：通過(guò)更加統(tǒng)一、清晰的可視化建設(shè)促進(jìn)平臺(tái)的效益的產(chǎn)生圾结；
下面對(duì)這4個(gè)原則瑰剃，結(jié)合我們目前工具建設(shè)階段性的成效來(lái)做進(jìn)一步的分享齿诉。
原則1：自主化
自主化包括開(kāi)發(fā)能力自主化與架構(gòu)自主化筝野。
● ?開(kāi)發(fā)能力的自主化晌姚，我們主要是通過(guò)建立運(yùn)維開(kāi)發(fā)平臺(tái)，這個(gè)開(kāi)發(fā)平臺(tái)具有所見(jiàn)即所得的開(kāi)發(fā)能力歇竟，它們具備這些特點(diǎn)：
????????1挥唠、所見(jiàn)即所得的腳本開(kāi)發(fā)能力：
? ? ? ? ?2、 腳本開(kāi)發(fā)環(huán)境（含環(huán)境焕议、測(cè)試宝磨、部署，以及日志盅安、權(quán)限唤锉、代碼管理、腳本執(zhí)行統(tǒng)計(jì)等一籃子解決方案）别瞭；
????????3窿祥、標(biāo)準(zhǔn)組件化腳本可供調(diào)用，運(yùn)維人員在開(kāi)發(fā)過(guò)程中可以不寫(xiě)具體的腳本蝙寨，采用組件的方式在可視化界面上組合多個(gè)現(xiàn)成的腳本為一個(gè)腳本晒衩。
● ?所拖即所得的可視化開(kāi)發(fā)能力：
????????1、實(shí)現(xiàn)運(yùn)維工具的可視化展示（提供HTML5風(fēng)格可視化運(yùn)維工具控件的拖拉生成統(tǒng)一風(fēng)格的代碼墙歪，運(yùn)維開(kāi)發(fā)人員無(wú)需關(guān)注HTML標(biāo)簽代碼與CS風(fēng)格S）听系；
????????2、實(shí)現(xiàn)可視化工具流程的配置能力虹菲，即工具上事件所需要的頁(yè)面流靠胜；
????????3、設(shè)計(jì)標(biāo)準(zhǔn)組件提高可視化開(kāi)發(fā)效率届惋；
● ?運(yùn)維一體化下的開(kāi)發(fā)能力：
????????1髓帽、標(biāo)準(zhǔn)化腳本的服務(wù)化能力；
????????2脑豹、服務(wù)化腳本的接口注冊(cè)郑藏；
架構(gòu)自主化，我們?cè)谄脚_(tái)建設(shè)過(guò)程中引入了互聯(lián)網(wǎng)分布式的架構(gòu)瘩欺，開(kāi)源的技術(shù)架構(gòu)能讓我們對(duì)技術(shù)架構(gòu)更有可控性必盖。以集中監(jiān)控系統(tǒng)為例，我們對(duì)原有的應(yīng)用主備俱饿、數(shù)據(jù)庫(kù)主備的架構(gòu)改造為分布式架構(gòu)歌粥，現(xiàn)在這個(gè)系統(tǒng)采用WEB、應(yīng)用分布式拍埠，通過(guò)MYCAT分布式數(shù)據(jù)庫(kù)中間件實(shí)現(xiàn)數(shù)據(jù)庫(kù)分布式失驶，采用ZK實(shí)現(xiàn)數(shù)據(jù)庫(kù)主節(jié)點(diǎn)的選取，通過(guò)MYSQL實(shí)現(xiàn)讀寫(xiě)分離枣购，目前我們的數(shù)據(jù)庫(kù)由17臺(tái)MYSQL組成嬉探，數(shù)據(jù)存儲(chǔ)由原來(lái)了一個(gè)月擦耀，到現(xiàn)在的一年以上，支持多指標(biāo)涩堤、多形式眷蜓、多并發(fā)的監(jiān)控、分析的運(yùn)維場(chǎng)景需要胎围。
整體的架構(gòu)參見(jiàn)PPT這張圖吁系。
原則2：工具化
我們將工具分為重量型工具和輕量型工具，大致以這個(gè)思路區(qū)分：
● ?重量型工具：包括監(jiān)控類系統(tǒng)（集中監(jiān)控白魂、性能監(jiān)控汽纤、基礎(chǔ)監(jiān)控、網(wǎng)絡(luò)安全監(jiān)控等）福荸、自動(dòng)化部署冒版、日志系統(tǒng)、業(yè)務(wù)批次調(diào)度等等這些需要開(kāi)發(fā)工作量比較大的系統(tǒng)逞姿；
● ?輕型工具：包括應(yīng)用服務(wù)啟停工具辞嗡、數(shù)據(jù)維護(hù)工具、數(shù)據(jù)查詢工具滞造、業(yè)務(wù)運(yùn)營(yíng)活動(dòng)實(shí)時(shí)報(bào)表等和運(yùn)維日常操作工作結(jié)合比較緊密且相對(duì)簡(jiǎn)單的工具续室；
● ?對(duì)于這兩類工具，我們綜合人員能力谒养、投入產(chǎn)出等客觀因素求個(gè)平衡點(diǎn)挺狰，其中重量型工具以引入成熟系統(tǒng)進(jìn)行二次開(kāi)發(fā)為主，輕量型工具逐步以自主開(kāi)發(fā)工具為主买窟。
下面針對(duì)上面兩類工具分別舉例丰泊。
首先是重量型工具，以集中監(jiān)控為例始绍，監(jiān)控架構(gòu)見(jiàn)這張PPT瞳购。
集中監(jiān)控的建設(shè)思路主要是以“不漏報(bào)、不誤報(bào)”加強(qiáng)“監(jiān)”的能力亏推，通過(guò)監(jiān)控分析学赛、學(xué)習(xí)能力補(bǔ)充自動(dòng)化“控”的能力，實(shí)現(xiàn)智能化的主動(dòng)預(yù)測(cè)吞杭、故障自愈盏浇、無(wú)人值守。目前我們的監(jiān)控體系己覆蓋從基礎(chǔ)設(shè)施芽狗、服務(wù)器存儲(chǔ)绢掰、系統(tǒng)軟件（含虛擬化、容器、系統(tǒng)軟件等）滴劲、應(yīng)用可用性谊却、客戶體驗(yàn)五個(gè)層次的對(duì)象，這些監(jiān)控對(duì)像由不同的監(jiān)控工具實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的采集與事件分析哑芹。在監(jiān)控工具之上缀去，由集中監(jiān)控實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)整合干茉、事件整合、子系統(tǒng)接入棵譬、統(tǒng)一可視化乙嘀、數(shù)據(jù)源采集末购、智能學(xué)習(xí)、智能基線虎谢、事件協(xié)同處理盟榴、事件聯(lián)動(dòng)分析、新技術(shù)平臺(tái)監(jiān)控等平臺(tái)能力婴噩。后續(xù)需要在平臺(tái)能力之上建立智能學(xué)習(xí)型監(jiān)控擎场，實(shí)現(xiàn)主動(dòng)預(yù)測(cè)故障、故障自愈几莽、無(wú)人值守迅办。
● ?集中的可視化，具備多用戶視角章蚣、多系統(tǒng)整合展示站欺、多形式展示（WEB端、大屏纤垂，以及目前在開(kāi)發(fā)的手持端監(jiān)控）
● ?體系化整合矾策，整合存量系統(tǒng)（比如基礎(chǔ)監(jiān)控、性能監(jiān)控峭沦、應(yīng)用監(jiān)控等）贾虽、整合數(shù)據(jù)、整合事件等吼鱼。
● ?將監(jiān)控能力下探到分行榄鉴，可以實(shí)現(xiàn)分行終端的的監(jiān)控管理，模擬柜面終端的操作回放蛉抓。
● ?深度關(guān)聯(lián)分析庆尘，相似事件統(tǒng)一匯總，比如我們?cè)贑MDB的基礎(chǔ)之上巷送，建設(shè)應(yīng)用配置庫(kù)驶忌，應(yīng)用配置庫(kù)除了應(yīng)用服務(wù)、版本、程序等CI項(xiàng)外付魔，還將應(yīng)用的縱向與橫向關(guān)系通過(guò)可視化拖拉的方式實(shí)現(xiàn)聊品。
● ?利用好監(jiān)控?cái)?shù)據(jù)，比如將監(jiān)控?cái)?shù)據(jù)用于一鍵巡檢几苍，業(yè)務(wù)運(yùn)營(yíng)活動(dòng)自定義報(bào)表等翻屈。
● ?其它，比如這個(gè)事件豐富妻坝，我們將事件的信息展示伸眶，還將涉及的系統(tǒng)配置信息、關(guān)聯(lián)事件刽宪、事件具體數(shù)據(jù)厘贼、事件應(yīng)急、工單情況圣拄、涉及OS的資源嘴秸、性能、事件處理情況庇谆、事件應(yīng)急工具等信息集中在一個(gè)視圖岳掐，以促進(jìn)事件的快速定位與應(yīng)急恢復(fù)。
講完重量型工具饭耳，現(xiàn)在舉例講講輕型工具岩四，下面這張應(yīng)用工廠的界面可以很好的解釋我們的建設(shè)思路。參考APPSTORE哥攘，在團(tuán)隊(duì)中建立工具開(kāi)發(fā)文化剖煌，管理員可以開(kāi)發(fā)工具，并發(fā)布到應(yīng)用工廠并供其它管理員使用逝淹，其它管理員可以對(duì)工具提建議或打分耕姊，這些打分可以作為該工具歡迎度進(jìn)行獎(jiǎng)勵(lì)。
以輕量型工具中的服務(wù)啟停為例栅葡，這個(gè)工具可以滿足關(guān)機(jī)維護(hù)茉兰、應(yīng)用投產(chǎn)、故障應(yīng)急等場(chǎng)景欣簇，支持單個(gè)或多個(gè)服務(wù)的環(huán)境保存规脸、進(jìn)程常規(guī)情況下的啟停、異常情況下啟停熊咽、啟停后多重形式的檢查方法莫鸭。
這些小工具的建設(shè)一方面提高了團(tuán)隊(duì)運(yùn)維工作效率與標(biāo)準(zhǔn)化的落實(shí)，另一方面也有助于一些有想法横殴、有能力的同事增加工作成就感被因。
原則3：服務(wù)化
服務(wù)化是為了實(shí)現(xiàn)工具間通訊的互聯(lián)互通，服務(wù)化一方面要求各工具對(duì)外提供API接口；另一方面是通過(guò)統(tǒng)一開(kāi)發(fā)一個(gè)服務(wù)集成模塊實(shí)現(xiàn)工具監(jiān)控API接口的注冊(cè)梨与、發(fā)現(xiàn)堕花、鑒權(quán)。
這個(gè)服務(wù)集成有2個(gè)主要功能：
● ?服務(wù)通訊總線粥鞋，相當(dāng)于一個(gè)輕量型的ESB缘挽，工具間的通訊需要經(jīng)過(guò)服務(wù)集成模塊；
● ?服務(wù)注冊(cè)與發(fā)現(xiàn)呻粹，提供可視化的界面為各個(gè)工具進(jìn)行接口注冊(cè)壕曼，為調(diào)用起提供接口入?yún)⒄f(shuō)明、調(diào)用說(shuō)明等功能尚猿；
這個(gè)服務(wù)集成還提供多種通訊方式，RPC楣富、MQ隊(duì)列等凿掂，可根據(jù)不同的通訊需要進(jìn)行調(diào)用。
原則4： 可視化
可視化方面我們主要以統(tǒng)一門戶為載體纹蝴，在技術(shù)上我們選擇了以H5加CSS3（為移動(dòng)端化作準(zhǔn)備）庄萎，提供以下3個(gè)特性：
● ?提供指定服務(wù)：統(tǒng)一門戶提供所有工具菜單、生成訪問(wèn)用TOKEN塘安；
● ?頁(yè)面適應(yīng)性改造：統(tǒng)一風(fēng)格糠涛，并分步對(duì)存量工具進(jìn)行風(fēng)格改造
● ?訪問(wèn)適應(yīng)急改造：快速跳轉(zhuǎn)、多標(biāo)簽單點(diǎn)登錄兼犯、瀏覽器兼容忍捡；
在功能上，我們提供多種用戶視角切黔，專業(yè)團(tuán)隊(duì)視圖砸脊、管理視圖、業(yè)務(wù)視圖纬霞，下在這張界面是我們統(tǒng)一門戶待辦的視圖凌埂，它將不同用戶角色所關(guān)心的指標(biāo)集中在這個(gè)視圖，作為用戶控制臺(tái)诗芜。
接下來(lái)還將繼續(xù)做好自動(dòng)化瞳抓，解決工作上的痛點(diǎn)，解放生產(chǎn)力伏恐，后續(xù)再結(jié)合大數(shù)據(jù)去放眼智能運(yùn)維孩哑。
