作者：彭華盛最岗，微信訂閱號：HuashengPeng001

運維之路二維碼

本專題對該文進行了重新排版和重點標注蛔六。

3月底有幸參加了全球云計算開源大會荆永，并作了一個關(guān)于《運維一體之平臺一體化》的分享，現(xiàn)將PPT的內(nèi)容整理成文国章。
『運維一體化 之 平臺一體化』 ---- 從標題看可以看到兩個一體化具钥，分別是運維一體化與平臺一體化。運維一體化是數(shù)據(jù)中心的運營體系液兽，包括：人員組織一體化骂删、流程一體化、平臺一體化三方面，其中平臺一體化偏向于運維工具與自動化方面的建設(shè)宁玫。（平臺一體化涉及的內(nèi)容比較多粗恢，本文以30分鐘來摘幾個重點來分享）

轉(zhuǎn)型

和目前大部份運維團隊一樣，我們的運維團隊也打著“救火”欧瘪、“背鍋”适滓、“低價值”等標簽，團隊的特點歸納下有四個特點：

• 被動救火式恋追，以被動保障業(yè)務(wù)系統(tǒng)運行凭迹，日常計劃性工作容易被打斷、擱置苦囱；
• 問題驅(qū)動式嗅绸，以系統(tǒng)可用性、可靠性撕彤、業(yè)務(wù)請求等問題驅(qū)動運維工作鱼鸠；
• 操作運維，重復(fù)性羹铅、操作類點主要工作量的運維模式蚀狰；
• 經(jīng)驗式運維，由人工經(jīng)驗驅(qū)動的運維模式职员，尤其是一些經(jīng)驗豐富的老員工的離職在短期內(nèi)會對運維質(zhì)量帶來一定的沖擊麻蹋。

針對上面四個特點我們提出了四個轉(zhuǎn)型：

• 分別是從被動救火式向主動精細化轉(zhuǎn)型，主動分析焊切，主動優(yōu)化扮授，驅(qū)動開發(fā)，促進DEVOPS的落地专肪；
• 從問題驅(qū)動向價值驅(qū)動轉(zhuǎn)型刹勃，以業(yè)務(wù)體驗、服務(wù)滿意度嚎尤、促進業(yè)務(wù)更好發(fā)展荔仁；
• 從操作運維向運維開發(fā)轉(zhuǎn)型，通過為運維人員提供運維開發(fā)平臺芽死，降低運維開發(fā)門檻乏梁，快速落地一些緊迫的運維工具，降低操作性收奔、重復(fù)性的運維工作掌呜；
• 從依靠經(jīng)驗向智能化驅(qū)動運維轉(zhuǎn)型，結(jié)合數(shù)據(jù)分析坪哄、知識庫、機器學(xué)習(xí)技術(shù)促進運維智能化。

在現(xiàn)有人力維持不變翩肌，運維質(zhì)量要求不斷提升的背景下模暗，為實現(xiàn)上述面四個轉(zhuǎn)型目標，我們認為首先要解放生產(chǎn)力念祭，因為沒有人什么都轉(zhuǎn)型都實現(xiàn)不了兑宇。解決生產(chǎn)力當前最主要的手段還需靠自動化，所以下面再說說我們自動化方面遇到的3個困難：

• 如何更好：雖然運維體系比較完整粱坤，但工具主要以商業(yè)軟件為主隶糕，以煙囪式建設(shè)，信息無法互聯(lián)互通站玄，無法實現(xiàn)1+1>2的效果枚驻；
• 如何更快：運維工具拿來較多，自主研發(fā)少株旷，無法快速滿足自身運維需求再登，還是存在較多人肉運維的工作；
• 如何更重要：運維職業(yè)危機晾剖，傳統(tǒng)的運維操作為主的方式注定會成為歷史锉矢，取而代之的是精細化運營，如何既解決職業(yè)危機齿尽，又能創(chuàng)造更大的價值沽损，是難題；

針對上面提到的四個轉(zhuǎn)型目標循头，以及自動化目前遇到的困難缠俺，我們制定了相關(guān)的技術(shù)及管理的改進方案：運維一體化。

一體化

在講一體化思路前贷岸，我先講講促進一體化思路形成的一些思路來源：

《架構(gòu)即未來》這本書里提到的組織壹士、流程、架構(gòu)的三位一體和我們運維一體化很吻合偿警；
騰訊藍鯨躏救、云霽科技在運維自動化方面的整體解決方案引導(dǎo)著我制定平臺一體化的方案；
googlesre高逼格的運維運營模式螟蒸，促進我在運維開發(fā)方面的解決思路形成盒使；

運維一體化

如上圖所示，我們的運維一體化的核心是組織七嫌、流程少办、工具三位一體，具體來講是以CMDB為基礎(chǔ)诵原，結(jié)合運維統(tǒng)一門戶英妓、運維分析平臺挽放、云平臺、監(jiān)控平臺蔓纠、流程平臺辑畦、操作平臺、審計歸檔平臺腿倚，構(gòu)建運維工具一體化（即平臺一體化）纯出，并在工具一體化的同時，結(jié)合流程一體化敷燎，最終構(gòu)建組織暂筝、流程、工具三位一體的運營一體化的運營體系硬贯。運維一體化以運維向主動精細化運維焕襟、價值驅(qū)動、運維開發(fā)澄成、智能化轉(zhuǎn)型為目標胧洒，為實現(xiàn)上述目標首要的工作是需要解放運維生產(chǎn)力，通過“監(jiān)管控”運維自動化提高工作效率墨状，通過自主的開發(fā)平臺實現(xiàn)敏捷的開發(fā)能力卫漫，通過運維分析實現(xiàn)運維智能化，輔助運維決策肾砂。

平臺一體化

再重點講講分享的重點：平臺一體化列赎，平臺一體化的思路是：6平臺 +1門戶+ 4原則。

• 6平臺是：云平臺镐确、監(jiān)控平臺包吝、歸檔審計平臺、流程平臺源葫、操作平臺诗越、分析平臺這6個平臺分別對標我們身體的骨、眼息堂、神經(jīng)系統(tǒng)嚷狞、循環(huán)系統(tǒng)、手荣堰、腦床未。其中監(jiān)控平臺、歸檔審計平臺振坚、流程平臺薇搁、操作平臺又組成了我們常規(guī)講到的自動化中的“監(jiān)、管渡八、控”啃洋。這6個平臺中每一個平臺又組成相關(guān)技術(shù)體系传货，具體每個平臺包括的體系內(nèi)容及技術(shù)架構(gòu)這里因時間問題不做深入解釋。
• 1門戶是：統(tǒng)一門戶是運維可視化的關(guān)鍵裂允，它集成了工具的可視化層损离，提供多維用戶哥艇、多種展示形式绝编、以運維場景驅(qū)動建設(shè)等作用。
• 4原則是：自主化貌踏，工具化十饥、服務(wù)化、可視化祖乳，這4個原則后面會進一步介紹逗堵。

通過歸納這個6平臺+1門戶+4原則的平臺一體化思路，并將這個思路推廣到數(shù)據(jù)中心工具建設(shè)團隊中眷昆，使我們能否快速達成共識蜒秤，提高協(xié)作效率。

下面這張PPT是對平臺一體化的進一步細化亚斋，概括了目前平臺一體化中的主要內(nèi)容作媚，各位有興趣可以花時間看看。

平臺一體化

建設(shè)原則

平臺一體化規(guī)劃重點解決各技術(shù)平臺間的信息互聯(lián)互通帅刊、統(tǒng)一展現(xiàn)和緊密聯(lián)動纸泡，對于各個平臺工具有著幾個原則“服務(wù)化、可視化赖瞒、自主化女揭、工具化”，即：

• 自主化：構(gòu)建運維開發(fā)平臺降低運維工具開發(fā)門檻栏饮，促進平臺工具開發(fā)更加自主可控吧兔，更加敏捷；
• 工具化：在運維團隊中建設(shè)工具建設(shè)文化袍嬉，促進運維開發(fā)文化建設(shè)境蔼；
• 服務(wù)化：拒絕推倒重建，整合好存量自動化工具冬竟，引入新的工具欧穴，實現(xiàn)工具間的互聯(lián)互通，數(shù)據(jù)共享泵殴；
• 可視化：通過更加統(tǒng)一涮帘、清晰的可視化建設(shè)促進平臺的效益的產(chǎn)生；

下面對這4個原則笑诅，結(jié)合我們目前工具建設(shè)階段性的成效來做進一步的分享调缨。

原則1：自主化

自主化包括開發(fā)能力自主化與架構(gòu)自主化疮鲫。

• 開發(fā)能力的自主化，我們主要是通過建立運維開發(fā)平臺弦叶，這個開發(fā)平臺具有所見即所得的開發(fā)能力俊犯，它們具備這些特點：
  • 所見即所得的腳本開發(fā)能力：
    • 腳本開發(fā)環(huán)境（含環(huán)境、測試伤哺、部署燕侠，以及日志、權(quán)限立莉、代碼管理绢彤、腳本執(zhí)行統(tǒng)計等一籃子解決方案）；
    • 標準組件化腳本可供調(diào)用蜓耻，運維人員在開發(fā)過程中可以不寫具體的腳本茫舶，采用組件的方式在可視化界面上組合多個現(xiàn)成的腳本為一個腳本。
  • 所拖即所得的可視化開發(fā)能力：
    • 實現(xiàn)運維工具的可視化展示（提供HTML5風(fēng)格可視化運維工具控件的拖拉生成統(tǒng)一風(fēng)格的代碼刹淌，運維開發(fā)人員無需關(guān)注HTML標簽代碼與CS風(fēng)格S）饶氏；
    • 實現(xiàn)可視化工具流程的配置能力，即工具上事件所需要的頁面流有勾；
    • 設(shè)計標準組件提高可視化開發(fā)效率疹启；
  • 運維一體化下的開發(fā)能力：
    • 標準化腳本的服務(wù)化能力；
    • 服務(wù)化腳本的接口注冊柠衅；
• 架構(gòu)自主化皮仁，我們在平臺建設(shè)過程中引入了互聯(lián)網(wǎng)分布式的架構(gòu)，開源的技術(shù)架構(gòu)能讓我們對技術(shù)架構(gòu)更有可控性菲宴。以集中監(jiān)控系統(tǒng)為例贷祈，我們對原有的應(yīng)用主備、數(shù)據(jù)庫主備的架構(gòu)改造為分布式架構(gòu)喝峦，現(xiàn)在這個系統(tǒng)采用WEB势誊、應(yīng)用分布式，通過MYCAT分布式數(shù)據(jù)庫中間件實現(xiàn)數(shù)據(jù)庫分布式谣蠢，采用ZK實現(xiàn)數(shù)據(jù)庫主節(jié)點的選取粟耻，通過MYSQL實現(xiàn)讀寫分離，目前我們的數(shù)據(jù)庫由17臺MYSQL組成眉踱，數(shù)據(jù)存儲由原來了一個月挤忙，到現(xiàn)在的一年以上，支持多指標谈喳、多形式册烈、多并發(fā)的監(jiān)控、分析的運維場景需要婿禽。
  整體的架構(gòu)參見PPT這張圖赏僧。

架構(gòu)自主化

原則2：工具化

我們將工具分為重量型工具和輕量型工具大猛，大致以這個思路區(qū)分：

• 重量型工具：包括監(jiān)控類系統(tǒng)（集中監(jiān)控、性能監(jiān)控淀零、基礎(chǔ)監(jiān)控挽绩、網(wǎng)絡(luò)安全監(jiān)控等）、自動化部署驾中、日志系統(tǒng)唉堪、業(yè)務(wù)批次調(diào)度等等這些需要開發(fā)工作量比較大的系統(tǒng)；
• 輕型工具：包括應(yīng)用服務(wù)啟停工具哀卫、數(shù)據(jù)維護工具巨坊、數(shù)據(jù)查詢工具撬槽、業(yè)務(wù)運營活動實時報表等和運維日常操作工作結(jié)合比較緊密且相對簡單的工具此改；

對于這兩類工具，我們綜合人員能力侄柔、投入產(chǎn)出等客觀因素求個平衡點共啃，其中重量型工具以引入成熟系統(tǒng)進行二次開發(fā)為主，輕量型工具逐步以自主開發(fā)工具為主暂题。
下面針對上面兩類工具分別舉例移剪。
首先是重量型工具，以集中監(jiān)控為例薪者，監(jiān)控架構(gòu)見這張PPT。

監(jiān)控架構(gòu)

集中監(jiān)控的建設(shè)思路主要是以“不漏報、不誤報”加強“監(jiān)”的能力毕谴，通過監(jiān)控分析进副、學(xué)習(xí)能力補充自動化“控”的能力，實現(xiàn)智能化的主動預(yù)測悬槽、故障自愈怀吻、無人值守。目前我們的監(jiān)控體系己覆蓋從基礎(chǔ)設(shè)施初婆、服務(wù)器存儲蓬坡、系統(tǒng)軟件（含虛擬化、容器磅叛、系統(tǒng)軟件等）屑咳、應(yīng)用可用性、客戶體驗五個層次的對象弊琴，這些監(jiān)控對像由不同的監(jiān)控工具實現(xiàn)監(jiān)控數(shù)據(jù)的采集與事件分析兆龙。在監(jiān)控工具之上，由集中監(jiān)控實現(xiàn)監(jiān)控數(shù)據(jù)整合访雪、事件整合详瑞、子系統(tǒng)接入掂林、統(tǒng)一可視化、數(shù)據(jù)源采集坝橡、智能學(xué)習(xí)泻帮、智能基線、事件協(xié)同處理计寇、事件聯(lián)動分析锣杂、新技術(shù)平臺監(jiān)控等平臺能力。后續(xù)需要在平臺能力之上建立智能學(xué)習(xí)型監(jiān)控番宁，實現(xiàn)主動預(yù)測故障元莫、故障自愈、無人值守蝶押。

• 集中的可視化踱蠢，具備多用戶視角、多系統(tǒng)整合展示棋电、多形式展示（WEB端茎截、大屏，以及目前在開發(fā)的手持端監(jiān)控）
• 體系化整合赶盔，整合存量系統(tǒng)（比如基礎(chǔ)監(jiān)控企锌、性能監(jiān)控、應(yīng)用監(jiān)控等）于未、整合數(shù)據(jù)撕攒、整合事件等。
• 將監(jiān)控能力下探到分行烘浦，可以實現(xiàn)分行終端的的監(jiān)控管理抖坪，模擬柜面終端的操作回放。
• 深度關(guān)聯(lián)分析谎倔，相似事件統(tǒng)一匯總柳击，比如我們在CMDB的基礎(chǔ)之上，建設(shè)應(yīng)用配置庫片习，應(yīng)用配置庫除了應(yīng)用服務(wù)捌肴、版本、程序等CI項外藕咏，還將應(yīng)用的縱向與橫向關(guān)系通過可視化拖拉的方式實現(xiàn)状知。
• 利用好監(jiān)控數(shù)據(jù)，比如將監(jiān)控數(shù)據(jù)用于一鍵巡檢孽查，業(yè)務(wù)運營活動自定義報表等饥悴。
• 其它，比如這個事件豐富，我們將事件的信息展示西设，還將涉及的系統(tǒng)配置信息瓣铣、關(guān)聯(lián)事件、事件具體數(shù)據(jù)贷揽、事件應(yīng)急棠笑、工單情況、涉及OS的資源禽绪、性能蓖救、事件處理情況、事件應(yīng)急工具等信息集中在一個視圖印屁，以促進事件的快速定位與應(yīng)急恢復(fù)循捺。

講完重量型工具，現(xiàn)在舉例講講輕型工具雄人，下面這張應(yīng)用工廠的界面可以很好的解釋我們的建設(shè)思路从橘。參考APPSTORE，在團隊中建立工具開發(fā)文化柠衍，管理員可以開發(fā)工具洋满，并發(fā)布到應(yīng)用工廠并供其它管理員使用，其它管理員可以對工具提建議或打分珍坊，這些打分可以作為該工具歡迎度進行獎勵。
以輕量型工具中的服務(wù)啟停為例正罢，這個工具可以滿足關(guān)機維護阵漏、應(yīng)用投產(chǎn)、故障應(yīng)急等場景翻具，支持單個或多個服務(wù)的環(huán)境保存履怯、進程常規(guī)情況下的啟停、異常情況下啟停裆泳、啟停后多重形式的檢查方法叹洲。
這些小工具的建設(shè)一方面提高了團隊運維工作效率與標準化的落實，另一方面也有助于一些有想法工禾、有能力的同事增加工作成就感运提。

原則3：服務(wù)化

服務(wù)化是為了實現(xiàn)工具間通訊的互聯(lián)互通，服務(wù)化一方面要求各工具對外提供API接口闻葵；另一方面是通過統(tǒng)一開發(fā)一個服務(wù)集成模塊實現(xiàn)工具監(jiān)控API接口的注冊民泵、發(fā)現(xiàn)、鑒權(quán)槽畔。
這個服務(wù)集成有2個主要功能：

• 服務(wù)通訊總線栈妆，相當于一個輕量型的ESB，工具間的通訊需要經(jīng)過服務(wù)集成模塊；
• 服務(wù)注冊與發(fā)現(xiàn)鳞尔，提供可視化的界面為各個工具進行接口注冊嬉橙，為調(diào)用起提供接口入?yún)⒄f明、調(diào)用說明等功能寥假；

這個服務(wù)集成還提供多種通訊方式憎夷，RPC、MQ隊列等昧旨，可根據(jù)不同的通訊需要進行調(diào)用拾给。

原則4： 可視化

可視化方面我們主要以統(tǒng)一門戶為載體，在技術(shù)上我們選擇了以H5加CSS3（為移動端化作準備）兔沃，提供以下3個特性：

• 提供指定服務(wù)：統(tǒng)一門戶提供所有工具菜單蒋得、生成訪問用TOKEN；
• 頁面適應(yīng)性改造：統(tǒng)一風(fēng)格乒疏，并分步對存量工具進行風(fēng)格改造
• 訪問適應(yīng)急改造：快速跳轉(zhuǎn)额衙、多標簽單點登錄、瀏覽器兼容怕吴；

在功能上窍侧，我們提供多種用戶視角，專業(yè)團隊視圖转绷、管理視圖伟件、業(yè)務(wù)視圖，下在這張界面是我們統(tǒng)一門戶待辦的視圖议经，它將不同用戶角色所關(guān)心的指標集中在這個視圖斧账，作為用戶控制臺。
接下來還將繼續(xù)做好自動化煞肾，解決工作上的痛點咧织，解放生產(chǎn)力，后續(xù)再結(jié)合大數(shù)據(jù)去放眼智能運維籍救。