? ? ? ? 傳統(tǒng)的動(dòng)環(huán)監(jiān)控系統(tǒng)體系架構(gòu)包含三個(gè)組成部分：監(jiān)控對(duì)象(SO)劲阎、現(xiàn)場監(jiān)控單元(FSU)拙徽、集中監(jiān)控中心(SC)刨沦，體系結(jié)構(gòu)如下圖所示：
? ? ? ? 以上架構(gòu)設(shè)計(jì)適合小規(guī)模的應(yīng)用場景，難以解決大規(guī)模采集數(shù)據(jù)場景下的動(dòng)環(huán)監(jiān)控業(yè)務(wù)應(yīng)用膘怕，本文提出一種集群大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)想诅，以滿足動(dòng)環(huán)監(jiān)控系統(tǒng)對(duì)大規(guī)模測點(diǎn)實(shí)時(shí)性采集和處理、大數(shù)據(jù)高效存儲(chǔ)和查詢岛心、分布式容錯(cuò)處理等要求来破，同時(shí)為第三方SC、SC忘古、大數(shù)據(jù)分析徘禁、其它應(yīng)用提供共享服務(wù)。另外髓堪，還制定測點(diǎn)和設(shè)備編碼規(guī)范送朱、測點(diǎn)和設(shè)備命名規(guī)范、事件和轉(zhuǎn)臺(tái)字典規(guī)范以及服務(wù)接口標(biāo)準(zhǔn)化規(guī)范等干旁。技術(shù)架構(gòu)設(shè)計(jì)包括數(shù)據(jù)采集驶沼、分布式消息隊(duì)列(Kafka集群)、在線實(shí)時(shí)處理(Storm集群)争群、數(shù)據(jù)存儲(chǔ)中心回怜、共享服務(wù)、配置管理等部分换薄。技術(shù)架構(gòu)如下圖所示：
? ? ? ? 1玉雾、面向不同層次的數(shù)據(jù)采集。支持面向第三方集中監(jiān)控中心(SC)和第三方現(xiàn)場監(jiān)控單元(FSU)數(shù)據(jù)采集专控；同時(shí)抹凳，支持面向動(dòng)力系統(tǒng)和環(huán)境系統(tǒng)的現(xiàn)場監(jiān)控單元數(shù)據(jù)直采(一體式或主從式FSU)。依據(jù)不同的規(guī)約協(xié)議定制開發(fā)采集程序伦腐，底層采集數(shù)據(jù)統(tǒng)一匯聚至分布式消息隊(duì)列(Kafka集群)赢底。定制ETL單元采集數(shù)據(jù)推送至分布式消息隊(duì)列(Kafka集群)，由在線實(shí)時(shí)處理(Storm集群)應(yīng)用柏蘑，基于配置管理預(yù)先定義的點(diǎn)表映射關(guān)系進(jìn)行處理幸冻，轉(zhuǎn)換成動(dòng)環(huán)監(jiān)控平臺(tái)自定義編碼；而現(xiàn)場監(jiān)控單元咳焚，基于配置管理預(yù)先定義的點(diǎn)表映射關(guān)系洽损，將底層動(dòng)力和環(huán)境系統(tǒng)產(chǎn)生的測量數(shù)據(jù)，直接轉(zhuǎn)換成動(dòng)環(huán)監(jiān)控平臺(tái)自定義編碼革半，無需在線實(shí)時(shí)處理(Storm集群)應(yīng)用進(jìn)行點(diǎn)表映射處理碑定。
? ? ? ? 2流码、集群式消息隊(duì)列。在支持各個(gè)子系統(tǒng)本身業(yè)務(wù)應(yīng)用要求的前提下延刘，采集數(shù)據(jù)集中匯總到消息中間件（Kafka）緩沖漫试，每一個(gè)采集服務(wù)器在消息隊(duì)列中采用唯一標(biāo)識(shí)的主題（Topic）存儲(chǔ)，消息中間件中的數(shù)據(jù)存儲(chǔ)格式采用JSON格式碘赖；集中存儲(chǔ)的優(yōu)勢在于：平臺(tái)級(jí)應(yīng)用方無須關(guān)注實(shí)現(xiàn)各個(gè)廠家不同的通訊方式和交互流程驾荣，在數(shù)據(jù)匯總的方式上基于互聯(lián)網(wǎng)的公開標(biāo)準(zhǔn)進(jìn)行了統(tǒng)一，數(shù)據(jù)格式可以不統(tǒng)一普泡。傳統(tǒng)做法是要求數(shù)據(jù)格式的統(tǒng)一播掷，將復(fù)雜的數(shù)據(jù)格式處理轉(zhuǎn)嫁給了數(shù)據(jù)采集方，增加了數(shù)據(jù)采集方的工作量撼班，另外歧匈，所謂的統(tǒng)一格式，也不能得到廣泛認(rèn)可权烧，消息隊(duì)列的通訊方式是公認(rèn)的技術(shù)眯亦。
? ? ? ? 3、實(shí)時(shí)高并發(fā)數(shù)據(jù)處理機(jī)制般码。統(tǒng)一業(yè)務(wù)數(shù)據(jù)格式（設(shè)備編號(hào)妻率、測點(diǎn)編號(hào)、測點(diǎn)數(shù)值板祝、測點(diǎn)類型宫静、采集時(shí)間等），預(yù)先定義映射關(guān)系券时，將不同數(shù)據(jù)格式的底層采集數(shù)據(jù)孤里，統(tǒng)一格式化成標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)；對(duì)于模擬量橘洞、計(jì)算量捌袜、開關(guān)量實(shí)時(shí)數(shù)據(jù)的處理和存儲(chǔ)。
? ? ? ? 4炸枣、混合數(shù)據(jù)存儲(chǔ)模式虏等。針對(duì)不同類型數(shù)據(jù)，依據(jù)業(yè)務(wù)應(yīng)用實(shí)際要求适肠，選擇合適的存儲(chǔ)模式進(jìn)行數(shù)據(jù)持久化處理霍衫，并對(duì)外提供數(shù)據(jù)。對(duì)于文件侯养、圖像敦跌、視頻以文件方式存儲(chǔ)；實(shí)時(shí)測點(diǎn)數(shù)據(jù)存儲(chǔ)在內(nèi)存數(shù)據(jù)庫(Redis集群)逛揩，事件狀態(tài)數(shù)據(jù)局域(Redis)的消息訂閱機(jī)制柠傍，及時(shí)向外部應(yīng)用推送麸俘；歷史測點(diǎn)數(shù)據(jù)存儲(chǔ)在時(shí)間序列數(shù)據(jù)庫(OpenTSDB集群)，配置管理携兵、基礎(chǔ)信息疾掰、業(yè)務(wù)數(shù)據(jù)搂誉、主題分析數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(MySQL集群)徐紧。
? ? ? ? 5、開放式共享服務(wù)接口炭懊。事件并级、狀態(tài)、告警等即時(shí)消息侮腹，通過消息隊(duì)列訂閱機(jī)制對(duì)外推送嘲碧；提供RESTful?Web服務(wù)共享接口，為遠(yuǎn)程控制操作父阻、實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)查詢提供應(yīng)用基礎(chǔ)愈涩；同時(shí)，平臺(tái)對(duì)外開發(fā)時(shí)間序列數(shù)據(jù)庫加矛、內(nèi)存數(shù)據(jù)庫履婉、消息隊(duì)列訪問方式。
? ? ? ? 6斟览、可拓展業(yè)務(wù)應(yīng)用毁腿。共享服務(wù)支持第三方集控中心(SC)、SC苛茂、大數(shù)據(jù)分析應(yīng)用已烤、其它應(yīng)用等二次開發(fā)。
? ? ? ? 7妓羊、標(biāo)準(zhǔn)化胯究、規(guī)范化。動(dòng)環(huán)監(jiān)控平臺(tái)制定規(guī)范化和標(biāo)準(zhǔn)化的編碼躁绸、命名裕循、字典、接口定義涨颜，基于標(biāo)準(zhǔn)化费韭、規(guī)范化基礎(chǔ)，提供可視化的配置管理工具庭瑰。
