隨著近幾年新能源發(fā)電行業(yè)的迅猛發(fā)展，新能源大數(shù)據(jù)中心平臺(tái)建設(shè)也悄然興起先嬉。越來越多的新能源企業(yè)投入人力轧苫、物力和財(cái)力著手建設(shè)自己的大數(shù)據(jù)中心，旨在提升生產(chǎn)管理水平和發(fā)電經(jīng)濟(jì)效益疫蔓。大數(shù)據(jù)中心建設(shè)首先要解決的問題是大量數(shù)據(jù)的采集含懊，數(shù)據(jù)采集的過程是從場(chǎng)站側(cè)數(shù)據(jù)源到大數(shù)據(jù)中心的存儲(chǔ)，在這個(gè)采集過程中衅胀，要保證數(shù)據(jù)采集的可靠性岔乔、安全性、可擴(kuò)展性等等滚躯。本文提出基于Flue雏门、Kafka技術(shù)實(shí)現(xiàn)新能源大數(shù)據(jù)中心數(shù)據(jù)采集，系統(tǒng)架構(gòu)圖如下所示：
場(chǎng)站側(cè)支持光伏電站和風(fēng)電場(chǎng)不同類型數(shù)據(jù)源采集掸掏，采用Flume技術(shù)實(shí)現(xiàn)茁影，F(xiàn)lume采集的數(shù)據(jù)經(jīng)Source、Memory Channel阅束、Kafka Sink推送到大數(shù)據(jù)中心Kafka消息隊(duì)列緩存呼胚。同時(shí)，采集數(shù)據(jù)經(jīng)Source息裸、JDBC Channel、HBase Sink在本地?cái)?shù)據(jù)庫(kù)中也存儲(chǔ)一份沪编。另外呼盆，為了滿足數(shù)據(jù)補(bǔ)采要求，場(chǎng)站側(cè)提供RESTful服務(wù)從本地?cái)?shù)據(jù)庫(kù)中讀取歷史數(shù)據(jù)蚁廓，提供大數(shù)據(jù)中心補(bǔ)采數(shù)據(jù)使用访圃。Flume的Sink在將Channel數(shù)據(jù)成功發(fā)送之后，才將Channel中緩存的數(shù)據(jù)清除相嵌，極大的提高了數(shù)據(jù)采集的可靠性腿时。Flume系統(tǒng)結(jié)構(gòu)設(shè)計(jì)况脆，如下圖所示：
采集數(shù)據(jù)從場(chǎng)站側(cè)傳輸?shù)酱髷?shù)據(jù)中心Kafka消息隊(duì)列過程中，采用對(duì)稱加密對(duì)數(shù)據(jù)進(jìn)行加密批糟，以提升數(shù)據(jù)安全性格了，數(shù)據(jù)傳輸內(nèi)容統(tǒng)一采用JSON格式，內(nèi)容包括測(cè)點(diǎn)編號(hào)徽鼎、測(cè)點(diǎn)類型盛末、測(cè)點(diǎn)值、時(shí)間戳否淤。測(cè)點(diǎn)編號(hào)統(tǒng)一規(guī)劃悄但，保證其在整個(gè)大數(shù)據(jù)中心數(shù)據(jù)庫(kù)中的唯一性。
另外石抡，在大數(shù)據(jù)中心側(cè)的Kafka消息隊(duì)列中檐嚣，為每一個(gè)場(chǎng)站指定1到n個(gè)主題，Kafka自動(dòng)分配若干分區(qū)啰扛，以供采集數(shù)據(jù)緩存消息使用净嘀。當(dāng)系統(tǒng)或網(wǎng)絡(luò)出現(xiàn)異常時(shí)，大數(shù)據(jù)中心與場(chǎng)站側(cè)數(shù)據(jù)采集出現(xiàn)中斷侠讯，對(duì)于中斷的數(shù)據(jù)挖藏，可以通過大數(shù)據(jù)中心提供的數(shù)據(jù)補(bǔ)采機(jī)制谊迄，遠(yuǎn)程調(diào)用場(chǎng)站側(cè)提供的RESTful服務(wù)意狠，從場(chǎng)站側(cè)將缺失數(shù)據(jù)補(bǔ)采至大數(shù)據(jù)中心。Kafka中緩存的數(shù)據(jù)或補(bǔ)采獲取的數(shù)據(jù)脚牍，將最終存儲(chǔ)在數(shù)據(jù)中心數(shù)據(jù)庫(kù)中溜嗜。如下圖所示：
在場(chǎng)站側(cè)擴(kuò)建或新建場(chǎng)站需要采集數(shù)據(jù)時(shí)宵膨，僅需要增加相應(yīng)的Flume采集進(jìn)程，在不中斷原有數(shù)據(jù)采集進(jìn)程的情況下炸宵，即可完成系統(tǒng)升級(jí)和擴(kuò)展辟躏，系統(tǒng)靈活可擴(kuò)展。
結(jié)束語(yǔ)：基于Flume土全、Kafka技術(shù)實(shí)現(xiàn)的新能源大數(shù)據(jù)中心數(shù)據(jù)采集系統(tǒng)技術(shù)架構(gòu)捎琐，可靠性和安全性高，系統(tǒng)故障恢復(fù)能力強(qiáng)裹匙，且容易擴(kuò)展和升級(jí)瑞凑。
