數(shù)據(jù)異常處理總結(jié)
一嘿悬、數(shù)據(jù)異常分析處理
健康監(jiān)測的基本目的是通過分析實(shí)時(shí)監(jiān)測數(shù)據(jù)對橋梁結(jié)構(gòu)進(jìn)行損傷診斷和運(yùn)營狀態(tài)進(jìn)行監(jiān)控塌忽。但是隨著監(jiān)測系統(tǒng)運(yùn)行，傳感器和傳輸線路會(huì)受到損害，并且橋梁處于開放環(huán)境當(dāng)中凄诞，其自身結(jié)構(gòu)性能也會(huì)慢慢退化，這些可能導(dǎo)致監(jiān)測數(shù)據(jù)出現(xiàn)異常忍级，從而嚴(yán)重影響了對結(jié)構(gòu)損傷的判斷和對結(jié)構(gòu)狀態(tài)做出錯(cuò)誤的估計(jì)帆谍，會(huì)對橋梁整體和局部安全性造成了很大隱患。
同時(shí)一些突發(fā)的自然災(zāi)害和偶然荷載的作用轴咱，如船撞撞擊汛蝙、地震、泥石流等對橋梁結(jié)構(gòu)的沖擊朴肺，嚴(yán)重時(shí)會(huì)對橋梁結(jié)構(gòu)整體安全性產(chǎn)生不可恢復(fù)的影響窖剑。所以監(jiān)測系統(tǒng)有必要對上述可能的任何情況進(jìn)行監(jiān)測和分析，從而讓分析人員對橋梁狀態(tài)有一個(gè)更全面和更準(zhǔn)確的認(rèn)識(shí)戈稿。
二西土、常見數(shù)據(jù)異常分類
采集信號(hào)當(dāng)中通常含有下面常見的數(shù)據(jù)異常類型。
數(shù)據(jù)失真：采集信號(hào)得到的實(shí)測數(shù)據(jù)曲線與理想數(shù)據(jù)特性相偏差較大鞍盗，則認(rèn)定采集數(shù)據(jù)失真需了。特點(diǎn)如下：
(1)普遍性跳昼。數(shù)據(jù)失真可能在橋梁監(jiān)測系統(tǒng)各個(gè)環(huán)節(jié)都有存在，無論硬件還是軟件上援所，這些是監(jiān)測系統(tǒng)的共性庐舟。
(2)多樣性欣除。信息失真表現(xiàn)形式劃分有很多種住拭，從產(chǎn)生環(huán)節(jié)考慮，可能有信息傳輸環(huán)節(jié)和安全評價(jià)環(huán)節(jié)历帚；從監(jiān)測系統(tǒng)子系統(tǒng)考慮滔岳，可能是傳感器子系統(tǒng)、數(shù)據(jù)采集子系統(tǒng)或者其他子系統(tǒng)產(chǎn)生挽牢；從表現(xiàn)形式看谱煤，又可能分為單點(diǎn)或連續(xù)數(shù)據(jù)缺失。而其中的單點(diǎn)數(shù)據(jù)失真又有極大極小值和負(fù)荷毛刺禽拔；而連續(xù)數(shù)據(jù)缺失主要是傳感器子系統(tǒng)損壞引起的刘离。
(3)重復(fù)性。數(shù)據(jù)失真的復(fù)雜性是由于橋梁結(jié)構(gòu)自身復(fù)雜特性和監(jiān)測系統(tǒng)的復(fù)雜性決定的睹栖。
數(shù)據(jù)缺失：不管是連續(xù)實(shí)時(shí)采集還是特定采集在分析軟件上這類數(shù)據(jù)沒有顯示出來硫惕。可能是傳感器損壞野来、采集系統(tǒng)軟件問題等恼除。
數(shù)據(jù)重復(fù)：一般是由于傳感器系統(tǒng)損壞或者系統(tǒng)軟件發(fā)生故障，導(dǎo)致監(jiān)測數(shù)據(jù)長時(shí)間保持不變曼氛。
2.1 數(shù)據(jù)失真處理
對數(shù)據(jù)失真豁辉，處理標(biāo)準(zhǔn)流程如下：
(1)出現(xiàn)數(shù)據(jù)失真后，首先檢查橋梁是否存在突然性的結(jié)構(gòu)損壞等舀患；
(2)若結(jié)構(gòu)有損壞徽级，則替換構(gòu)件或維修加固后重新檢測；若無結(jié)構(gòu)損壞聊浅，則進(jìn)行第(3)步驟餐抢；
(3)分別檢查傳感器系統(tǒng)、數(shù)據(jù)采集與傳輸及系統(tǒng)或者可能的分析軟件故障狗超，依次進(jìn)行排查弹澎。
對數(shù)據(jù)失真處理是依據(jù)監(jiān)測數(shù)據(jù)的變化規(guī)律進(jìn)行的，主要有趨勢曲線修復(fù)法和神經(jīng)網(wǎng)絡(luò)修復(fù)法努咐。
1苦蒿、趨勢曲線修復(fù)法
基本思路是找到缺失數(shù)據(jù)對應(yīng)的測量數(shù)據(jù)的趨勢曲線，由趨勢曲線計(jì)算出缺失數(shù)據(jù)對應(yīng)時(shí)刻的理論采集數(shù)值渗稍。具體過程如下：
(1)根據(jù)歷史測量值佩迟，分析出測量值對應(yīng)時(shí)間的變化趨勢团滥。
(2)去除溫度影響和隨機(jī)因素影響的數(shù)值。這里應(yīng)先將已測到的數(shù)據(jù)去除溫度影響报强，然后在去除隨機(jī)因素影響（環(huán)境因素影響屬于高頻信號(hào)成分灸姊，可通過低通濾波消除影響），最后用三次樣條方法得到擬合曲線（三次樣條方法讓低頻信號(hào)占優(yōu)）秉溉。
(3)計(jì)算參數(shù)理論上的真實(shí)采集數(shù)據(jù)力惯。
2、神經(jīng)網(wǎng)絡(luò)修復(fù)法
神經(jīng)網(wǎng)絡(luò)修復(fù)法用基于 RBF 神經(jīng)網(wǎng)絡(luò)模型對數(shù)據(jù)失真進(jìn)行重構(gòu)召嘶。RBF 網(wǎng)絡(luò)能夠逼近任意的非線性函數(shù)父晶，可以處理系統(tǒng)內(nèi)難以解析的規(guī)律性，具有良好的泛化能力弄跌，并且學(xué)習(xí)收斂速度很快甲喝，已成功應(yīng)用于非線性函數(shù)逼近、時(shí)間序列分析铛只、數(shù)據(jù)分類埠胖、模式識(shí)別、信息處理淳玩、圖像處理直撤、系統(tǒng)建模、控制和故障診斷等凯肋。
對于監(jiān)測數(shù)據(jù)的恢復(fù)谊惭，其基本思想是以各測量點(diǎn)之間的關(guān)聯(lián)分析為依托，利用 RBF 神經(jīng)網(wǎng)絡(luò)強(qiáng)大的函數(shù)逼近能力以保障恢復(fù)數(shù)據(jù)的精度侮东。具體算法過程如下：
(1)確定與a1點(diǎn)相關(guān)聯(lián)的其他測量點(diǎn)圈盔；
(2)在t1前選擇合適的訓(xùn)練樣本（a1時(shí)域附近上的正常數(shù)據(jù)），時(shí)間選取不少于3天悄雅。
(3)用關(guān)聯(lián)測點(diǎn)數(shù)據(jù)作為輸入驱敲，a1點(diǎn)作為輸出，建立RBF神經(jīng)網(wǎng)絡(luò)模型和確定學(xué)習(xí)參數(shù)宽闲。
(4)用t1~tn時(shí)間內(nèi)的關(guān)聯(lián)點(diǎn)數(shù)據(jù)輸入模型系統(tǒng)后得到理論上的恢復(fù)采集數(shù)據(jù)众眨。
其中a1表示待恢復(fù)測量點(diǎn)；t1~tn表示選取的時(shí)間段容诬。
2.2數(shù)據(jù)缺失處理
對數(shù)據(jù)缺失娩梨，處理標(biāo)準(zhǔn)流程如下：
(1)出現(xiàn)數(shù)據(jù)缺失后，從新發(fā)出采集指令览徒，檢查有無數(shù)據(jù)產(chǎn)生狈定，若沒有則進(jìn)行第(2)步；
(2)首先檢查傳感器是否發(fā)生故障。若傳感器損壞纽什，則替換新傳感器重新檢測措嵌；若更換后出現(xiàn)同樣問題，則進(jìn)行第(3)步芦缰；
(3)繼續(xù)檢查數(shù)據(jù)采集與傳輸及系統(tǒng)或者可能的分析軟件故障企巢，依次進(jìn)行排查；
(4)重新發(fā)出采集指令進(jìn)行檢查让蕾。數(shù)據(jù)缺失處理方法主要有幾下集中：
1浪规、直接忽略。這是用于缺失值較少的情況涕俗，否則會(huì)對結(jié)構(gòu)整體分析造成很嚴(yán)重后果罗丰。
2神帅、插補(bǔ)或替代再姑。利用其它輔助數(shù)據(jù)信息，對缺失數(shù)據(jù)進(jìn)行插值或替代找御。具體又可以分為如下策略：
(1)用固定的常量值對缺失值進(jìn)行補(bǔ)完元镀。同樣適用于缺失值較少時(shí)。
(2)用均值替代法霎桅。均值可以是算術(shù)平均值栖疑、中位數(shù)等中進(jìn)行選擇，是依據(jù)數(shù)據(jù)采集特征進(jìn)行滔驶。
(3)用同類別均值替代遇革。將傳感器測量數(shù)據(jù)按照某一標(biāo)準(zhǔn)進(jìn)行分類，不同類別的數(shù)據(jù)均值可選擇不同的平均數(shù)揭糕。
(4)用成數(shù)推導(dǎo)值替代萝快。此方法適用于缺失值屬性為非標(biāo)志的情況。
(5)用數(shù)學(xué)算法和模型確定著角。
(6)建立預(yù)測模型推測缺失值揪漩。
3、重新對缺失數(shù)據(jù)進(jìn)行采樣吏口。具體可分為如下情況：
(1)對采集設(shè)備多次進(jìn)行訪問奄容。
(2)若采集設(shè)備無反饋，則可以實(shí)行替換缺失值产徊；
(3)長時(shí)間無應(yīng)答后昂勒，在以后此測量點(diǎn)的數(shù)據(jù)采集分析中，可以進(jìn)行抽樣調(diào)查舟铜。
4戈盈、用調(diào)整因子來對含缺失值所進(jìn)行的總體加權(quán)調(diào)整，并得出相應(yīng)的結(jié)果深滚。該方法適用于缺失數(shù)據(jù)和其他已知數(shù)據(jù)之間沒有明顯的差異奕谭。
2.3 數(shù)據(jù)重復(fù)處理
對數(shù)據(jù)重復(fù)問題涣觉，處理流程如下：
(1)出現(xiàn)數(shù)據(jù)重復(fù)后，檢查監(jiān)測系統(tǒng)網(wǎng)絡(luò)是否正常血柳，
(2)檢查傳感器是否發(fā)生故障官册。若傳感器損壞，則替換新傳感器重新檢測难捌；若更換后出現(xiàn)同樣問題膝宁，則進(jìn)行第(3)步；
(3)檢查系統(tǒng)軟件是否發(fā)生故障或兼容性故障等問題根吁。若通過上述手段不能解決數(shù)據(jù)重復(fù)問題時(shí)员淫，必要時(shí)可采取重啟監(jiān)測系統(tǒng)的手段。
《內(nèi)容來源于文獻(xiàn)击敌，經(jīng)本人綜合整理介返，以技術(shù)會(huì)友，廣交天下朋友》
