最近在做光模塊的故障預(yù)測，所以對硬件設(shè)備的故障做了點微小的調(diào)研资厉，為了不辜負我這幾天的辛苦看論文，還是打算對這幾篇論文和目前自己的看法做個記錄诀豁。
光模塊故障原因
光模塊的光口收到污染和損傷窥妇，導(dǎo)致光鏈路損耗加大活翩，以至于光纖鏈路不通纱新。光口長期暴露在環(huán)境中致使灰塵進入而受污染、模塊連接的光纖端面被污染導(dǎo)致光口污染以及尾纖的光接頭端面使用不當(dāng)被損這三種情況都會使光受到污染
光模塊受到ESD損傷遇汞，即『靜電放電』或者『靜電擊穿』空入。靜電會引起灰塵吸附族檬，改變線路間的阻抗，影響SFP光模塊的功能與壽命埋凯。ESD是不可避免白对，一個非乘δ眨快的過程沉颂，ESD可以產(chǎn)生幾十Kv/m甚至更大的強電磁脈沖铸屉。
可以粗略的認為原因一是緩慢的彻坛，有跡可循的一個過程帆赢，原因二是突發(fā)的故障椰于，不可預(yù)測仪搔。
光模塊的故障情況分析
通過給出的數(shù)據(jù)，對故障前后一天內(nèi)的指標(biāo)變化情況做了統(tǒng)計偏陪，發(fā)現(xiàn)大部分的故障在故障前監(jiān)測的相關(guān)指標(biāo)都沒有明顯波動笛谦，只有小部分故障在異常前出現(xiàn)了較大的波動昌阿，但是波動的情況也并不相同懦冰。并且主要波動的指標(biāo)占少數(shù)刷钢，其他指標(biāo)并不對異常敏感。
相關(guān)論文
目前硬件故障預(yù)測伴澄，看到較多的還是對硬盤做相關(guān)的故障預(yù)測非凌，因為硬盤故障的情況較多且涉及的指標(biāo)也較多茬祷，可以分析的空間比較大诱桂。但是由于硬件的指標(biāo)變化并不規(guī)律，所以我認為用深度學(xué)習(xí)的方法來預(yù)測數(shù)據(jù)或者進行分類可能并不可取。所以現(xiàn)在用的方法大多是傳統(tǒng)機器學(xué)習(xí)SVM最盅、Rank-sum和HMM等方法，還有統(tǒng)計學(xué)相關(guān)的模型咏删。
Failure prediction using machine learning and time series in optical network
這篇是17年發(fā)表在OE期刊上的一篇論文督函，OE是光學(xué)方面中不溜的期刊吧辰狡，質(zhì)量上還是有灌水的嫌疑垄分。不過光學(xué)這個方向算是挺冷門的了薄湿，聽說挺好發(fā)論文……
這篇論文用的方法還是挺直白的，研究光網(wǎng)絡(luò)下設(shè)備的故障預(yù)測段标。用二指數(shù)平滑方法（DES）對數(shù)據(jù)進行擬合并作出預(yù)測逼庞，然后用SVM來判斷預(yù)測的數(shù)據(jù)是否是故障的瞻赶。
最后實驗也并沒有做對比實驗（可能是之前并沒有這方面的工作…卒）丹皱，對他提出的方法做了正確率的測試妒穴，根據(jù)當(dāng)天的數(shù)據(jù)預(yù)測第二天的故障情況，正確率能達到90%以上摊崭。對此我覺得肥腸驚人and有點不相信
A Two-Step Parametric Method for Failure Prediction in Hard Disk Drives
這篇是14年IEEE TII上的一篇論文讼油，聽說TII被ACM列為三類會議…但是應(yīng)該還是誤判為多。
論文做的是預(yù)測硬件驅(qū)動的故障呢簸≈希基于統(tǒng)計學(xué)建立模型，定為TSP模型，主要的參數(shù)是異常閾值和故障閾值。
異常閾值的獲却悍妗：通過統(tǒng)計得到正常樣本之間的曼哈頓距離分布呐萌，根據(jù)三西格瑪定律，超過均值3個方差的數(shù)據(jù)就認為是異常的數(shù)據(jù)
故障閾值：建立代價函數(shù)法褥，通過優(yōu)化代價函數(shù)獲得最優(yōu)的故障閾值（當(dāng)然還有一些其他的參數(shù)）
模型的流程分兩步走：
- 使用滑動窗口判斷當(dāng)前窗口是否有數(shù)據(jù)點超過異常閾值，如果有的話進入故障判斷
-
統(tǒng)計當(dāng)前窗口有多少個數(shù)據(jù)點是異常的莽囤，并根據(jù)計算得出的值代入計算GLRT(似然比檢驗)饵沧，如果GLRT大于故障閾值，則定義為24小時候設(shè)備會出現(xiàn)異常，則報警
流程圖
數(shù)據(jù)的處理上也有點兒意思弹囚，除了真實數(shù)據(jù)之外，他們還認為硬盤驅(qū)動的數(shù)值變化符合韋伯分布，所以用韋伯分布生成了一批數(shù)據(jù)，一半是正常的數(shù)據(jù)，一半是異常數(shù)據(jù)。
在實驗上凯楔，他們用ROC曲線來衡量模型的優(yōu)劣。并和SVM，Ranksum和HMM等方法做了對比，得到TSP模型的正確率和計算性能都優(yōu)于傳統(tǒng)方法狭归。
Predicting Disk Replacement towards Reliable Data Centers
這篇論文16年發(fā)表在KDD上室梅，質(zhì)量可以認為是過關(guān)的嗓奢，他們做的是預(yù)測硬盤的替換敢艰。由于硬盤故障帶來的損失比較大，所以預(yù)測硬盤故障的時間措伐，并且提前一天對故障作出判斷短蜕，對故障作出替換硬盤的操作，來減少損失础淤≌阜牛可以等同于硬件的故障預(yù)測。
對故障的判定用的是RGF(Regularized Greedy Forest)方法， 對數(shù)據(jù)進行聚類矢门，分為故障和非故障兩類隔躲。算是波瀾不驚的方法吧23333
在數(shù)據(jù)處理上依舊有點兒意思浑吟。使用changepoint方法挑出與磁盤故障相關(guān)的SMART屬性燎字，用指數(shù)平滑來處理數(shù)據(jù)妖异，生成平滑的時間序列。然后用下采樣的方法挑出具有代表性的健康磁盤數(shù)據(jù)傀蓉，然后平衡數(shù)據(jù)組成為一半健康數(shù)據(jù)欧漱，一半異常數(shù)據(jù)。
出挑的方法還有使用了遷移學(xué)習(xí)葬燎。由于不同廠家生產(chǎn)的磁盤依賴的特征可能是不一樣的误甚，使用遷移學(xué)習(xí)將已經(jīng)訓(xùn)練好的模型適應(yīng)各個不同廠家的磁盤。
實驗上使用HitA和SgtA數(shù)據(jù)集谱净，和許多傳統(tǒng)方法做了對比實驗窑邦，發(fā)現(xiàn)在召回率，正確率等評價指標(biāo)上都表現(xiàn)良好壕探。
一點想法
三篇論文上的數(shù)據(jù)處理方法都可以借鑒冈钦，但是由于拿到的數(shù)據(jù)集指標(biāo)還是少了，所以可能用SVM得到的結(jié)果會更好些李请。還有這幾篇論文中實驗結(jié)果都非常優(yōu)秀瞧筛，需要進一步確定實際環(huán)境中模型的表現(xiàn)情況和可行性。
參考資料
http://stor.51cto.com/art/201808/582433.htm
Predicting Disk Replacement towards Reliable Data Centers, 2016, KDD
A Two-Step Parametric Method for Failure Prediction in Hard Disk Drives,2014, TII
Failure prediction using machine learning and time series in optical network, 2017, OE
