? 深度網(wǎng)絡的最終計算是求出w泊碑,即每個節(jié)點的權重你弦。計算w的方法通常是通過損失函數(shù)進行反向傳播,最終調(diào)整w的值呀非, 這里就出現(xiàn)一個問題坚俗,即 噪音點會使得最終計算出w造成偏差。
? ?舉個例子岸裙,通過n輪學習后猖败,w的值穩(wěn)定為1.?突然經(jīng)過下一輪學習,既n+1輪后降允,w的值變成了10恩闻。?說明很可能第n+1輪的數(shù)據(jù)是強噪音,因為這條數(shù)據(jù)讓穩(wěn)定值產(chǎn)生了比較大的波動剧董!
? 平均滑動模型就是為了避免這種情況幢尚。我們先來直觀了解下,什么是平均滑動模型:?最近的n條數(shù)據(jù)的平均值翅楼!? ?
舉個例子尉剩,一開始有10條數(shù)據(jù)
?1? 1? 1??1? 1? 1??1? 1? 1??1?
他們的平均值很是明顯為1,現(xiàn)在加入一個新的數(shù)據(jù)毅臊,10:
?
1?1? 1??1? 1? 1??1? 1? 1??1? 10
由于只取最近n條边涕,我們將n就定為10,那么褂微,?原來的第1條數(shù)據(jù)功蜓,就被刪除了,現(xiàn)在宠蚂,最近10條的平均值變成了:(9+10)/10=1.9
作用已經(jīng)很明顯了式撼,再用這個例子來說回我們的w,前10次w的平均值為1求厕,當?shù)?1次w的值變?yōu)?0時著隆,通過平均滑動模型扰楼,將w從10拉回到1.9,將這個噪音的影響降到最低美浦!?這就是平均滑動模型的意義弦赖。
有tensorflow中,并不是用的這種公式浦辨,然而想要達到的效果是一致的蹬竖。