小波神經(jīng)網(wǎng)絡(luò)

姓名：程祖晗

學(xué)號：19021210938

【嵌牛導(dǎo)讀】隨著優(yōu)化算法的不斷研究，神經(jīng)網(wǎng)絡(luò)已經(jīng)深入到許多領(lǐng)域，解決了許多實(shí)際問題翻翩，并引發(fā)了人類不斷地思考。本篇討論了小波神經(jīng)網(wǎng)絡(luò)的相關(guān)知識稻薇。

【嵌牛鼻子】BP神經(jīng)網(wǎng)絡(luò)? 小波變換 ? 小波神經(jīng)網(wǎng)絡(luò)

【嵌牛正文】

一嫂冻、BP神經(jīng)網(wǎng)絡(luò)

BP 網(wǎng)絡(luò)的實(shí)現(xiàn)過程主要分成兩個(gè)階段，第一階段是信號的前向傳播塞椎，從輸入層經(jīng)過隱含層到達(dá)輸出層桨仿，第二階段是誤差的反向傳播，從輸出層經(jīng)過隱含層到達(dá)輸入層案狠。誤差傳遞完后服傍，依次調(diào)節(jié)輸入層和隱含層之間的權(quán)值和偏置，以及隱含層和輸出層之間的權(quán)值和偏置骂铁。如圖1所示：

BP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元如圖2所示：

其中吹零，激活函數(shù)為Sigmoid函數(shù)，表達(dá)式為： $f(x)=\frac{1}{1+e^{-x}}$

二拉庵、小波神經(jīng)網(wǎng)絡(luò)

2.1小波變換

小波變換是以 Fourier 分析為基礎(chǔ)的一種新的數(shù)學(xué)變換手段灿椅，它克服了 Fourier變換的局限性以及加窗 Fourier 變換的窗口不變的缺點(diǎn)。小波變換主要通過伸縮和平移實(shí)現(xiàn)多尺度細(xì)化，突出所要處理的問題細(xì)節(jié)茫蛹，有效提取局部信息泣懊。

2.2小波神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)是改進(jìn)的BP網(wǎng)絡(luò)，將原先的隱含層的Sigmiod激活函數(shù)替換為小波函數(shù)——Morlet小波麻惶，其表達(dá)式為

$\psi (x)=\cos(1.75x)e^{-\frac{x^2}{2}}$

本篇設(shè)計(jì)的4層小波神經(jīng)網(wǎng)絡(luò)的模型圖如圖3所示：

2.3模型的建立

a.初始化各項(xiàng)參數(shù)

在圖3的網(wǎng)絡(luò)設(shè)計(jì)中馍刮， $X=[x_{1},x_{2} ,……,x_{m}]^T$ 為輸入樣本， $Y=[y_{1},y_{2} ,……,y_{n}]^T$ 為輸出樣本窃蹋， $m,s_{i},n$ 分別為輸入層卡啰、隱含層、輸出層節(jié)點(diǎn)警没， $W$ 為各節(jié)點(diǎn)的連接權(quán)值匈辱。

b.前向計(jì)算

隱含層1的輸入為所有輸入的加權(quán)和： $x_{j1}=\sum_{i=1}^mW_{ij}x_{i}$ ，隱含層1的輸出為 $h_{j1}=h(\frac{x_{j1} -b_{j1} }{a_{j1}} )$ 杀迹。其余隱含層的輸入輸出及輸出層與1類似亡脸，在此不再贅述。

c.誤差反向傳播

誤差反向傳播采用梯度下降算法調(diào)整各層間的權(quán)值树酪，即權(quán)值修正過程浅碾。權(quán)值修正方式有兩種，一是按輸入樣本逐次修正续语，二是全部樣本輸入后再修正垂谢。本篇采用第一種方法。

根據(jù)誤差函數(shù) $E$ 修正權(quán)值和小波因子疮茄，為了避免算法陷入局部最小值滥朱，加快其收斂速度，引入了動量因子 $\alpha$ 力试，學(xué)習(xí)率為 $\eta _{1} ,\eta _{2}$ 徙邻，公式分別如下表示：

總結(jié)：小波神經(jīng)網(wǎng)絡(luò)擁有小波變換的優(yōu)點(diǎn)，避免了 BP 網(wǎng)絡(luò)設(shè)計(jì)結(jié)構(gòu)上的盲目性畸裳，但是隱含層的節(jié)點(diǎn)數(shù)以及各層之間的權(quán)值缰犁、尺度因子的初始化參數(shù)難以確定，會影響網(wǎng)絡(luò)的收斂速度躯畴。在后續(xù)的學(xué)習(xí)中民鼓，可以嘗試其他小波函數(shù)的神經(jīng)網(wǎng)絡(luò)，通過比較其最優(yōu)結(jié)果構(gòu)造小波神經(jīng)網(wǎng)絡(luò)蓬抄。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者