參考文獻(xiàn)： A dynamic learning neural network for remote sensing applications
網(wǎng)絡(luò)模型
- 以 MLP 為 framework 設(shè)計(jì)的
- 可以有多個(gè)hidden layer（通常情況下小于3層）
- 第i層只能作為第i+1層的輸入
1. 單個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)模型.PNG
2. 單個(gè)節(jié)點(diǎn)的計(jì)算公式.PNG
符號(hào)解釋:
* h 為每一層單個(gè)節(jié)點(diǎn)的 total net input
* S() 為 activation function; 通常用 sigm 函數(shù)
3. 典型MLP網(wǎng)絡(luò)整體結(jié)構(gòu).PNG
h[i] = W[i]S(h[i-1]) + B[i] (for i = 1; i < p+1 )
符號(hào)解釋:
* 設(shè)有p層hidden layer
* W：每一層的權(quán)重矩陣
B: 偏置矩陣
n: 每一層節(jié)點(diǎn)的數(shù)量
* input = S(h[0])
output = S(h[p+1])
* input_num = n[0]
output_num = n[p+1]
4. 典型MLP網(wǎng)絡(luò)結(jié)構(gòu) notation 注記.PNG
Learning algorithm
- BP learning algorithm
- Polynomial basis function
- Kalman filtering technique
BP（梯度下降法）
目的
對(duì)權(quán)重進(jìn)行最優(yōu)化處理盏触，使得input和output的映射關(guān)系達(dá)到最優(yōu)
即：使得誤差率rms小于某個(gè)特定的值
基于本參考文獻(xiàn)舶得，BP算法只是用于展示后續(xù)算法develop的self-contained
Process
- 計(jì)算每一層每一個(gè)節(jié)點(diǎn)的hij
- 計(jì)算total error(rms) = sum(1/2(target - output)^2)
- 計(jì)算每一個(gè)權(quán)重的變化對(duì)于total error的影響
即： total error 相較于每一個(gè)權(quán)重值的偏導(dǎo)數(shù) - 跟新權(quán)重矩陣中的每一個(gè)權(quán)重值(包括偏置值)：w' = w - (學(xué)習(xí)率*total error 相較于w的偏導(dǎo)數(shù))
- 重復(fù)1~4步驟，直到total error小于預(yù)設(shè)誤差率threshold
補(bǔ)充內(nèi)容：
* 權(quán)重及偏置的初始值為小隨機(jī)數(shù)；學(xué)習(xí)率為0~1之間
* 參考文獻(xiàn)內(nèi)有提供求解偏導(dǎo)數(shù)的recursive equations
PBF
目的
對(duì)每一層中每一個(gè)節(jié)點(diǎn)的S(hij)化簡(jiǎn)虹蓄，將 activation function 放入單個(gè)節(jié)點(diǎn)表達(dá)式中
將 MLP 網(wǎng)絡(luò)轉(zhuǎn)化成 complete 網(wǎng)絡(luò)
好處：當(dāng)為 complete network 時(shí)，隱藏層的節(jié)點(diǎn)權(quán)重不再為必須的拼缝，只需要輸出層的節(jié)點(diǎn)權(quán)重向量即可
Process
5. 假設(shè)S(hij)可以展開(kāi)為上式.PNG
符號(hào)解釋?zhuān)?
* Dij[k]: 代表誤差率最優(yōu)情況下的多項(xiàng)式系數(shù)
* P(i,j): 由relative rms計(jì)算得到个扰，P(i,j)會(huì)隨著rms的下降而增大
6. express the activation function within the network.PNG
6.1.PNG
6.2.PNG
符號(hào)解釋?zhuān)?
* x: (M*1)轉(zhuǎn)置的矩陣
* M：0到p層每層節(jié)點(diǎn)的數(shù)量和+1(即：輸入層節(jié)點(diǎn)和 + 隱藏層節(jié)點(diǎn)和 + 1)
實(shí)驗(yàn)例子中 M = 123
* C: (M*L)的相關(guān)矩陣
* X：(L*1)轉(zhuǎn)置的輸入?yún)?shù)矩陣；X = [X[0][1], X[1][1]... X[2][1], X[2][2]...]
* X[0][1] = 1
X[1][l] = xl
X[2][l] = x1^2, x2^2, x1x2, x1x3 ect
7. output的表示方式.PNG
符號(hào)解釋?zhuān)?
* W：(m*M)的輸出層權(quán)重矩陣
W = [w1, w2, ..., w(p+1)]T
wk = 輸出層每個(gè)節(jié)點(diǎn)組成的集合
wijk = 輸出層的每個(gè)節(jié)點(diǎn)關(guān)于上一層節(jié)點(diǎn)連邊上的權(quán)重值組成的集合
8. 最終簡(jiǎn)化而成的每一個(gè)輸出y的表達(dá)式.PNG
Kalman filtering
目的
預(yù)測(cè)和反饋向最小mse值的遞歸過(guò)程萎津，對(duì)每一個(gè)輸出節(jié)點(diǎn)上的權(quán)重進(jìn)行filter
Process
9. 神經(jīng)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)差分方程.PNG
9.2.PNG
9.3.PNG
9.4 噪聲的相關(guān)關(guān)系.PNG
補(bǔ)充及符號(hào)解釋?zhuān)?
* 每一個(gè)輸出節(jié)點(diǎn)對(duì)應(yīng)的權(quán)重值可以獨(dú)立更新
* A: (M*M)的狀態(tài)轉(zhuǎn)化矩陣
* B: (M*M)的對(duì)角矩陣
* uk: (1*M)的process error向量
* vk: scalar measurement error
* uk及vk為服從高斯模型的白噪聲,相關(guān)關(guān)系如上圖9.4
10. 神經(jīng)網(wǎng)絡(luò)中權(quán)重矩陣?yán)每柭鼮V波進(jìn)行反饋和預(yù)測(cè)的過(guò)程.PNG
補(bǔ)充解釋?zhuān)?
* 上圖第一個(gè)等式右邊的權(quán)重值為經(jīng)過(guò)PBF預(yù)測(cè)得到的估計(jì)值卸伞；
左邊的權(quán)重值為filter預(yù)測(cè)反饋而得到的估計(jì)值
* gk^j: 卡爾曼增益值; 通常使用UD分解來(lái)求卡爾曼增益值（ud文件的意義）
11. 卡爾曼增益值計(jì)算公式.PNG
簡(jiǎn)化計(jì)算：
* 令A(yù)j和Bj為單位矩陣
* rk^j為小的正數(shù)
* 令 Qk^j = φ^2 * I(單位矩陣)
φ為指定的過(guò)程誤差變量
* 初始權(quán)重設(shè)置為小隨機(jī)數(shù)
* 設(shè)立初始預(yù)測(cè)誤差相關(guān)矩陣為圖11.1
11.1.PNG
實(shí)驗(yàn)過(guò)程
- 預(yù)處理：
- 對(duì)輸入數(shù)據(jù)到預(yù)測(cè)數(shù)據(jù)進(jìn)行 sensitibity test
- 采用Monte Carlo對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行選擇，選取輸出值易受輸入值影響的
- 神經(jīng)網(wǎng)絡(luò)黑箱處理
