reference:
Wiki資料
卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究 (這個(gè)里面反向傳播算法介紹的特別好,推薦看)
參考資料總結(jié):
目前階段我們不需要知道具體是怎么算得蚯撩,大體了解推理過(guò)程就可以了震贵。然后知道學(xué)習(xí)速率在哪里倾贰,和損失函數(shù)在反向傳播算法里面起了什么作用就好了。
但是要記住以下結(jié)論
1滚粟、隱層閥值梯度值取決于隱層神經(jīng)元輸出、輸出層閥值梯度和隱層與輸出層的連接權(quán)值
2刃泌、在閥值調(diào)成過(guò)程中凡壤,當(dāng)前層的閥值梯度取決于下一層的閥值梯度(BP精髓)
3、當(dāng)前層的連接權(quán)值梯度耙替,取決于當(dāng)前神經(jīng)元閥值梯度和上層神經(jīng)元輸出
4亚侠、學(xué)習(xí)速率就是調(diào)整權(quán)值時(shí),梯度前面的系數(shù)俗扇。
5硝烂、損失函數(shù)就是計(jì)算前向傳播的結(jié)果和預(yù)期值的誤差。