一倍奢、Motivations
- "Non-linear Hypotheses"
- 解決復(fù)雜非線性問題的方法之一
- 解決復(fù)雜非線性分類問題比Logistic回歸有優(yōu)勢
二庶溶、Model representation
三煮纵、Cost Function
四、Backpropagation Algorithm
-
從誤差傳遞理解
-
前面的每一項都需要對后面的所有誤差承擔(dān)責(zé)任
-
-
回歸初心偏螺,從計算梯度理解
-
對輸出層:
-
對隱藏層:
- 要特別小心向量化操作
-
-
累計梯度矩陣
五行疏、Neural network process
- 搭建神經(jīng)網(wǎng)絡(luò)框架
- 隨機(jī)初始化權(quán)重
- 對每一個樣本執(zhí)行前向傳播算法,計算激勵值(各層的z套像,a)
- 計算代價函數(shù)
- 對每一個樣本誤差執(zhí)行后向傳播算法酿联,計算各自梯度(最后將累計梯度矩陣的均值作為模型的梯度)
- 梯度檢查
- 執(zhí)行最優(yōu)化算法計算權(quán)重矩陣
六、技術(shù)細(xì)節(jié)
- 參數(shù)向量化(掌握矩陣和向量之間的轉(zhuǎn)化)
- 梯度檢查
- 梯度檢查完畢后記得關(guān)掉
-
隨機(jī)初始化
- 隱藏層數(shù)目默認(rèn)選擇單個隱藏層夺巩;如果選擇多個隱藏層贞让,保證每個隱藏層單元數(shù)相同
- 隱藏單元一般越大越好,但是考慮計算量問題柳譬,略多于輸入特征數(shù)也可接受