1.幾個標(biāo)記方法：
神經(jīng)網(wǎng)絡(luò)總的層數(shù)L氯庆；
第l層的單元數(shù)Sl（不包括偏差單元）纪蜒；
輸出層的單元數(shù)K衷恭。
①對于兩類分類問題
y=0或1，只有一個輸出單元霍掺，hΘ(x)∈R匾荆，故SL=1，即K=1杆烁。
②對于多類分類問題
y是一個向量牙丽，y∈RK，hΘ(x)∈RK兔魂，SL=K(K?3)烤芦。
2.邏輯回歸的代價函數(shù)
3.神經(jīng)網(wǎng)絡(luò)的代價函數(shù)（多類分類問題）
該式子的含義（個人現(xiàn)階段理解），共有k個分類析校，所以對于每一行數(shù)據(jù)构罗，h(x(i))是一個k維的向量（有個輸出結(jié)果），Σk 即將每一個結(jié)果的代價求和智玻，再將m行數(shù)據(jù)的代價求和遂唧，得出總的代價。正則化的式子：每一層有l(wèi)個單元吊奢，對應(yīng)每層的theta是一個S(l+1)*S(L)的矩陣
4.反向傳播算法
先通過一個例子來看：
即前向傳播是通過ai求得zi+1,反向傳播是通過δi+1求得δi盖彭，系數(shù)都是Θij，其中j是前一層對應(yīng)的單元页滚，i是后一層對應(yīng)的單元
代價函數(shù)：
image.png
誤差計算方法：
而代價函數(shù)的偏導(dǎo)數(shù)為
算法：
