三、深層神經(jīng)網(wǎng)絡(luò)
1.為什么需要深層鬼佣？
在較深的隱藏層中，能夠?qū)⒒A(chǔ)特征組合成較為復(fù)雜的特征組合休弃。
2.參數(shù)和超參數(shù)
參數(shù)：即W和b
超參數(shù)：
- 學(xué)習(xí)率
- 循環(huán)的次數(shù)
- 隱藏層數(shù)目
- 激活函數(shù)
- 正則化
- batch size
- ……..
超參數(shù)的取值會決定W和b 的值介牙，從而影響神經(jīng)網(wǎng)絡(luò)的效果以及其訓(xùn)練速度等。
超參數(shù)的設(shè)定往往需要根據(jù)經(jīng)驗取一個合適的值奋岁，然后根據(jù)應(yīng)用效果思瘟、調(diào)整目標(biāo)等進行更新來優(yōu)化神經(jīng)網(wǎng)絡(luò)。
3.深層神經(jīng)網(wǎng)絡(luò)的實現(xiàn)
其實跟淺層神經(jīng)網(wǎng)絡(luò)沒有什么差異闻伶，只是需要進行的運算步驟比較多而已滨攻。
但是要在實現(xiàn)矩陣運算的時候注意矩陣之間的shape是否匹配，可以有效避免很多bug。
