多層感知機(jī)
概念：多層感知機(jī)就是含有至少一個(gè)隱藏層的由全連接層組成的神經(jīng)網(wǎng)絡(luò)艾恼，且每個(gè)隱藏層的輸出通過激活函數(shù)進(jìn)行變換。多層感知機(jī)的層數(shù)和各隱藏層中隱藏單元個(gè)數(shù)都是超參數(shù)蛾扇。以單隱藏層為例并沿用本節(jié)之前定義的符號(hào)刀疙，多層感知機(jī)按以下方式計(jì)算輸出：
激活函數(shù)
| 激活函數(shù) | 公式 | 導(dǎo)數(shù)公式 | 優(yōu)點(diǎn) | 缺點(diǎn) |
|---|---|---|---|---|
| ReLU | 不會(huì)同時(shí)激活所有神經(jīng)元，使得計(jì)算高效 | x<0湃交，梯度是0熟空，導(dǎo)致神經(jīng)元死亡，權(quán)重?zé)o法更新 | ||
| Sigmod | 非線性搞莺，適合輸出層 | 兩邊太平滑導(dǎo)致學(xué)習(xí)率低息罗；輸出不是以0為中心 | ||
| Tanh | 彌補(bǔ)了sigmod很多缺陷 | 兩邊太平滑會(huì)導(dǎo)致學(xué)習(xí)率低 |
| 激活函數(shù) | 原公式圖像 | 導(dǎo)數(shù)公式圖像 |
|---|---|---|
| ReLU |  relu.png
|
 relu_grad.png
|
| Sigmod |  sigmod.png
|
 sigmod_grad.png
|
| Tanh |  tanh.png
|
 tanh_grad.png
|
激活函數(shù)的選擇
1.通用情況下選擇ReLu函數(shù)。注意：ReLu函數(shù)只能在隱藏層使用才沧。如果出現(xiàn)死神經(jīng)元迈喉，選擇PReLu函數(shù)。
2.分類問題中温圆，Sigmod函數(shù)及其組合通常效果更好挨摸，但應(yīng)避免梯度消失問題。
