一、何為激活函數(shù)人断？
- 深度學(xué)習(xí)中涝滴，激活函數(shù)通常指能夠?qū)崿F(xiàn)非線性映射的函數(shù)
二、為什么需要非線性激活函數(shù)搀暑？
- 定義：這里根據(jù)常用表示方法將隱藏層第一層作為神經(jīng)網(wǎng)絡(luò)的第1層，輸入層則作為第0層
- 根據(jù)上述推導(dǎo)跨琳，如果使用線性激活函數(shù)自点，無(wú)論神經(jīng)網(wǎng)絡(luò)有多少層，都只是計(jì)算輸入特征的線性組合脉让，那還不如全部去掉所有隱藏層桂敛。
三、常用的激活函數(shù)
四溅潜、經(jīng)驗(yàn)法則
- 不同層的激活函數(shù)可以不一樣
- sigmoid函數(shù)除了用在二元分類(lèi)的輸出層术唬，其他情況建議不要使用
- ReLU函數(shù)（修正線性單元）最常用
五、激活函數(shù)的導(dǎo)數(shù)
