來源：AINLPer微信公眾號
編輯: ShuYini
校稿: ShuYini
時間: 2019-9-1
引言
????在深度學(xué)習(xí)網(wǎng)絡(luò)中苏携，我們經(jīng)常可以看到對于某一個隱藏層節(jié)點(diǎn)的激活值計(jì)算一般分為兩步链嘀，如下圖：
????第一步，輸入該節(jié)點(diǎn)的值為 ,時档玻，在進(jìn)入這個隱藏節(jié)點(diǎn)后怀泊，會先進(jìn)行一個線性變換，計(jì)算出值 误趴，上標(biāo) 1 表示第 1 層隱藏層霹琼。
????第二步，再進(jìn)行一個非線性變換凉当，也就是經(jīng)過非線性激活函數(shù)枣申，計(jì)算出該節(jié)點(diǎn)的輸出值(激活值) ，其中 g(z)為非線性函數(shù)看杭。
????那么問題來了忠藤，這個激活函數(shù)到底有什么用呢，可不可以不加激活函數(shù)呢楼雹？
什么是激活函數(shù)模孩？
????激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中極其重要的概念尖阔。它們決定了某個神經(jīng)元是否被激活，這個神經(jīng)元接受到的信息是否是有用的榨咐，是否該留下或者是該拋棄介却。激活函數(shù)的形式如下：
????激活函數(shù)是我們對輸入做的一種非線性的轉(zhuǎn)換。轉(zhuǎn)換的結(jié)果輸出块茁，并當(dāng)作下一個隱藏層的輸入齿坷。
如果沒有激活函數(shù)會怎樣？
????1数焊、首先對于y=ax+b 這樣的函數(shù)永淌，當(dāng)x的輸入很大時，y的輸出也是無限大/小的佩耳，經(jīng)過多層網(wǎng)絡(luò)疊加后遂蛀，值更加膨脹的沒邊了，這顯然不符合我們的預(yù)期蚕愤，很多情況下我們希望的輸出是一個概率。
????2饺蚊、線性變換太簡單（只是加權(quán)偏移）萍诱，限制了對復(fù)雜任務(wù)的處理能力。沒有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)就是一個線性回歸模型污呼。激活函數(shù)做的非線性變換可以使得神經(jīng)網(wǎng)絡(luò)處理非常復(fù)雜的任務(wù)裕坊。例如，我們希望我們的神經(jīng)網(wǎng)絡(luò)可以對語言翻譯和圖像分類做操作燕酷，這就需要非線性轉(zhuǎn)換籍凝。同時，激活函數(shù)也使得反向傳播算法變的可能苗缩。因?yàn)槎伲@時候梯度和誤差會被同時用來更新權(quán)重和偏移。沒有可微分的線性函數(shù)酱讶，這就不可能了退盯。
????3、結(jié)論：可以用線性激活函數(shù)的地方一般會是輸出層泻肯。
常用的激活函數(shù)有哪些渊迁？
????在深度學(xué)習(xí)中，常用的激活函數(shù)主要有：sigmoid函數(shù)灶挟，tanh函數(shù)琉朽，ReLU函數(shù)、Leaky ReLU函數(shù)稚铣。
sigmoid函數(shù)
????該函數(shù)是將取值為 (?∞,+∞)(的數(shù)映射到 (0,1) 之間箱叁。sigmoid函數(shù)的公式以及圖形如下：
????（1）當(dāng) zz 值非常大或者非常小時蝌蹂，通過上圖我們可以看到噩斟，sigmoid函數(shù)的導(dǎo)數(shù) g′(z) 將接近0 。這會導(dǎo)致權(quán)重W的梯度將接近0孤个，使得梯度更新十分緩慢剃允，即梯度消失。
????（2）函數(shù)的輸出不是以0為均值齐鲤，將不便于下層的計(jì)算斥废，具體可參考[3]。sigmoid函數(shù)可用在網(wǎng)絡(luò)最后一層给郊，作為輸出層進(jìn)行二分類牡肉，盡量不要使用在隱藏層。
tanh函數(shù)
????tanh函數(shù)相較于sigmoid函數(shù)要常見一些淆九，該函數(shù)是將取值為 (?∞,+∞)的數(shù)映射到 (?1,1) 之間统锤，其公式與圖形為
ReLU函數(shù)
????ReLU函數(shù)又稱為修正線性單元（Rectified Linear Unit），是一種分段線性函數(shù)永品，其彌補(bǔ)了sigmoid函數(shù)以及tanh函數(shù)的梯度消失問題做鹰。ReLU函數(shù)的公式以及圖形如下：
????ReLU函數(shù)的優(yōu)點(diǎn)：
????（1）在輸入為正數(shù)的時候（對于大多數(shù)輸入 zz 空間來說），不存在梯度消失問題鼎姐。
????（2） 計(jì)算速度要快很多誊垢。ReLU函數(shù)只有線性關(guān)系，不管是前向傳播還是反向傳播症见，都比sigmod和tanh要快很多喂走。（sigmod和tanh要計(jì)算指數(shù)，計(jì)算速度會比較慢）
????ReLU函數(shù)的缺點(diǎn)：
????（1）當(dāng)輸入為負(fù)時谋作，梯度為0芋肠，會產(chǎn)生梯度消失問題。
Leaky ReLU函數(shù)
????這是一種對ReLU函數(shù)改進(jìn)的函數(shù)遵蚜，又稱為PReLU函數(shù)帖池，但其并不常用奈惑。其公式與圖形如下：
?????Leaky ReLU函數(shù)解決了ReLU函數(shù)在輸入為負(fù)的情況下產(chǎn)生的梯度消失問題睡汹。
參考文獻(xiàn)
[1] https://blog.csdn.net/qq_35290785/article/details/89349635
[2] https://www.datalearner.com/blog/1051508750742453
[3] https://www.cnblogs.com/lliuye/p/9486500.html
更多自然語言處理肴甸、pytorch相關(guān)知識，還請關(guān)注AINLPer公眾號囚巴，極品干貨即刻送達(dá)原在。
