神經(jīng)網(wǎng)絡(luò)之激活函數(shù)(Activation Function)
本博客僅為作者記錄筆記之用秽澳，不免有很多細(xì)節(jié)不對(duì)之處。
還望各位看官能夠見諒戏羽，歡迎批評(píng)指正担神。
更多相關(guān)博客請(qǐng)猛戳：http://blog.csdn.net/cyh_24
如需轉(zhuǎn)載，請(qǐng)附上本文鏈接：http://blog.csdn.net/cyh_24/article/details/50593400
日常 coding 中始花，我們會(huì)很自然的使用一些激活函數(shù)妄讯，比如：sigmoid孩锡、ReLU等等。不過好像忘了問自己一(n)件事：
為什么需要激活函數(shù)亥贸？
激活函數(shù)都有哪些躬窜？都長(zhǎng)什么樣？有哪些優(yōu)缺點(diǎn)炕置？
怎么選用激活函數(shù)荣挨？
本文正是基于這些問題展開的，歡迎批評(píng)指正朴摊！
(此圖并沒有什么卵用默垄，純屬為了裝x …)
激活函數(shù)通常有如下一些性質(zhì)：
非線性：當(dāng)激活函數(shù)是線性的時(shí)候，一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)就可以逼近基本上所有的函數(shù)了甚纲。但是口锭，如果激活函數(shù)是恒等激活函數(shù)的時(shí)候（即f(x)=x），就不滿足這個(gè)性質(zhì)了贩疙，而且如果MLP使用的是恒等激活函數(shù)讹弯，那么其實(shí)整個(gè)網(wǎng)絡(luò)跟單層神經(jīng)網(wǎng)絡(luò)是等價(jià)的。
可微性：當(dāng)優(yōu)化方法是基于梯度的時(shí)候这溅，這個(gè)性質(zhì)是必須的组民。
單調(diào)性：當(dāng)激活函數(shù)是單調(diào)的時(shí)候，單層網(wǎng)絡(luò)能夠保證是凸函數(shù)悲靴。
f(x)≈x：當(dāng)激活函數(shù)滿足這個(gè)性質(zhì)的時(shí)候臭胜，如果參數(shù)的初始化是random的很小的值，那么神經(jīng)網(wǎng)絡(luò)的訓(xùn)練將會(huì)很高效癞尚；如果不滿足這個(gè)性質(zhì)耸三，那么就需要很用心的去設(shè)置初始值。
輸出值的范圍：當(dāng)激活函數(shù)輸出值是有限的時(shí)候浇揩，基于梯度的優(yōu)化方法會(huì)更加穩(wěn)定仪壮，因?yàn)樘卣鞯谋硎臼苡邢迿?quán)值的影響更顯著；當(dāng)激活函數(shù)的輸出是無限的時(shí)候胳徽，模型的訓(xùn)練會(huì)更加高效积锅，不過在這種情況小，一般需要更小的learning rate.
這些性質(zhì)养盗，也正是我們使用激活函數(shù)的原因缚陷！
Sigmoid 是常用的非線性的激活函數(shù)，它的數(shù)學(xué)形式如下：
f(x)=11+e?x
正如前一節(jié)提到的往核，它能夠把輸入的連續(xù)實(shí)值“壓縮”到0和1之間箫爷。
特別的，如果是非常大的負(fù)數(shù)，那么輸出就是0虎锚；如果是非常大的正數(shù)硫痰，輸出就是1.
sigmoid 函數(shù)曾經(jīng)被使用的很多，不過近年來翁都，用它的人越來越少了碍论。主要是因?yàn)樗囊恍?b>缺點(diǎn)：
Sigmoids saturate and kill gradients.（saturate 這個(gè)詞怎么翻譯？飽和柄慰？）sigmoid 有一個(gè)非常致命的缺點(diǎn)鳍悠，當(dāng)輸入非常大或者非常小的時(shí)候（saturation），這些神經(jīng)元的梯度是接近于0的坐搔，從圖中可以看出梯度的趨勢(shì)藏研。所以，你需要尤其注意參數(shù)的初始值來盡量避免saturation的情況概行。如果你的初始值很大的話蠢挡，大部分神經(jīng)元可能都會(huì)處在saturation的狀態(tài)而把gradient kill掉，這會(huì)導(dǎo)致網(wǎng)絡(luò)變的很難學(xué)習(xí)凳忙。
Sigmoid 的 output 不是0均值.這是不可取的业踏，因?yàn)檫@會(huì)導(dǎo)致后一層的神經(jīng)元將得到上一層輸出的非0均值的信號(hào)作為輸入。
產(chǎn)生的一個(gè)結(jié)果就是：如果數(shù)據(jù)進(jìn)入神經(jīng)元的時(shí)候是正的(e.g.x>0elementwise inf=wTx+b)涧卵，那么w計(jì)算出的梯度也會(huì)始終都是正的勤家。
當(dāng)然了，如果你是按batch去訓(xùn)練柳恐，那么那個(gè)batch可能得到不同的信號(hào)伐脖，所以這個(gè)問題還是可以緩解一下的。因此乐设，非0均值這個(gè)問題雖然會(huì)產(chǎn)生一些不好的影響讼庇，不過跟上面提到的 kill gradients 問題相比還是要好很多的。
tanh 是上圖中的右圖近尚，可以看出蠕啄，tanh 跟sigmoid還是很像的，實(shí)際上戈锻，tanh 是sigmoid的變形：
tanh(x)=2sigmoid(2x)?1
與 sigmoid 不同的是介汹，tanh 是0均值的。因此舶沛，實(shí)際應(yīng)用中，tanh 會(huì)比 sigmoid 更好（畢竟去粗取精了嘛）窗价。
ReLU
近年來如庭，ReLU 變的越來越受歡迎。它的數(shù)學(xué)表達(dá)式如下：
f(x)=max(0,x)
很顯然，從圖左可以看出坪它，輸入信號(hào)<0時(shí)骤竹，輸出都是0，>0的情況下往毡，輸出等于輸入蒙揣。w是二維的情況下，使用ReLU之后的效果如下：
ReLU 的優(yōu)點(diǎn)：
Krizhevsky et al.發(fā)現(xiàn)使用 ReLU 得到的SGD的收斂速度會(huì)比 sigmoid/tanh 快很多(看右圖)开瞭。有人說這是因?yàn)樗莑inear懒震，而且 non-saturating
相比于 sigmoid/tanh，ReLU 只需要一個(gè)閾值就可以得到激活值嗤详，而不用去算一大堆復(fù)雜的運(yùn)算个扰。
ReLU 的缺點(diǎn)：當(dāng)然 ReLU 也有缺點(diǎn)，就是訓(xùn)練的時(shí)候很”脆弱”葱色，很容易就”die”了. 什么意思呢递宅？
舉個(gè)例子：一個(gè)非常大的梯度流過一個(gè) ReLU 神經(jīng)元，更新過參數(shù)之后苍狰，這個(gè)神經(jīng)元再也不會(huì)對(duì)任何數(shù)據(jù)有激活現(xiàn)象了办龄。
如果這個(gè)情況發(fā)生了，那么這個(gè)神經(jīng)元的梯度就永遠(yuǎn)都會(huì)是0.
實(shí)際操作中淋昭，如果你的learning rate 很大俐填，那么很有可能你網(wǎng)絡(luò)中的40%的神經(jīng)元都”dead”了。
當(dāng)然响牛，如果你設(shè)置了一個(gè)合適的較小的learning rate玷禽，這個(gè)問題發(fā)生的情況其實(shí)也不會(huì)太頻繁。
Leaky ReLUs：就是用來解決這個(gè)“dying ReLU”的問題的。與 ReLU 不同的是：
f(x)=αx贬丛，(x<0)
f(x)=x撩银，(x>=0)
這里的α是一個(gè)很小的常數(shù)。這樣豺憔，即修正了數(shù)據(jù)分布额获，又保留了一些負(fù)軸的值，使得負(fù)軸信息不會(huì)全部丟失恭应。
關(guān)于Leaky ReLU 的效果抄邀，眾說紛紜，沒有清晰的定論昼榛。有些人做了實(shí)驗(yàn)發(fā)現(xiàn) Leaky ReLU 表現(xiàn)的很好境肾；有些實(shí)驗(yàn)則證明并不是這樣。
Parametric ReLU：對(duì)于 Leaky ReLU 中的α，通常都是通過先驗(yàn)知識(shí)人工賦值的奥喻。
然而可以觀察到偶宫，損失函數(shù)對(duì)α的導(dǎo)數(shù)我們是可以求得的，可不可以將它作為一個(gè)參數(shù)進(jìn)行訓(xùn)練呢环鲤？
Kaiming He的論文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》指出纯趋，不僅可以訓(xùn)練，而且效果更好冷离。
公式非常簡(jiǎn)單吵冒，反向傳播至未激活前的神經(jīng)元的公式就不寫了，很容易就能得到酒朵。對(duì)α的導(dǎo)數(shù)如下：
δyiδα=0桦锄，(ifyi>0)，else=yi
原文說使用了Parametric ReLU后蔫耽，最終效果比不用提高了1.03%.
Randomized ReLU：
Randomized Leaky ReLU是 leaky ReLU 的random 版本 （α是random的）.
它首次試在 kaggle 的NDSB 比賽中被提出的结耀。
核心思想就是，在訓(xùn)練過程中匙铡，α是從一個(gè)高斯分布U(l,u)中 隨機(jī)出來的图甜，然后再測(cè)試過程中進(jìn)行修正（有點(diǎn)像dropout的用法）。
數(shù)學(xué)表示如下：
在測(cè)試階段鳖眼，把訓(xùn)練過程中所有的αij取個(gè)平均值黑毅。NDSB 冠軍的α是從U(3,8)中隨機(jī)出來的。那么钦讳，在測(cè)試階段矿瘦，激活函數(shù)就是就是：
yij=xijl+u2
看看 cifar-100 中的實(shí)驗(yàn)結(jié)果：
Maxout出現(xiàn)在ICML2013上，作者Goodfellow將maxout和dropout結(jié)合后愿卒，號(hào)稱在MNIST, CIFAR-10, CIFAR-100, SVHN這4個(gè)數(shù)據(jù)上都取得了start-of-art的識(shí)別率缚去。
Maxout 公式如下：
fi(x)=maxj∈[1,k]zij
假設(shè)w是2維，那么有：
f(x)=max(wT1x+b1,wT2x+b2)
可以注意到琼开，ReLU 和 Leaky ReLU 都是它的一個(gè)變形（比如易结，w1,b1=0的時(shí)候，就是 ReLU）.
Maxout的擬合能力是非常強(qiáng)的柜候，它可以擬合任意的的凸函數(shù)搞动。作者從數(shù)學(xué)的角度上也證明了這個(gè)結(jié)論，即只需2個(gè)maxout節(jié)點(diǎn)就可以擬合任意的凸函數(shù)了（相減）渣刷，前提是”隱隱含層”節(jié)點(diǎn)的個(gè)數(shù)可以任意多.
所以，Maxout 具有 ReLU 的優(yōu)點(diǎn)（如：計(jì)算簡(jiǎn)單狮惜，不會(huì) saturation）碾篡，同時(shí)又沒有 ReLU 的一些缺點(diǎn) （如：容易 go die）。不過呢开泽，還是有一些缺點(diǎn)的嘛：就是把參數(shù)double了。
還有其他一些激活函數(shù)峦耘，請(qǐng)看下表：
How to choose a activation function?
怎么選擇激活函數(shù)呢？
我覺得這種問題不可能有定論的吧，只能說是個(gè)人建議第焰。
如果你使用 ReLU挺举，那么一定要小心設(shè)置 learning rate，而且要注意不要讓你的網(wǎng)絡(luò)出現(xiàn)很多 “dead” 神經(jīng)元瞻佛，如果這個(gè)問題不好解決伤柄，那么可以試試 Leaky ReLU、PReLU 或者 Maxout.
友情提醒：最好不要用 sigmoid笔喉，你可以試試 tanh作谭，不過可以預(yù)期它的效果會(huì)比不上 ReLU 和 Maxout.
還有折欠，通常來說，很少會(huì)把各種激活函數(shù)串起來在一個(gè)網(wǎng)絡(luò)中使用的酱床。
[1].http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-10.html
[2].http://papers.nips.cc/paper/874-how-to-choose-an-activation-function.pdf
[3].https://en.wikipedia.org/wiki/Activation_function
[4].http://cs231n.github.io/neural-networks-1/
Please feel free to contract me if you have any questions.
