本文作者專注于AI進(jìn)階算法貌矿，正在推出AI瘋狂進(jìn)階之基礎(chǔ)理論進(jìn)階篇，如有興趣可持續(xù)關(guān)注我黑低。
核心導(dǎo)讀：
1. 神經(jīng)網(wǎng)絡(luò)激活函數(shù)的作用是什么克握？
2. 如何評價(jià)激活函數(shù)的好壞枷踏？
3. ReLU存在哪些問題旭蠕？
4. 存在替換萬年ReLU的激活函數(shù)嗎？
1. 激活函數(shù)的作用是什么掏熬？
激活函數(shù)對于人工神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)孽江、理解非常復(fù)雜的數(shù)據(jù)來說具有十分重要的作用岗屏。激活函數(shù)給神經(jīng)元引入了非線性因素，使得神經(jīng)網(wǎng)絡(luò)可以逼近任何非線性函數(shù)婉烟，這樣神經(jīng)網(wǎng)絡(luò)就可以應(yīng)用到眾多的非線性模型中暇屋。目前最常見的激活函數(shù)當(dāng)屬ReLU以及在其基礎(chǔ)上改進(jìn)的如PReLU咐刨，RReLU，LeakyReLU等而涉。本文在激活函數(shù)上進(jìn)行了進(jìn)階總結(jié)联予，下面一一闡述：
2.如何評價(jià)激活函數(shù)的好壞？
目前學(xué)術(shù)界總計(jì)有50+類型的激活函數(shù)余蟹，但沒有統(tǒng)一的或者明確的標(biāo)準(zhǔn)去衡量激活函數(shù)的好壞威酒，最根本的原因是因?yàn)樯窠?jīng)網(wǎng)絡(luò)通過訓(xùn)練本質(zhì)上是去擬合訓(xùn)練數(shù)據(jù)的非線性分布话告，然而現(xiàn)實(shí)中數(shù)據(jù)的分布是無法統(tǒng)計(jì)的，所以采用哪種激活函數(shù)能擬合的更好是無法通過理論去推導(dǎo)出來佛呻，因此大部分論文都是通過在幾十種不同的任務(wù)上做實(shí)驗(yàn)去看準(zhǔn)確率以及準(zhǔn)確率浮動(dòng)的范圍(穩(wěn)定性)來評判激活函數(shù)的好壞吓著。從最近研究出的一些比較好的激活函數(shù)中可以總結(jié)出好的激活函數(shù)必須擁有以下三個(gè)特點(diǎn)：
(1) Unboundedness(x>0無飽和區(qū)域)：傳統(tǒng)的激活函數(shù)如sigmoid和tanh函數(shù)都有飽和區(qū)域送挑，所以必須依賴較好的初始化讓輸入數(shù)據(jù)處于非飽和區(qū)域惕耕，否則飽和區(qū)域產(chǎn)生的梯度過小會(huì)影響收斂速度，而Relu系列都是x>0無飽和區(qū)域欺缘。
(2)NegativeOutputs(x<0產(chǎn)生非0值)：Relu在x<0的值全都是0，而PReLU谚殊，RReLU嫩絮，LeakyReLU最大的共同改進(jìn)點(diǎn)就是在x<0產(chǎn)生非0值围肥，少量的NegativeOutputs能減少神經(jīng)元訓(xùn)練過程中出現(xiàn)"die"的概率虐先，提升模型的魯棒性蛹批。
(3)Smoothness(平滑性)：Relu，PReLU差导，RReLU都是在x=0點(diǎn)都是不連續(xù)的猪勇，最明顯的現(xiàn)象是在特征響應(yīng)圖上產(chǎn)生斷層泣刹，平滑的激活函數(shù)更利于梯度信息的回傳。
3.ReLU存在哪些問題外冀？
(1)Dead ReLU Problem：《Applying Deep Learning to Airbnb Search》中解釋了這個(gè)問題雪隧，神經(jīng)網(wǎng)絡(luò)接受異于常值范圍的輸入時(shí)员舵，在反向傳播過程中會(huì)產(chǎn)生大的梯度马僻，這種大的梯度韭邓，會(huì)因梯度消失而永久關(guān)閉諸如 ReLU 的激活函數(shù)仍秤，這主要是ReLU沒有NegativeOutputs所帶來的問題。下面舉了個(gè)簡單的例子說明這個(gè)現(xiàn)象凰浮。
(2)High-Confidence Predictions：《Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate》中針對例如將一個(gè)在CIFAR 10數(shù)據(jù)集（10類普通物體）上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)袜茧，放到SVHN數(shù)據(jù)集（街景門牌）上做測試笛厦，該模型竟然能夠以100%的置信度將門牌識別為狗裳凸、鳥和飛機(jī)等這種現(xiàn)象贱鄙，通過理論建模逗宁，解釋ReLU帶來的高置信度問題瞎颗，并提出CEDA和ACET來緩解這種不良情況捌议。
4.存在替換萬年ReLU的激活函數(shù)嗎倦逐？
答案是肯定的弄捕。本文作者在這里給大家推薦2個(gè)激活函數(shù)。這2個(gè)激活函數(shù)在自己的工程項(xiàng)目中都嘗試過穿铆，相比Relu均有穩(wěn)定0.5%左右的提升斋荞。僅僅改變激活函數(shù)就能帶來白給的提升平酿，何樂而不為蜈彼？第一個(gè)是Google Brain提出的Swish函數(shù)幸逆，其形式為f(x) = x · sigmoid(x) 棍辕，《SWISH: A SELF-GATED ACTIVATION FUNCTION 》論文在多個(gè)任務(wù)上實(shí)驗(yàn)精度都超過Relu，同時(shí)在2019年推出的端側(cè)引擎MobilenetV3中还绘，也是直接用Swish替換掉Relu楚昭。另一個(gè)是Mish函數(shù)，其形式為f(x) = x? tanh(ln(1 + exp(x))拍顷，《Mish: A Self Regularized Non-Monotonic Neural Activation Function 》也是在多個(gè)任務(wù)上實(shí)驗(yàn)最終準(zhǔn)確度上比Swish(+.494%)和ReLU(+ 1.671%)都有提高抚太。從下圖可以看出Swish和Mish在特征圖上數(shù)據(jù)分布比Relu更加平滑。由于激活函數(shù)替換的成本較低，所以當(dāng)你看到這篇文章的時(shí)候尿贫，可以嘗試在自己的項(xiàng)目中采用這2個(gè)激活函數(shù)試一試电媳，說不定就能帶來一定的提升。
5.小結(jié)
激活函數(shù)一直是神經(jīng)網(wǎng)絡(luò)研究中的一個(gè)重要方向帅霜，未來也會(huì)有更多更好的激活函數(shù)出現(xiàn)匆背，如果不知道采用哪個(gè)激活函數(shù)好呼伸，可以采用Auto ML進(jìn)行搜索搂根。
如需轉(zhuǎn)載，請注明出處。
