姓名：周雪寧

學(xué)號(hào)：1702110196

轉(zhuǎn)載：https://mp.weixin.qq.com/s/7DgiXCNBS5vb07WIKTFYRQ

【嵌牛導(dǎo)讀】：在本文中峦椰，作者對(duì)包括 Relu龄寞、Sigmoid 在內(nèi)的 26 種激活函數(shù)做了可視化，并附上了神經(jīng)網(wǎng)絡(luò)的相關(guān)屬性汤功，為大家了解激活函數(shù)提供了很好的資源物邑。

【嵌牛鼻子】：深度學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)，激活函數(shù)

【嵌牛提問】：不同的激活函數(shù)的具體形式滔金？它們不同的優(yōu)勢是什么色解？

【嵌牛正文】：

在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)決定來自給定輸入集的節(jié)點(diǎn)的輸出餐茵，其中非線性激活函數(shù)允許網(wǎng)絡(luò)復(fù)制復(fù)雜的非線性行為冒签。正如絕大多數(shù)神經(jīng)網(wǎng)絡(luò)借助某種形式的梯度下降進(jìn)行優(yōu)化，激活函數(shù)需要是可微分（或者至少是幾乎完全可微分的）钟病。此外萧恕，復(fù)雜的激活函數(shù)也許產(chǎn)生一些梯度消失或爆炸的問題刚梭。因此，神經(jīng)網(wǎng)絡(luò)傾向于部署若干個(gè)特定的激活函數(shù)（identity票唆、sigmoid朴读、ReLU

及其變體）。

下面是 26 個(gè)激活函數(shù)的圖示及其一階導(dǎo)數(shù)走趋，圖的右側(cè)是一些與神經(jīng)網(wǎng)絡(luò)相關(guān)的屬性衅金。

1. Step

激活函數(shù) Step 更傾向于理論而不是實(shí)際，它模仿了生物神經(jīng)元要么全有要么全無的屬性簿煌。它無法應(yīng)用于神經(jīng)網(wǎng)絡(luò)氮唯，因?yàn)槠鋵?dǎo)數(shù)是 0（除了零點(diǎn)導(dǎo)數(shù)無定義以外），這意味著基于梯度的優(yōu)化方法并不可行姨伟。

2. Identity

通過激活函數(shù) Identity惩琉，節(jié)點(diǎn)的輸入等于輸出。它完美適合于潛在行為是線性（與線性回歸相似）的任務(wù)夺荒。當(dāng)存在非線性瞒渠，單獨(dú)使用該激活函數(shù)是不夠的，但它依然可以在最終輸出節(jié)點(diǎn)上作為激活函數(shù)用于回歸任務(wù)技扼。

3. ReLU

修正線性單元（Rectified

linear unit伍玖，ReLU）是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。它保留了 step

函數(shù)的生物學(xué)啟發(fā)（只有輸入超出閾值時(shí)神經(jīng)元才激活）剿吻，不過當(dāng)輸入為正的時(shí)候窍箍，導(dǎo)數(shù)不為零，從而允許基于梯度的學(xué)習(xí)（盡管在 x=0

的時(shí)候丽旅，導(dǎo)數(shù)是未定義的）椰棘。使用這個(gè)函數(shù)能使計(jì)算變得很快，因?yàn)闊o論是函數(shù)還是其導(dǎo)數(shù)都不包含復(fù)雜的數(shù)學(xué)運(yùn)算魔招。然而晰搀，當(dāng)輸入為負(fù)值的時(shí)候，ReLU

的學(xué)習(xí)速度可能會(huì)變得很慢办斑，甚至使神經(jīng)元直接無效外恕，因?yàn)榇藭r(shí)輸入小于零而梯度為零，從而其權(quán)重?zé)o法得到更新乡翅，在剩下的訓(xùn)練過程中會(huì)一直保持靜默鳞疲。

4. Sigmoid

Sigmoid

因其在 logistic 回歸中的重要地位而被人熟知，值域在 0 到 1 之間蠕蚜。Logistic

Sigmoid（或者按通常的叫法尚洽，Sigmoid）激活函數(shù)給神經(jīng)網(wǎng)絡(luò)引進(jìn)了概率的概念。它的導(dǎo)數(shù)是非零的靶累，并且很容易計(jì)算（是其初始輸出的函數(shù)）腺毫。然而癣疟，在分類任務(wù)中，sigmoid

正逐漸被 Tanh 函數(shù)取代作為標(biāo)準(zhǔn)的激活函數(shù)潮酒，因?yàn)楹笳邽槠婧瘮?shù)（關(guān)于原點(diǎn)對(duì)稱）睛挚。

5. Tanh

在分類任務(wù)中，雙曲正切函數(shù)（Tanh）逐漸取代

Sigmoid

函數(shù)作為標(biāo)準(zhǔn)的激活函數(shù)急黎，其具有很多神經(jīng)網(wǎng)絡(luò)所鐘愛的特征扎狱。它是完全可微分的，反對(duì)稱勃教，對(duì)稱中心在原點(diǎn)淤击。為了解決學(xué)習(xí)緩慢和/或梯度消失問題，可以使用這個(gè)函數(shù)的更加平緩的變體（log-log故源、softsign污抬、symmetrical

sigmoid 等等）

6. Leaky ReLU

經(jīng)典（以及廣泛使用的）ReLU 激活函數(shù)的變體，帶泄露修正線性單元（Leaky ReLU）的輸出對(duì)負(fù)值輸入有很小的坡度心软。由于導(dǎo)數(shù)總是不為零壕吹，這能減少靜默神經(jīng)元的出現(xiàn)著蛙，允許基于梯度的學(xué)習(xí)（雖然會(huì)很慢）删铃。

7. PReLU

參數(shù)化修正線性單元（Parameteric

Rectified Linear Unit，PReLU）屬于 ReLU 修正類激活函數(shù)的一員踏堡。它和 RReLU 以及 Leaky ReLU

有一些共同點(diǎn)猎唁，即為負(fù)值輸入添加了一個(gè)線性項(xiàng)。而最關(guān)鍵的區(qū)別是顷蟆，這個(gè)線性項(xiàng)的斜率實(shí)際上是在模型訓(xùn)練中學(xué)習(xí)到的诫隅。

8. RReLU

隨機(jī)帶泄露的修正線性單元（Randomized

Leaky Rectified Linear Unit，RReLU）也屬于 ReLU 修正類激活函數(shù)的一員帐偎。和 Leaky ReLU 以及

PReLU 很相似逐纬，為負(fù)值輸入添加了一個(gè)線性項(xiàng)。而最關(guān)鍵的區(qū)別是削樊，這個(gè)線性項(xiàng)的斜率在每一個(gè)節(jié)點(diǎn)上都是隨機(jī)分配的（通常服從均勻分布）豁生。

9. ELU

指數(shù)線性單元（Exponential

Linear Unit，ELU）也屬于 ReLU 修正類激活函數(shù)的一員漫贞。和 PReLU 以及 RReLU

類似甸箱，為負(fù)值輸入添加了一個(gè)非零輸出。和其它修正類激活函數(shù)不同的是迅脐，它包括一個(gè)負(fù)指數(shù)項(xiàng)芍殖，從而防止靜默神經(jīng)元出現(xiàn)，導(dǎo)數(shù)收斂為零谴蔑，從而提高學(xué)習(xí)效率豌骏。

10. SELU

擴(kuò)展指數(shù)線性單元（Scaled

Exponential Linear Unit龟梦，SELU）是激活函數(shù)指數(shù)線性單元（ELU）的一個(gè)變種。其中λ和α是固定數(shù)值（分別為

1.0507 和 1.6726）窃躲。這些值背后的推論（零均值/單位方差）構(gòu)成了自歸一化神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)（SNN）变秦。

11. SReLU

S 型整流線性激活單元（S-shaped Rectified Linear Activation Unit，SReLU）屬于以 ReLU 為代表的整流激活函數(shù)族框舔。它由三個(gè)分段線性函數(shù)組成蹦玫。其中兩種函數(shù)的斜度，以及函數(shù)相交的位置會(huì)在模型訓(xùn)練中被學(xué)習(xí)刘绣。

12. Hard Sigmoid

Hard Sigmoid 是 Logistic Sigmoid 激活函數(shù)的分段線性近似樱溉。它更易計(jì)算，這使得學(xué)習(xí)計(jì)算的速度更快纬凤，盡管首次派生值為零可能導(dǎo)致靜默神經(jīng)元/過慢的學(xué)習(xí)速率（詳見 ReLU）福贞。

13. Hard Tanh

Hard Tanh 是 Tanh 激活函數(shù)的線性分段近似。相較而言停士，它更易計(jì)算挖帘，這使得學(xué)習(xí)計(jì)算的速度更快，盡管首次派生值為零可能導(dǎo)致靜默神經(jīng)元/過慢的學(xué)習(xí)速率（詳見 ReLU）恋技。

14. LeCun Tanh

LeCun Tanh（也被稱作 Scaled Tanh）是 Tanh 激活函數(shù)的擴(kuò)展版本拇舀。它具有以下幾個(gè)可以改善學(xué)習(xí)的屬性：f(± 1) = ±1；二階導(dǎo)數(shù)在 x=1 最大化蜻底；且有效增益接近 1骄崩。

15. ArcTan

視覺上類似于雙曲正切（Tanh）函數(shù)，ArcTan 激活函數(shù)更加平坦薄辅，這讓它比其他雙曲線更加清晰要拂。在默認(rèn)情況下，其輸出范圍在-π/2 和π/2 之間站楚。其導(dǎo)數(shù)趨向于零的速度也更慢脱惰，這意味著學(xué)習(xí)的效率更高。但這也意味著窿春，導(dǎo)數(shù)的計(jì)算比 Tanh 更加昂貴拉一。

16. Softsign

Softsign 是 Tanh 激活函數(shù)的另一個(gè)替代選擇。就像 Tanh 一樣谁尸，Softsign 是反對(duì)稱舅踪、去中心、可微分良蛮，并返回-1 和 1 之間的值抽碌。其更平坦的曲線與更慢的下降導(dǎo)數(shù)表明它可以更高效地學(xué)習(xí)。另一方面，導(dǎo)數(shù)的計(jì)算比 Tanh 更麻煩货徙。

17. SoftPlus

作為

ReLU 的一個(gè)不錯(cuò)的替代選擇左权，SoftPlus 能夠返回任何大于 0 的值。與 ReLU 不同痴颊，SoftPlus

的導(dǎo)數(shù)是連續(xù)的赏迟、非零的，無處不在蠢棱，從而防止出現(xiàn)靜默神經(jīng)元锌杀。然而，SoftPlus 另一個(gè)不同于 ReLU

的地方在于其不對(duì)稱性泻仙，不以零為中心糕再，這興許會(huì)妨礙學(xué)習(xí)。此外玉转，由于導(dǎo)數(shù)常常小于 1突想，也可能出現(xiàn)梯度消失的問題。

18. Signum

激活函數(shù) Signum（或者簡寫為 Sign）是二值階躍激活函數(shù)的擴(kuò)展版本究抓。它的值域?yàn)?[-1,1]猾担，原點(diǎn)值是 0。盡管缺少階躍函數(shù)的生物動(dòng)機(jī)刺下，Signum 依然是反對(duì)稱的绑嘹，這對(duì)激活函數(shù)來說是一個(gè)有利的特征。

19. Bent Identity

激活函數(shù)

Bent Identity 是介于 Identity 與 ReLU

之間的一種折衷選擇怠李。它允許非線性行為圾叼，盡管其非零導(dǎo)數(shù)有效提升了學(xué)習(xí)并克服了與 ReLU 相關(guān)的靜默神經(jīng)元的問題蛤克。由于其導(dǎo)數(shù)可在 1

的任意一側(cè)返回值捺癞，因此它可能容易受到梯度爆炸和消失的影響。

20. Symmetrical Sigmoid

Symmetrical Sigmoid 是另一個(gè) Tanh 激活函數(shù)的變種（實(shí)際上构挤，它相當(dāng)于輸入減半的 Tanh）髓介。和 Tanh 一樣，它是反對(duì)稱的筋现、零中心唐础、可微分的，值域在 -1 到 1 之間矾飞。它更平坦的形狀和更慢的下降派生表明它可以更有效地進(jìn)行學(xué)習(xí)一膨。

21. Log Log

Log Log 激活函數(shù)（由上圖 f(x) 可知該函數(shù)為以 e 為底的嵌套指數(shù)函數(shù)）的值域?yàn)?[0,1]，Complementary Log Log 激活函數(shù)有潛力替代經(jīng)典的 Sigmoid 激活函數(shù)洒沦。該函數(shù)飽和地更快豹绪，且零點(diǎn)值要高于 0.5。

22. Gaussian

高斯激活函數(shù)（Gaussian）并不是徑向基函數(shù)網(wǎng)絡(luò)（RBFN）中常用的高斯核函數(shù)申眼，高斯激活函數(shù)在多層感知機(jī)類的模型中并不是很流行瞒津。該函數(shù)處處可微且為偶函數(shù)蝉衣，但一階導(dǎo)會(huì)很快收斂到零。

23. Absolute

顧名思義巷蚪，絕對(duì)值（Absolute）激活函數(shù)返回輸入的絕對(duì)值病毡。該函數(shù)的導(dǎo)數(shù)除了零點(diǎn)外處處有定義，且導(dǎo)數(shù)的量值處處為 1屁柏。這種激活函數(shù)一定不會(huì)出現(xiàn)梯度爆炸或消失的情況啦膜。

24. Sinusoid

如同余弦函數(shù)，Sinusoid（或簡單正弦函數(shù)）激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了周期性淌喻。該函數(shù)的值域?yàn)?[-1,1]功戚，且導(dǎo)數(shù)處處連續(xù)。此外似嗤，Sinusoid 激活函數(shù)為零點(diǎn)對(duì)稱的奇函數(shù)啸臀。

25. Cos

如同正弦函數(shù)，余弦激活函數(shù)（Cos/Cosine）為神經(jīng)網(wǎng)絡(luò)引入了周期性烁落。它的值域?yàn)?[-1,1]乘粒，且導(dǎo)數(shù)處處連續(xù)。和 Sinusoid 函數(shù)不同伤塌，余弦函數(shù)為不以零點(diǎn)對(duì)稱的偶函數(shù)灯萍。

26. Sinc

Sinc 函數(shù)（全稱是 Cardinal Sine）在信號(hào)處理中尤為重要，因?yàn)樗碚髁司匦魏瘮?shù)的傅立葉變換（Fourier transform）每聪。作為一種激活函數(shù)旦棉，它的優(yōu)勢在于處處可微和對(duì)稱的特性，不過它比較容易產(chǎn)生梯度消失的問題药薯。