在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)決定來自給定輸入集的節(jié)點(diǎn)的輸出，其中非線性激活函數(shù)允許網(wǎng)絡(luò)復(fù)制復(fù)雜的非線性行為亏较。正如絕大多數(shù)神經(jīng)網(wǎng)絡(luò)借助某種形式的梯度下降進(jìn)行優(yōu)化，激活函數(shù)需要是可微分（或者至少是幾乎完全可微分的）掩缓。此外雪情，復(fù)雜的激活函數(shù)也許產(chǎn)生一些梯度消失或爆炸的問題。因此你辣，神經(jīng)網(wǎng)絡(luò)傾向于部署若干個(gè)特定的激活函數(shù)（identity巡通、sigmoid尘执、ReLU 及其變體）。
下面是激活函數(shù)的圖示及其一階導(dǎo)數(shù)扁达，圖的右側(cè)是一些與神經(jīng)網(wǎng)絡(luò)相關(guān)的屬性。
1. Step
?
激活函數(shù) Step 更傾向于理論而不是實(shí)際蠢熄，它模仿了生物神經(jīng)元要么全有要么全無的屬性跪解。它無法應(yīng)用于神經(jīng)網(wǎng)絡(luò)，因?yàn)槠鋵?dǎo)數(shù)是 0（除了零點(diǎn)導(dǎo)數(shù)無定義以外）签孔，這意味著基于梯度的優(yōu)化方法并不可行叉讥。
2. Identity
?
通過激活函數(shù) Identity，節(jié)點(diǎn)的輸入等于輸出饥追。它完美適合于潛在行為是線性（與線性回歸相似）的任務(wù)图仓。當(dāng)存在非線性，單獨(dú)使用該激活函數(shù)是不夠的但绕，但它依然可以在最終輸出節(jié)點(diǎn)上作為激活函數(shù)用于回歸任務(wù)救崔。
3. ReLU
?
修正線性單元（Rectified linear unit，ReLU）是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)捏顺。它保留了 step 函數(shù)的生物學(xué)啟發(fā)（只有輸入超出閾值時(shí)神經(jīng)元才激活）六孵，不過當(dāng)輸入為正的時(shí)候，導(dǎo)數(shù)不為零幅骄，從而允許基于梯度的學(xué)習(xí)（盡管在 x=0 的時(shí)候劫窒，導(dǎo)數(shù)是未定義的）。使用這個(gè)函數(shù)能使計(jì)算變得很快拆座，因?yàn)闊o論是函數(shù)還是其導(dǎo)數(shù)都不包含復(fù)雜的數(shù)學(xué)運(yùn)算主巍。然而，當(dāng)輸入為負(fù)值的時(shí)候挪凑，ReLU 的學(xué)習(xí)速度可能會(huì)變得很慢孕索，甚至使神經(jīng)元直接無效，因?yàn)榇藭r(shí)輸入小于零而梯度為零躏碳，從而其權(quán)重?zé)o法得到更新檬果，在剩下的訓(xùn)練過程中會(huì)一直保持靜默。
4. Sigmoid
?
Sigmoid 因其在 logistic 回歸中的重要地位而被人熟知唐断，值域在 0 到 1 之間选脊。Logistic Sigmoid（或者按通常的叫法，Sigmoid）激活函數(shù)給神經(jīng)網(wǎng)絡(luò)引進(jìn)了概率的概念脸甘。它的導(dǎo)數(shù)是非零的恳啥，并且很容易計(jì)算（是其初始輸出的函數(shù)）。然而丹诀，在分類任務(wù)中钝的，sigmoid 正逐漸被 Tanh 函數(shù)取代作為標(biāo)準(zhǔn)的激活函數(shù)翁垂，因?yàn)楹笳邽槠婧瘮?shù)（關(guān)于原點(diǎn)對(duì)稱）建椰。
5. Tanh
?
在分類任務(wù)中螺句，雙曲正切函數(shù)（Tanh）逐漸取代 Sigmoid 函數(shù)作為標(biāo)準(zhǔn)的激活函數(shù)，其具有很多神經(jīng)網(wǎng)絡(luò)所鐘愛的特征困食。它是完全可微分的碗脊，反對(duì)稱啼肩，對(duì)稱中心在原點(diǎn)。為了解決學(xué)習(xí)緩慢和/或梯度消失問題衙伶，可以使用這個(gè)函數(shù)的更加平緩的變體（log-log祈坠、softsign、symmetrical sigmoid 等等）
6. Leaky ReLU
?
經(jīng)典（以及廣泛使用的）ReLU 激活函數(shù)的變體矢劲，帶泄露修正線性單元（Leaky ReLU）的輸出對(duì)負(fù)值輸入有很小的坡度赦拘。由于導(dǎo)數(shù)總是不為零，這能減少靜默神經(jīng)元的出現(xiàn)芬沉，允許基于梯度的學(xué)習(xí)（雖然會(huì)很慢）躺同。
7. PReLU
?
參數(shù)化修正線性單元（Parameteric Rectified Linear Unit，PReLU）屬于 ReLU 修正類激活函數(shù)的一員丸逸。它和 RReLU 以及 Leaky ReLU 有一些共同點(diǎn)笋籽，即為負(fù)值輸入添加了一個(gè)線性項(xiàng)。而最關(guān)鍵的區(qū)別是椭员，這個(gè)線性項(xiàng)的斜率實(shí)際上是在模型訓(xùn)練中學(xué)習(xí)到的车海。
8. RReLU
?
隨機(jī)帶泄露的修正線性單元（Randomized Leaky Rectified Linear Unit，RReLU）也屬于 ReLU 修正類激活函數(shù)的一員隘击。和 Leaky ReLU 以及 PReLU 很相似侍芝，為負(fù)值輸入添加了一個(gè)線性項(xiàng)。而最關(guān)鍵的區(qū)別是埋同，這個(gè)線性項(xiàng)的斜率在每一個(gè)節(jié)點(diǎn)上都是隨機(jī)分配的（通常服從均勻分布）州叠。
9. ELU
?
指數(shù)線性單元（Exponential Linear Unit，ELU）也屬于 ReLU 修正類激活函數(shù)的一員凶赁。和 PReLU 以及 RReLU 類似咧栗，為負(fù)值輸入添加了一個(gè)非零輸出。和其它修正類激活函數(shù)不同的是虱肄，它包括一個(gè)負(fù)指數(shù)項(xiàng)致板，從而防止靜默神經(jīng)元出現(xiàn)，導(dǎo)數(shù)收斂為零咏窿，從而提高學(xué)習(xí)效率斟或。
10. SELU
?
擴(kuò)展指數(shù)線性單元（Scaled Exponential Linear Unit，SELU）是激活函數(shù)指數(shù)線性單元（ELU）的一個(gè)變種集嵌。其中λ和α是固定數(shù)值（分別為 1.0507 和 1.6726）萝挤。這些值背后的推論（零均值/單位方差）構(gòu)成了自歸一化神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)（SNN）御毅。
11. SReLU
?
S 型整流線性激活單元（S-shaped Rectified Linear Activation Unit，SReLU）屬于以 ReLU 為代表的整流激活函數(shù)族怜珍。它由三個(gè)分段線性函數(shù)組成端蛆。其中兩種函數(shù)的斜度，以及函數(shù)相交的位置會(huì)在模型訓(xùn)練中被學(xué)習(xí)酥泛。
12. Hard Sigmoid
?
Hard Sigmoid 是 Logistic Sigmoid 激活函數(shù)的分段線性近似今豆。它更易計(jì)算，這使得學(xué)習(xí)計(jì)算的速度更快揭璃，盡管首次派生值為零可能導(dǎo)致靜默神經(jīng)元/過慢的學(xué)習(xí)速率（詳見 ReLU）晚凿。
13. Hard Tanh
?
Hard Tanh 是 Tanh 激活函數(shù)的線性分段近似亭罪。相較而言瘦馍，它更易計(jì)算，這使得學(xué)習(xí)計(jì)算的速度更快应役，盡管首次派生值為零可能導(dǎo)致靜默神經(jīng)元/過慢的學(xué)習(xí)速率（詳見 ReLU）情组。
14. LeCun Tanh
?
LeCun Tanh（也被稱作 Scaled Tanh）是 Tanh 激活函數(shù)的擴(kuò)展版本。它具有以下幾個(gè)可以改善學(xué)習(xí)的屬性：f(± 1) = ±1箩祥；二階導(dǎo)數(shù)在 x=1 較大化院崇；且有效增益接近 1。
15. ArcTan
?
視覺上類似于雙曲正切（Tanh）函數(shù)袍祖，ArcTan 激活函數(shù)更加平坦底瓣，這讓它比其他雙曲線更加清晰。在默認(rèn)情況下蕉陋，其輸出范圍在-π/2 和π/2 之間捐凭。其導(dǎo)數(shù)趨向于零的速度也更慢，這意味著學(xué)習(xí)的效率更高凳鬓。但這也意味著茁肠，導(dǎo)數(shù)的計(jì)算比 Tanh 更加昂貴。
16. Softsign
?
Softsign 是 Tanh 激活函數(shù)的另一個(gè)替代選擇缩举。就像 Tanh 一樣垦梆，Softsign 是反對(duì)稱、去中心仅孩、可微分托猩，并返回-1 和 1 之間的值。其更平坦的曲線與更慢的下降導(dǎo)數(shù)表明它可以更高效地學(xué)習(xí)辽慕。另一方面站刑，導(dǎo)數(shù)的計(jì)算比 Tanh 更麻煩。
17. SoftPlus
?
作為 ReLU 的一個(gè)不錯(cuò)的替代選擇鼻百，SoftPlus 能夠返回任何大于 0 的值绞旅。與 ReLU 不同摆尝，SoftPlus 的導(dǎo)數(shù)是連續(xù)的、非零的因悲，無處不在堕汞，從而防止出現(xiàn)靜默神經(jīng)元。然而晃琳，SoftPlus 另一個(gè)不同于 ReLU 的地方在于其不對(duì)稱性讯检，不以零為中心，這興許會(huì)妨礙學(xué)習(xí)卫旱。此外人灼，由于導(dǎo)數(shù)常常小于 1，也可能出現(xiàn)梯度消失的問題顾翼。
18. Signum
?
激活函數(shù) Signum（或者簡(jiǎn)寫為 Sign）是二值階躍激活函數(shù)的擴(kuò)展版本投放。它的值域?yàn)?[-1,1]，原點(diǎn)值是 0适贸。盡管缺少階躍函數(shù)的生物動(dòng)機(jī)灸芳，Signum 依然是反對(duì)稱的，這對(duì)激活函數(shù)來說是一個(gè)有利的特征拜姿。
19. Bent Identity
?
激活函數(shù) Bent Identity 是介于 Identity 與 ReLU 之間的一種折衷選擇烙样。它允許非線性行為，盡管其非零導(dǎo)數(shù)有效提升了學(xué)習(xí)并克服了與 ReLU 相關(guān)的靜默神經(jīng)元的問題蕊肥。由于其導(dǎo)數(shù)可在 1 的任意一側(cè)返回值谒获，因此它可能容易受到梯度爆炸和消失的影響。
20. Symmetrical Sigmoid
?
Symmetrical Sigmoid 是另一個(gè) Tanh 激活函數(shù)的變種（實(shí)際上壁却，它相當(dāng)于輸入減半的 Tanh）批狱。和 Tanh 一樣，它是反對(duì)稱的儒洛、零中心精耐、可微分的，值域在 -1 到 1 之間琅锻。它更平坦的形狀和更慢的下降派生表明它可以更有效地進(jìn)行學(xué)習(xí)卦停。
21. Log Log
?
Log Log 激活函數(shù)（由上圖 f(x) 可知該函數(shù)為以 e 為底的嵌套指數(shù)函數(shù)）的值域?yàn)?[0,1]，Complementary Log Log 激活函數(shù)有潛力替代經(jīng)典的 Sigmoid 激活函數(shù)恼蓬。該函數(shù)飽和地更快惊完，且零點(diǎn)值要高于 0.5。
22. Gaussian
?
高斯激活函數(shù)（Gaussian）并不是徑向基函數(shù)網(wǎng)絡(luò)（RBFN）中常用的高斯核函數(shù)处硬，高斯激活函數(shù)在多層感知機(jī)類的模型中并不是很流行小槐。該函數(shù)處處可微且為偶函數(shù)，但一階導(dǎo)會(huì)很快收斂到零。
23. Absolute
?
顧名思義凿跳，值（Absolute）激活函數(shù)返回輸入的值件豌。該函數(shù)的導(dǎo)數(shù)除了零點(diǎn)外處處有定義，且導(dǎo)數(shù)的量值處處為 1控嗜。這種激活函數(shù)一定不會(huì)出現(xiàn)梯度爆炸或消失的情況茧彤。
24. Sinusoid
?
如同余弦函數(shù)，Sinusoid（或簡(jiǎn)單正弦函數(shù)）激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了周期性疆栏。該函數(shù)的值域?yàn)?[-1,1]曾掂，且導(dǎo)數(shù)處處連續(xù)。此外壁顶，Sinusoid 激活函數(shù)為零點(diǎn)對(duì)稱的奇函數(shù)珠洗。
25. Cos
?
如同正弦函數(shù)，余弦激活函數(shù)（Cos/Cosine）為神經(jīng)網(wǎng)絡(luò)引入了周期性若专。它的值域?yàn)?[-1,1]许蓖，且導(dǎo)數(shù)處處連續(xù)。和 Sinusoid 函數(shù)不同富岳，余弦函數(shù)為不以零點(diǎn)對(duì)稱的偶函數(shù)蛔糯。
26. Sinc
?
Sinc 函數(shù)（全稱是 Cardinal Sine）在信號(hào)處理中尤為重要拯腮，因?yàn)樗碚髁司匦魏瘮?shù)的傅立葉變換（Fourier transform）窖式。作為一種激活函數(shù)，它的優(yōu)勢(shì)在于處處可微和對(duì)稱的特性动壤，不過它比較容易產(chǎn)生梯度消失的問題萝喘。
本文參考 https://www.sohu.com/a/197449037_494939 https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/
