參考資料：算法基礎(chǔ)---ReLU激活函數(shù)及其變種
1晚吞、什么是 ReLU
ReLU 是修正線性單元(rectified linear unit)，在 0 和 x 之間取最大值颂龙。
2瓜富、為什么要引入 ReLU
因?yàn)?sigmoid 和 tanh 容易導(dǎo)致梯度消失鳍咱，而 ReLU 是非飽和激活函數(shù)蓄坏，不容易發(fā)生梯度消失
3、ReLU 的函數(shù)表達(dá)式和導(dǎo)數(shù)表達(dá)式
ReLU 的函數(shù)表達(dá)式：
當(dāng) x <= 0 時(shí)丑念，ReLU = 0
當(dāng) x > 0 時(shí)涡戳，ReLU = x
ReLU 的導(dǎo)數(shù)表達(dá)式：
當(dāng) x<= 0 時(shí)，導(dǎo)數(shù)為 0
當(dāng) x > 0 時(shí)脯倚，導(dǎo)數(shù)為 1
4渔彰、ReLU 的函數(shù)圖像和導(dǎo)數(shù)圖像
ReLU 的函數(shù)圖像：
ReLU 的導(dǎo)數(shù)圖像：
5、ReLU 的優(yōu)點(diǎn)
① 有效緩解過擬合的問題推正，因?yàn)?ReLU 有可能使部分神經(jīng)節(jié)點(diǎn)的輸出變?yōu)?0恍涂，從而導(dǎo)致神經(jīng)節(jié)點(diǎn)死亡，降低了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度
②? 不會(huì)發(fā)生梯度消失或梯度爆炸植榕，當(dāng) x 大于 0 時(shí)再沧，ReLU 的梯度恒為 1，不會(huì)隨著網(wǎng)路深度的加深而使得梯度在累乘的時(shí)候變得越來越小或者越來越大内贮，從而不會(huì)發(fā)生梯度消失或梯度爆炸
③ 計(jì)算簡單产园，ReLU 本質(zhì)上就是計(jì)算一次在兩個(gè)值中取最大值
6汞斧、ReLU 的缺點(diǎn)
① 會(huì)導(dǎo)致神經(jīng)元死亡夜郁，當(dāng)一個(gè)神經(jīng)元在某次的激活值為 0 之后，此后得到的激活值都是 0.
證明：
因?yàn)榧僭O(shè)某個(gè)神經(jīng)元在第 N 次時(shí)的激活值為 0粘勒，則第 N+1 次的激活值為：竞端，其中?
?取值大于 0，?
?是 ReLU 在 x 點(diǎn)的梯度庙睡。當(dāng) x <= 0 時(shí)事富，
?的值為 0，則?
也為 0乘陪；當(dāng) x > 0 時(shí)统台，
?的梯度為 1，則?
?為 0 和?
?中的最大值 0.即無論 x 取什么值啡邑，
?的值都等于 0.
解決方法：
① 對(duì)于ReLU 會(huì)導(dǎo)致神經(jīng)節(jié)點(diǎn)死亡的原因有：
a.參數(shù)初始化時(shí)初始化到的參數(shù)值恰好能使神經(jīng)節(jié)點(diǎn)死亡贱勃，不過這種情況非常罕見
b.學(xué)習(xí)率太高，導(dǎo)致在參數(shù)更新時(shí)谤逼，導(dǎo)致參數(shù)小于等于 0
改進(jìn)方法有：
針對(duì)原因 a贵扰，采用 Xavier 初始化方法(深度學(xué)習(xí)——Xavier初始化方法)
針對(duì)原因 b，可以設(shè)置小一點(diǎn)的學(xué)習(xí)率或者是使用會(huì)自動(dòng)調(diào)整學(xué)習(xí)率的優(yōu)化方法流部，例如 Adagrad
② 輸出不是零均值化(zero-centered)戚绕，會(huì)導(dǎo)致模型收斂較慢(解釋：談?wù)劶せ詈瘮?shù)以零為中心的問題)
7、ReLU 的變種：
① Leaky ReLU
Leaky ReLU 的目的是為了解決 ReLU 的死亡神經(jīng)節(jié)點(diǎn)的問題枝冀。Leaky ReLU 的表達(dá)式是：
ReLU = max()舞丛，其中
?通常取值為 0.01耘子，即
當(dāng) x <= 0 時(shí)，ReLU =?
當(dāng) x > 0 時(shí)球切，ReLU =?
② PReLU拴还，Parameter ReLU 是對(duì) Leaky ReLU 的改進(jìn)，對(duì)于??不再取定值欧聘，而是從樣本中學(xué)習(xí)得到片林，具有收斂速度快，錯(cuò)誤率低的優(yōu)點(diǎn)怀骤。
③ RReLU费封，Randomized ReLU 是對(duì) Leaky ReLU 的改進(jìn)，對(duì)于??不再取定值蒋伦，而是在指定范圍內(nèi)隨機(jī)取一個(gè)值弓摘，而在預(yù)測(cè)階段則是使用固定值。PReLU 在一定程度上具有正則效果
8痕届、pytorch 的 ReLU 函數(shù)的作用和參數(shù)詳解
torch.nn.ReLU(inplace=False)?
函數(shù)作用：對(duì)輸入進(jìn)行修正線性函數(shù) ReLU(x) = max(0, x)
參數(shù)詳解
inplace:默認(rèn)為 False韧献，即不進(jìn)行覆蓋運(yùn)算，默認(rèn)為 True 的話研叫，則會(huì)對(duì)輸入進(jìn)行覆蓋運(yùn)算锤窑，此時(shí)減少了申請(qǐng)和注銷內(nèi)存的操作，會(huì)提高運(yùn)行效率
例子：
from?torch?import?autograd
>>>?m?=?nn.ReLU()
>>>?input?=?autograd.Variable(torch.randn(2))
>>>?print(input)
>>>?print(m(input))
結(jié)果：
tensor([-0.3543, -0.7416])
tensor([0., 0.])
注：連續(xù)使用多次 ReLU 跟使用一次的 ReLU 的效果是一樣的
