一直有個(gè)疑問 為什么需要非線性激活函數(shù)圣猎？
如果沒有激活函數(shù)g(z),即g（z）=z爆惧，就叫線性激活函數(shù)寥袭，或者叫恒等激活函數(shù)营袜，如圖所示：
那么不加非線性函數(shù)和原來(lái)有什么區(qū)別呢撒顿？
可以看到?jīng)]有非線性激活函數(shù)后,化簡(jiǎn)第2層的輸出結(jié)果：
a2=w2 * a1+b2
=w2 * (w1 * x+b1)
=(w2 * w1)x+(w2 * b1+b2)
=w' * x+b'
第2層的輸出結(jié)果依然是線性表達(dá)式，與第一層輸出結(jié)果相比只是參數(shù)不同荚板，這里的參數(shù)是 w'和b'凤壁，即使網(wǎng)絡(luò)加到100層也依然是線性表達(dá)式，這就是沒有激活函數(shù)的結(jié)果跪另。
參考：
吳恩達(dá)深度學(xué)習(xí)：
https://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702018
