如果沒有激活函數(shù)，神經(jīng)網(wǎng)絡(luò)只能做線性變換侠驯，激活函數(shù)可以引入非線形因素超棺。
概念：神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元節(jié)點接受上一層神經(jīng)元的輸出值作為本神經(jīng)元的輸入值，并將輸入值傳遞給下一層搀继，輸入層神經(jīng)元節(jié)點會將輸入屬性值直接傳遞給下一層（隱層或輸出層）窘面。
如下圖：單層神經(jīng)元做好線形變換之后，經(jīng)過非線性激勵函數(shù)對線性結(jié)果～進行變換叽躯，得到非線性的輸出結(jié)果
拓展成多層神經(jīng)網(wǎng)絡(luò)财边，和上圖的結(jié)構(gòu)一樣，加上非線性激勵函數(shù)点骑，就變成復(fù)雜的非線性激勵函數(shù)酣难。如下圖：
總結(jié)： 加入非線性激勵函數(shù)后，神經(jīng)網(wǎng)絡(luò)就有可能學(xué)習(xí)到平滑的曲線來分割平面黑滴，而不是用復(fù)雜的線性組合逼近平滑曲線來分割平面憨募，使神經(jīng)網(wǎng)絡(luò)的表示能力更強了，能夠更好的擬合目標函數(shù)袁辈。 這就是為什么我們要有非線性的激活函數(shù)的原因菜谣。如下圖所示說明加入非線性激活函數(shù)后的差異，上圖為用線性組合逼近平滑曲線來分割平面晚缩，下圖為平滑的曲線來分割平面
