如果沒有激活函數(shù),神經(jīng)網(wǎng)絡(luò)只能做線性變換侠驯,激活函數(shù)可以引入非線形因素超棺。
概念:神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元節(jié)點接受上一層神經(jīng)元的輸出值作為本神經(jīng)元的輸入值,并將輸入值傳遞給下一層搀继,輸入層神經(jīng)元節(jié)點會將輸入屬性值直接傳遞給下一層(隱層或輸出層)窘面。
如下圖:單層神經(jīng)元做好線形變換之后,經(jīng)過非線性激勵函數(shù)對線性結(jié)果~進行變換叽躯,得到非線性的輸出結(jié)果
拓展成多層神經(jīng)網(wǎng)絡(luò)财边,和上圖的結(jié)構(gòu)一樣,加上非線性激勵函數(shù)点骑,就變成復(fù)雜的非線性激勵函數(shù)酣难。如下圖:
總結(jié): 加入非線性激勵函數(shù)后,神經(jīng)網(wǎng)絡(luò)就有可能學(xué)習(xí)到平滑的曲線來分割平面黑滴,而不是用復(fù)雜的線性組合逼近平滑曲線來分割平面憨募,使神經(jīng)網(wǎng)絡(luò)的表示能力更強了,能夠更好的擬合目標函數(shù)袁辈。 這就是為什么我們要有非線性的激活函數(shù)的原因菜谣。如下圖所示說明加入非線性激活函數(shù)后的差異,上圖為用線性組合逼近平滑曲線來分割平面晚缩,下圖為平滑的曲線來分割平面