激活函數(shù)

如果沒有激活函數(shù),神經(jīng)網(wǎng)絡(luò)只能做線性變換侠驯,激活函數(shù)可以引入非線形因素超棺。

概念:神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元節(jié)點接受上一層神經(jīng)元的輸出值作為本神經(jīng)元的輸入值,并將輸入值傳遞給下一層搀继,輸入層神經(jīng)元節(jié)點會將輸入屬性值直接傳遞給下一層(隱層或輸出層)窘面。

如下圖:單層神經(jīng)元做好線形變換之后,經(jīng)過非線性激勵函數(shù)對線性結(jié)果~進行變換叽躯,得到非線性的輸出結(jié)果


拓展成多層神經(jīng)網(wǎng)絡(luò)财边,和上圖的結(jié)構(gòu)一樣,加上非線性激勵函數(shù)点骑,就變成復(fù)雜的非線性激勵函數(shù)酣难。如下圖:

總結(jié): 加入非線性激勵函數(shù)后,神經(jīng)網(wǎng)絡(luò)就有可能學(xué)習(xí)到平滑的曲線來分割平面黑滴,而不是用復(fù)雜的線性組合逼近平滑曲線來分割平面憨募,使神經(jīng)網(wǎng)絡(luò)的表示能力更強了,能夠更好的擬合目標函數(shù)袁辈。 這就是為什么我們要有非線性的激活函數(shù)的原因菜谣。如下圖所示說明加入非線性激活函數(shù)后的差異,上圖為用線性組合逼近平滑曲線來分割平面晚缩,下圖為平滑的曲線來分割平面


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末尾膊,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子荞彼,更是在濱河造成了極大的恐慌冈敛,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件卿泽,死亡現(xiàn)場離奇詭異莺债,居然都是意外死亡滋觉,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門齐邦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來椎侠,“玉大人,你說我怎么就攤上這事措拇∥壹停” “怎么了?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵丐吓,是天一觀的道長浅悉。 經(jīng)常有香客問我,道長券犁,這世上最難降的妖魔是什么术健? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮粘衬,結(jié)果婚禮上荞估,老公的妹妹穿的比我還像新娘。我一直安慰自己稚新,他們只是感情好勘伺,可當(dāng)我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著褂删,像睡著了一般飞醉。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上屯阀,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天缅帘,我揣著相機與錄音,去河邊找鬼蹲盘。 笑死股毫,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的召衔。 我是一名探鬼主播,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼祭陷,長吁一口氣:“原來是場噩夢啊……” “哼苍凛!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起兵志,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤醇蝴,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后想罕,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體悠栓,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡霉涨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了惭适。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片笙瑟。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖癞志,靈堂內(nèi)的尸體忽然破棺而出往枷,到底是詐尸還是另有隱情,我是刑警寧澤凄杯,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布错洁,位于F島的核電站,受9級特大地震影響戒突,放射性物質(zhì)發(fā)生泄漏屯碴。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一膊存、第九天 我趴在偏房一處隱蔽的房頂上張望窿锉。 院中可真熱鬧,春花似錦膝舅、人聲如沸嗡载。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽洼滚。三九已至,卻和暖如春技潘,著一層夾襖步出監(jiān)牢的瞬間遥巴,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工享幽, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留铲掐,地道東北人。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓值桩,卻偏偏與公主長得像摆霉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子奔坟,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容