神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)筆記 - 激活函數(shù)的作用叹洲、定義和微分證明
簡書不支持HTML和Latex柠硕？工禾？ 大家還是看我的原文吧。
原文
看到知乎上對(duì)激活函數(shù)(Activation Function)的解釋闻葵。
我一下子迷失了。
因此癣丧，匆匆寫下我對(duì)激活函數(shù)的理解槽畔。
激活函數(shù)被用到了什么地方
目前為止，我見到使用激活函數(shù)的地方有兩個(gè)胁编。
- 邏輯回歸(Logistic Regression)
- 神經(jīng)網(wǎng)絡(luò)(Neural Network)
這兩處厢钧，激活函數(shù)都用于計(jì)算一個(gè)線性函數(shù)的結(jié)果。
了解激活函數(shù)
激活函數(shù)的作用：就是將權(quán)值結(jié)果轉(zhuǎn)化成分類結(jié)果嬉橙。
2類的線性分類器
先說一個(gè)簡單的情況 - 一個(gè)2類的線性分類器早直。
了解激活函數(shù)，先要明確我們的問題是："計(jì)算一個(gè)（矢量）數(shù)據(jù)的標(biāo)簽（分類）"市框。
以下圖為例：
訓(xùn)練
訓(xùn)練的結(jié)果霞扬，是一組$(w,b)$，和一個(gè)線性函數(shù)$f(x) = wx + b$枫振。
預(yù)測(cè)
我們現(xiàn)在仔細(xì)考慮一下喻圃，如何在預(yù)測(cè)函數(shù)中使用這個(gè)線性函數(shù)$f(x)$。
先從幾何方面理解一下粪滤，如果預(yù)測(cè)的點(diǎn)在分割線$wx + b = 0$上斧拍，那么$f(x) = wx + b = 0$。
如果杖小，在分割線的上方某處肆汹，$f(x) = wx + b = 8$(假設(shè)是8)怕吴。
8可以認(rèn)為是偏移量。
注：取決于(w, b)县踢，在分割線上方的點(diǎn)可以是正的转绷，也可能是負(fù)的。
例如： y - x =0硼啤，和 x - y = 0议经，這兩條線實(shí)際上是一樣的。
但是谴返，應(yīng)用點(diǎn)(1, 9)的結(jié)果煞肾， 第一個(gè)是8, 第二個(gè)是 -8。
問題
然后嗓袱，你該怎么辦籍救？？渠抹？
如何用這個(gè)偏移量來得到數(shù)據(jù)的標(biāo)簽蝙昙？
激活函數(shù)
激活函數(shù)的作用是：將8變成紅色。
怎么變的呢梧却？比如：我們使用sigmoid函數(shù)奇颠，sigmoid(8) = 0.99966464987。
sigmoid函數(shù)的結(jié)果在區(qū)間(0, 1)上放航。如果大于0.5烈拒，就可以認(rèn)為滿足條件，即是紅色广鳍。
3類分類器的情況
我們?cè)倏纯丛谝粋€(gè)多類分類器中荆几，激活函數(shù)的作用。
以下圖為例：
未完赊时，請(qǐng)看原文
