概述
從上一節(jié)（什么是神經(jīng)網(wǎng)絡(luò)）中我們得知：神經(jīng)網(wǎng)絡(luò)是一個函數(shù)济榨，它由神經(jīng)元組成，而神經(jīng)元也是一個函數(shù)顷帖。
神經(jīng)元可以繼續(xù)拆分成2個子函數(shù)：
-
元線性函數(shù):
-
元非線性函數(shù):
神經(jīng)元所代表的函數(shù)為：
線性函數(shù))
線性函數(shù)有如下形式：
其中都是參數(shù)，不同的線性函數(shù)有不同的參數(shù)穷躁。
一元線性函數(shù)
當時忍抽，
，其函數(shù)圖像為一條直線：
二元線性函數(shù)
當時插掂，
灰瞻，其函數(shù)圖像為一個平面：
元線性函數(shù)
當時，其函數(shù)圖像為一個超平面辅甥。超過了三維酝润，就不方便可視化了。不過大家可以想象璃弄，其特點就是直的要销。
非線性函數(shù))
從名字上就很容易理解，非線性函數(shù)就是跟線性函數(shù)不一樣的函數(shù)夏块。線性函數(shù)是直的疏咐，非線性函數(shù)就是彎的。如最常見的Sigmoid函數(shù):
激活函數(shù)
在神經(jīng)網(wǎng)絡(luò)中脐供，我們把這個非線性一元函數(shù)叫做激活函數(shù)浑塞。一些常見的激活函數(shù)可參考知識庫中的激活函數(shù)，其中：
-
Linear:
是一個線性函數(shù)政己，代表不使用非線性函數(shù)的情況
- Softmax 是個特例酌壕。嚴格來講，它不算激活函數(shù)
必要性
為什么要在線性函數(shù)后面跟一個非線性的激活函數(shù)呢？
這是因為：
- 如果神經(jīng)元都是線性函數(shù)仅孩，那么由神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)也是一個線性函數(shù)托猩。
如下面這個例子：
那么整個神經(jīng)網(wǎng)絡(luò)所代表的函數(shù)為:
這是一個三元的線性函數(shù)。
- 我們需要構(gòu)造的目標函數(shù)包含各式各樣的函數(shù)辽慕，線性函數(shù)只是其中一種京腥。
我們希望神經(jīng)網(wǎng)絡(luò)能夠模擬任意函數(shù)，而不只是線性函數(shù)溅蛉。因此我們增加了一個非線性的激活函數(shù)公浪，對線性函數(shù)進行了"彎曲"。
完整的神經(jīng)元
完整的神經(jīng)元融合了線性函數(shù)與非線性的激活函數(shù)船侧，變得更有趣欠气、更強大了。
一元函數(shù)
當時镜撩，
预柒，使用Sigmoid激活函數(shù)，神經(jīng)元對應(yīng)的函數(shù)為：
其函數(shù)圖像為：
二元函數(shù)
當時袁梗，
宜鸯，使用Sigmoid激活函數(shù)，神經(jīng)元對應(yīng)的函數(shù)為：
其函數(shù)圖像為：
元函數(shù)
由于可視化問題遮怜，此處完全靠自己想象淋袖！??
問題
為什么神經(jīng)元的組合可以模擬復(fù)雜函數(shù)？
可以直觀地想象一下锯梁，如何通過簡單的神經(jīng)元模擬稍微復(fù)雜一點的函數(shù)即碗。
參考軟件
可交互版，請參考App：
