激活函數(shù)

（1）階躍函數(shù)

當(dāng)輸入超過0時主穗，輸出1泻拦，否則輸出0

def step_function(x):
    if x > 0:
        return 1
    else:
        return 0

但是，這個函數(shù)的缺陷在于函數(shù)的輸入?yún)?shù)只能是一個數(shù)值忽媒，而不能是NumPy數(shù)組

改進(jìn)：

import numpy as np
x = np.array([-1.23,2.566,3.3344])
# 對NumPy進(jìn)行不等號運(yùn)算
y = x > 0
print(y)
# astype()函數(shù)用來轉(zhuǎn)換NumPy數(shù)組的類型
y = x.astype(np.int)
print(y)

astype()函數(shù)用來轉(zhuǎn)換NumPy數(shù)組的類型
對NumPy進(jìn)行不等號運(yùn)算

階躍函數(shù)的代碼實現(xiàn)：

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt

def step_function(x):
    return np.array(x > 0, dtype=np.int)

X = np.arange(-5.0, 5.0, 0.1)#從-5到5争拐，步長為0.1
Y = step_function(X)#給階躍函數(shù)傳進(jìn)NumPy數(shù)組，對每個元素做不等號運(yùn)算晦雨，再以int類型輸出架曹。
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)  # 指定圖中繪制的y軸的范圍
plt.show()

np.arange(-5.0, 5.0, 0.1)#從-5到5，步長為0.1
ylim(-0.1, 1.1) # 指定圖中繪制的y軸的范圍

階躍函數(shù)

（2）sigmoid函數(shù)

sigmoid函數(shù)作為激活函數(shù)
其公式為：

sigmoid function

sigmoid 函數(shù)的實現(xiàn)代碼：

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt

def sigmoid(x):
    return 1 / (1 + np.exp(-x))    

X = np.arange(-5.0, 5.0, 0.1)
Y = sigmoid(X)
plt.plot(X, Y)
plt.ylim(-0.1, 1.1)
plt.show()

當(dāng)輸入的x是NumPy數(shù)組時闹瞧，結(jié)果也能被正確計算绑雄，因為 np.exp(-x)會生成一個NumPy數(shù)組，用到了NumPy的廣播功能奥邮。

(3)階躍函數(shù)與sigmoid函數(shù)的比較

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt


def sigmoid(x):
   return 1 / (1 + np.exp(-x))    


def step_function(x):
   return np.array(x > 0, dtype=np.int)

x = np.arange(-5.0, 5.0, 0.1)
y1 = sigmoid(x)
y2 = step_function(x)

plt.plot(x, y1, label="sigmoid")
plt.plot(x, y2, 'k--', label="step")
plt.ylim(-0.1, 1.1) #指定圖中繪制的y軸的范圍
plt.title('step function & sigmoid function')
plt.legend()#用于顯示各條線對應(yīng)的label
plt.show()

image.png

(1)sigmoid函數(shù)的平滑性對神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)具有重要意義万牺。
(2)這兩個函數(shù)的取值范圍都在0-1之間
(3)兩個函數(shù)都是非線性函數(shù)

神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)必須是非線性函數(shù)，否則使用線性函數(shù)洽腺，加深神經(jīng)網(wǎng)絡(luò)的層數(shù)就沒有意義了脚粟。

eg:有個三層的神經(jīng)網(wǎng)絡(luò)，激活函數(shù)為：h(x)=cx, y(x)=h(h(h(x)))=cccx=c^3x.

為了發(fā)揮多層神經(jīng)網(wǎng)絡(luò)帶來的優(yōu)勢蘸朋，激活函數(shù)必須使用非線性函數(shù)核无。

問題：為什么神經(jīng)網(wǎng)絡(luò)的層數(shù)多一些會好？

答:不是說僅僅層數(shù)越多效果越好藕坯，這個還取決于你的激活函數(shù)团南，還有各種超參數(shù)的設(shè)置等等噪沙。同意 @Eslavill 的觀點，層數(shù)多了吐根，網(wǎng)絡(luò)表達(dá)能力更強(qiáng)了正歼，第一層學(xué)習(xí)個直線，第二層學(xué)習(xí)個基本的幾何圖形拷橘，第三層再學(xué)習(xí)個更復(fù)雜的圖形朋腋。

(4)ReLU函數(shù)（Rectified Linear Unit）

ReLU函數(shù)在輸入大于0的時候，直接輸出該值膜楷，在輸入小于等于0時，輸出0.
ReLU函數(shù)的公式為：

ReLU函數(shù)的實現(xiàn)代碼

# coding: utf-8
import numpy as np
import matplotlib.pylab as plt

def relu(x):
    return np.maximum(0, x)

x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y, label="ReLU")
plt.ylim(-1.0, 5.5) #指定圖中繪制的y軸的范圍
plt.title('ReLU')
plt.legend()#用于顯示各條線對應(yīng)的label
plt.show()