這里就不仔細(xì)介紹 原理了
詳細(xì)的原理請(qǐng)參考吳恩達(dá) 深度學(xué)習(xí) 課程 移步網(wǎng)易教育好啦
PS：我也有寫視頻課的筆記 如果覺得有問題可以閱覽一下我的筆記哦 也許有提到你的疑問啦 我是按照自己聽課的時(shí)候思維邏輯寫的筆記
（超小聲：有夠懶的 筆記不知道什么時(shí)候才會(huì)跟著補(bǔ)完……
我知道寫下這些可能沒有人會(huì)看到 但都是我一行一行寫的代碼
如果你看到了 給我點(diǎn)個(gè)贊吧 鼓勵(lì)一下小朋友吧 :b
下面的代碼都是jupyter notebook
可以直接運(yùn)行的代碼！ 自己親手敲的那種１昧铡（叉腰～）
具體的介紹 我就用注釋寫在下面啦
有問題留言哦
import numpy as np
# input: x, w, b output: z
def layer(x,w,b):
return np.dot(x , w)+b
# 定義 損失函數(shù)
# input: pred_y & true_y output : loss(pre_y,true_y)
def mse(pred_y, true_y):
return 0.5 * (pred_y - true_y)**2
# input: pre_y & true_y output: dl_y
def mse_grad(pred_y, true_y):
return pred_y - true_y
# 激活函數(shù)
# input: (w*x+b) 線性模型 output: pre_y
def sigmoid(z):
return 1 / (1 + np.exp(-z))
# input : pre_y output:dy_z
def sigmoid_grad(y):
return y * (1-y)
# input: x output: dz_w,dz_b
def layer_grad(x):
return x, 1
# input: x,w,b output ---> pre_y
def forward(x,w,b):
z=layer(x,w,b)
return sigmoid(z)
# backward :input: pre_y , true_y output ---> dw,db
# 反向傳播的主要目的就是更新dw,db 這里的導(dǎo)數(shù)計(jì)算需要一定的微積分基礎(chǔ)哦
def backward(pred_y, true_y,x):
dl_y = mse_grad(pred_y,true_y)
dy_z = sigmoid_grad(pred_y)
dz_w, dz_b = layer_grad(x)
dw = dl_y * dy_z * dz_w
db = dl_y * dy_z
return dw, db
# 這里多說兩句 一定要算清楚 計(jì)算是最基礎(chǔ)的 需要自己動(dòng)筆算的鴨
# 這里變量比較多 主要是要弄清楚每個(gè)函數(shù)的 輸入和輸出
# 第一次寫 我也比較懵逼 所以我都標(biāo)注了每個(gè)函數(shù)的輸入和輸出
# 因?yàn)楫?dāng)函數(shù)變多的時(shí)候 如果自己都搞不清楚 輸入和輸出的話 很容易就把自己搞暈了
# 定義class
class LogisticRegression(object):
def __init__(self, in_size, lr):
self.w = np.random.randn(in_size)
self.b = np.random.randn(1)
self.lr = lr
def forward(self,x):
return forward(x,self.w,self.b)
def backward(self, pred_y, true_y, x):
return backward(pred_y, true_y, x)
# 更新參數(shù)（w,b）
def step(self, dw, db):
self.w -= self.lr * dw
self.b -= self.lr * db
# 訓(xùn)練函數(shù) 其實(shí)都是調(diào)用之前寫好的函數(shù)了
def train(model, X, Y, epochs):
losses = []
# epochs ： 訓(xùn)練輪次
for i in range(epochs):
inds = list(range(X.shape[0]))
np.random.shuffle(inds) # 打亂順序 ： 隨機(jī)梯度下降
loss = 0
for ind in inds:
# 從輸入矩陣?yán)锩?取出來一個(gè)樣本
x = X[ind]
y = Y[ind]
pred_y = model.forward(x)
#累計(jì)loss
loss += mse(pred_y, y)
dw, db = model.backward(pred_y, y, x)
model.step(dw, db)
# 輸出每一輪的loss 可以觀察到每一輪數(shù)值都在下降
print("epoch{}, loss = {}".format(i, loss / X.shape[0]))
losses.append(loss)
return losses
# 觀察一下訓(xùn)練的結(jié)果 輸入的是準(zhǔn)確率
def test(model, X, Y):
correct_cnt = 0
for i in range(X.shape[0]):
x = X[I]
y = Y[I]
pred_y = model.forward(x)
pred_y = 1 if pred_y > 0.5 else 0
correct_cnt += (y == pred_y)
return correct_cnt / X.shape[0]
n = 10000 #樣本維數(shù)
input_size = 5
epochs = 500
#初始化w,b
w = np.random.randn(input_size)
b = np.random.randn(1)
# model 實(shí)例
true_lr = LogisticRegression(input_size, 0.001)
true_lr.w = w
true_lr.b = b
# 隨機(jī)生成的數(shù)據(jù) 這樣生成的數(shù)據(jù)是服從正態(tài)分布的
X = [np.random.randn(input_size) for i in range(n)]
Y = [1 if true_lr.forward(X[i]) > 0.5 else 0 for i in range(n)]
X = np.array(X)
Y = np.array(Y)
lr = LogisticRegression(input_size, 0.01)
# 激動(dòng)人心的時(shí)刻Ｍ酶省！ 讓我們開始訓(xùn)練吧！干巴爹
losses = train(lr, X, Y, epochs)
#讓我們欣賞一下 自己的杰作 （畫個(gè)圖 看看）
import matplotlib.pyplot as plt
plt.plot(range(epochs), losses)
#測(cè)試一下看看
test_X = [np.random.randn(input_size) for i in range(n)]
test_Y = [1 if true_lr.forward(X[i]) > 0.5 else 0 for i in range(n)]
test_X = np.array(test_X)
test_Y = np.array(test_Y)
test(lr, test_X, test_Y)
哈哈哈 ！ 我很滿意！
