參考：Python實(shí)現(xiàn)常見機(jī)器學(xué)習(xí)算法
一彪腔、線性回歸
1、代價(jià)函數(shù)
2挽荠、梯度下降算法
3克胳、均值歸一化
4、最終運(yùn)行結(jié)果
5圈匆、使用scikit-learn庫中的線性模型實(shí)現(xiàn)
二漠另、邏輯回歸
1、代價(jià)函數(shù)
2跃赚、梯度
3笆搓、正則化
4性湿、S型函數(shù)
5、映射為多項(xiàng)式
6满败、使用的優(yōu)化方法
7肤频、運(yùn)行結(jié)果
8、使用scikit-learn庫中的邏輯回歸模型實(shí)現(xiàn)
邏輯回歸_手寫數(shù)字識(shí)別_OneVsAll
1算墨、隨機(jī)顯示100個(gè)數(shù)字
2宵荒、OneVsAll
3、手寫數(shù)字識(shí)別
4净嘀、預(yù)測(cè)
5报咳、運(yùn)行結(jié)果
6、使用scikit-learn庫中的邏輯回歸模型實(shí)現(xiàn)
三挖藏、BP神經(jīng)網(wǎng)絡(luò)
1少孝、神經(jīng)網(wǎng)絡(luò)model
2、代價(jià)函數(shù)
3熬苍、正則化
4、反向傳播BP
5袁翁、BP可以求梯度的原因
6柴底、梯度檢查
7、權(quán)重的隨機(jī)初始化
8粱胜、預(yù)測(cè)
9柄驻、輸出結(jié)果
四、SVM支持向量機(jī)
1焙压、代價(jià)函數(shù)
2鸿脓、Large Margin
3、SVM Kernel（核函數(shù)）
4涯曲、使用中的模型代碼
5野哭、運(yùn)行結(jié)果
正文
1、代價(jià)函數(shù)
其中：
幻件。
下面就是要求出theta拨黔，使代價(jià)最小，即代表我們擬合出來的方程距離真實(shí)值最近
共有m條數(shù)據(jù)绰沥，其中
代表我們要擬合出來的方程到真實(shí)值距離的平方篱蝇，平方的原因是因?yàn)榭赡苡胸?fù)值，
有系數(shù)2的原因是下面求梯度是對(duì)每個(gè)變量求偏導(dǎo)徽曲，2可以消去
實(shí)現(xiàn)代碼：
# 計(jì)算代價(jià)函數(shù)
def computerCost(X,y,theta):
m = len(y)
J = 0
J = (np.transpose(X*theta-y))*(X*theta-y)/(2*m) #計(jì)算代價(jià)J
return J
注意這里的X是真實(shí)數(shù)據(jù)前加了一列1零截，因?yàn)橛衪heta(0)
2、梯度下降算法
代價(jià)函數(shù)對(duì)
求偏導(dǎo)得到：
所以對(duì)theta的更新可以寫為：
為學(xué)習(xí)速率秃臣，控制梯度下降的速度涧衙，一般取0.01,0.03,0.1,0.3.....
為什么梯度下降可以逐步減小代價(jià)函數(shù)？
假設(shè)函數(shù)f(x)的
泰勒展開：f(x+x)=f(x)+f'(x)*x+o(x)，
令：x=-α*f'(x) ,即負(fù)梯度方向乘以一個(gè)很小的步長(zhǎng)α绍撞，
將x代入泰勒展開式中：
f(x+x)=f(x)-α[f'(x)]2+o(x)*
可以看出正勒，α是取得很小的正數(shù)，[f'(x)]2也是正數(shù)傻铣，所以可以得出：f(x+x)<=f(x)章贞，
所以沿著負(fù)梯度放下，函數(shù)在減小非洲，多維情況一樣鸭限。
梯度下降算法
def gradientDescent(X,y,theta,alpha,num_iters):
m = len(y)
n = len(theta)
temp = np.matrix(np.zeros((n,num_iters))) # 暫存每次迭代計(jì)算的theta，轉(zhuǎn)化為矩陣形式
J_history = np.zeros((num_iters,1)) #記錄每次迭代計(jì)算的代價(jià)值
for i in range(num_iters): # 遍歷迭代次數(shù)
h = np.dot(X,theta) # 計(jì)算內(nèi)積两踏，matrix可以直接乘
temp[:,i] = theta - ((alpha/m)*(np.dot(np.transpose(X),h-y)))
#梯度的計(jì)算
theta = temp[:,i]
J_history[i] = computerCost(X,y,theta) #調(diào)用計(jì)算代價(jià)函數(shù)
print '.',
return theta,J_history
3败京、均值歸一化
目的是使數(shù)據(jù)都縮放到一個(gè)范圍內(nèi)，便于使用梯度下降算法
其中
為所有此feture數(shù)據(jù)的平均值梦染，
可以是最大值-最小值赡麦，也可以是這個(gè)feature對(duì)應(yīng)的數(shù)據(jù)的標(biāo)準(zhǔn)差
實(shí)現(xiàn)代碼：
歸一化feature
def featureNormaliza(X):
X_norm = np.array(X) #將X轉(zhuǎn)化為numpy數(shù)組對(duì)象，才可以進(jìn)行矩陣的運(yùn)算
#定義所需變量
mu = np.zeros((1,X.shape[1]))
sigma = np.zeros((1,X.shape[1]))
mu = np.mean(X_norm,0) # 求每一列的平均值（0指定為列帕识，1代表行）
sigma = np.std(X_norm,0) # 求每一列的標(biāo)準(zhǔn)差
for i in range(X.shape[1]): # 遍歷列
X_norm[:,i] = (X_norm[:,i]-mu[i])/sigma[i] # 歸一化
return X_norm,mu,sigma
注意預(yù)測(cè)的時(shí)候也需要均值歸一化數(shù)據(jù)
4泛粹、最終運(yùn)行結(jié)果
代價(jià)隨迭代次數(shù)的變化
5、使用scikit-learn庫中的線性模型實(shí)現(xiàn)
導(dǎo)入包
from sklearn import linear_model
from sklearn.preprocessing import StandardScaler #引入縮放的包
歸一化
#歸一化操作
scaler = StandardScaler()
scaler.fit(X)
x_train = scaler.transform(X)
x_test = scaler.transform(np.array([1650,3]))
線性模型擬合
# 線性模型擬合
model = linear_model.LinearRegression()
model.fit(x_train, y)
預(yù)測(cè)
#預(yù)測(cè)結(jié)果
result = model.predict(x_test)
二肮疗、邏輯回歸
1晶姊、代價(jià)函數(shù)
可以綜合起來為：
其中：
為什么不用線性回歸的代價(jià)函數(shù)表示，因?yàn)榫€性回歸的代價(jià)函數(shù)可能是非凸的伪货，對(duì)于分類問題们衙，使用梯度下降很難得到最小值，上面的代價(jià)函數(shù)是凸函數(shù)
的圖像如下碱呼，即y=1時(shí)：
可以看出蒙挑，當(dāng)
趨于1甩骏，y=1,與預(yù)測(cè)值一致抄伍，此時(shí)付出的代價(jià)cost趨于0，若
趨于0集晚，y=1,此時(shí)的代價(jià)cost值非常大懊悯，我們最終的目的是最小化代價(jià)值蜓谋，
同理
的圖像如下（y=0）：
2、梯度
同樣對(duì)代價(jià)函數(shù)求偏導(dǎo)：
可以看出與線性回歸的偏導(dǎo)數(shù)一致
推導(dǎo)過程
3炭分、正則化
目的是為了防止過擬合桃焕。
在代價(jià)函數(shù)中加上一項(xiàng)
注意j是重1開始的，因?yàn)閠heta(0)為一個(gè)常數(shù)項(xiàng)捧毛，X中最前面一列會(huì)加上1列1观堂，所以乘積還是theta(0),feature沒有關(guān)系让网，沒有必要正則化
正則化后的代價(jià)：
# 代價(jià)函數(shù)
def costFunction(initial_theta,X,y,inital_lambda):
m = len(y)
J = 0
h = sigmoid(np.dot(X,initial_theta)) # 計(jì)算h(z)
theta1 = initial_theta.copy() # 因?yàn)檎齽t化j=1從1開始，不包含0师痕，所以復(fù)制一份溃睹，前theta(0)值為0
theta1[0] = 0
temp = np.dot(np.transpose(theta1),theta1)
J = (-np.dot(np.transpose(y),np.log(h))-np.dot(np.transpose(1-y),np.log(1-h))+temp*inital_lambda/2)/m # 正則化的代價(jià)方程
return J
正則化后的代價(jià)的梯度
# 計(jì)算梯度
def gradient(initial_theta,X,y,inital_lambda):
m = len(y)
grad = np.zeros((initial_theta.shape[0]))
h = sigmoid(np.dot(X,initial_theta))# 計(jì)算h(z)
theta1 = initial_theta.copy()
theta1[0] = 0
grad = np.dot(np.transpose(X),h-y)/m+inital_lambda/m*theta1
#正則化的梯度
return grad
4、S型函數(shù)
實(shí)現(xiàn)代碼：
# S型函數(shù)
def sigmoid(z):
h = np.zeros((len(z),1)) # 初始化胰坟，與z的長(zhǎng)度一置
h = 1.0/(1.0+np.exp(-z)) return h
5因篇、映射為多項(xiàng)式
因?yàn)閿?shù)據(jù)的feture可能很少，導(dǎo)致偏差大笔横，所以創(chuàng)造出一些feture結(jié)合
eg:映射為2次方的形式:
實(shí)現(xiàn)代碼：
# 映射為多項(xiàng)式
def mapFeature(X1,X2):
degree = 3; # 映射的最高次方
out = np.ones((X1.shape[0],1)) # 映射后的結(jié)果數(shù)組（取代X）
'''
這里以degree=2為例竞滓，映射為1,x1,x2,x1^2,x1,x2,x2^2
'''
for i in np.arange(1,degree+1):
for j in range(i+1):
temp = X1**(i-j)*(X2**j) #矩陣直接乘相當(dāng)于matlab中的點(diǎn)乘.*
out = np.hstack((out, temp.reshape(-1,1)))
return out
6、使用scipy的優(yōu)化方法
梯度下降使用scipy中optimize中的fmin_bfgs函數(shù)
調(diào)用scipy中的優(yōu)化算法fmin_bfgs（擬牛頓法Broyden-Fletcher-Goldfarb-Shanno)
costFunction: 是自己實(shí)現(xiàn)的一個(gè)求代價(jià)的函數(shù)吹缔，
initial_theta: 表示初始化的值,
fprime指定costFunction的梯度
args是其余測(cè)參數(shù)商佑，以元組的形式傳入，最后會(huì)將最小化costFunction的theta返回
result = optimize.fmin_bfgs(costFunction, initial_theta,
fprime=gradient, args=(X,y,initial_lambda))
7厢塘、運(yùn)行結(jié)果
data1決策邊界和準(zhǔn)確度
data2決策邊界和準(zhǔn)確度
8茶没、使用scikit-learn庫中的邏輯回歸模型實(shí)現(xiàn)
導(dǎo)入包
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.cross_validation import train_test_split
import numpy as np
劃分訓(xùn)練集和測(cè)試集
# 劃分為訓(xùn)練集和測(cè)試集
x_train,x_test,y_train,y_test = train_test_split(X,y,test_size=0.2)
歸一化
# 歸一化
scaler = StandardScaler()
scaler.fit(x_train)
x_train = scaler.fit_transform(x_train)
x_test = scaler.fit_transform(x_test)
邏輯回歸
#邏輯回歸
model = LogisticRegression()
model.fit(x_train,y_train)
預(yù)測(cè)
# 預(yù)測(cè)
predict = model.predict(x_test)
right = sum(predict == y_test)
# 將預(yù)測(cè)值和真實(shí)值放在一塊，好觀察
predict = np.hstack((predict.reshape(-1,1),y_test.reshape(-1,1)))
print predict
#計(jì)算在測(cè)試集上的準(zhǔn)確度
print ('測(cè)試集準(zhǔn)確率：%f%%'%(right*100.0/predict.shape[0]))
邏輯回歸_手寫數(shù)字識(shí)別_OneVsAll
1晚碾、隨機(jī)顯示100個(gè)數(shù)字
我沒有使用scikit-learn中的數(shù)據(jù)集礁叔，像素是20*20px，彩色圖如下
灰度圖：
實(shí)現(xiàn)代碼：
# 顯示100個(gè)數(shù)字
def display_data(imgData):
sum = 0
'''
顯示100個(gè)數(shù)（若是一個(gè)一個(gè)繪制將會(huì)非常慢迄薄，可以將要畫的數(shù)字整理好，放到一個(gè)矩陣中煮岁，顯示這個(gè)矩陣即可）
- 初始化一個(gè)二維數(shù)組
- 將每行的數(shù)據(jù)調(diào)整成圖像的矩陣讥蔽，放進(jìn)二維數(shù)組
- 顯示即可
'''
pad = 1
display_array = -np.ones((pad+10*(20+pad),pad+10*(20+pad)))
for i in range(10):
for j in range(10):
# order=F指定以列優(yōu)先，在matlab中是這樣的画机，python中需要指定冶伞，默認(rèn)以行
display_array[pad+i*(20+pad):pad+i*(20+pad)+20,pad+j*(20+pad):pad+j*(20+pad)+20]
= (imgData[sum,:].reshape(20,20,order="F"))
sum += 1
plt.imshow(display_array,cmap='gray') #顯示灰度圖像
plt.axis('off')
plt.show()
2、OneVsAll
如何利用邏輯回歸解決多分類的問題步氏，OneVsAll就是把當(dāng)前某一類看成一類响禽，其他所有類別看作一類，這樣有成了二分類的問題了荚醒。
如下圖芋类，把途中的數(shù)據(jù)分成三類，先把紅色的看成一類界阁，把其他的看作另外一類侯繁，進(jìn)行邏輯回歸，然后把藍(lán)色的看成一類泡躯，其他的再看成一類贮竟，以此類推...
可以看出大于2類的情況下丽焊，有多少類就要進(jìn)行多少次的邏輯回歸分類
3、手寫數(shù)字識(shí)別
共有0-9咕别，10個(gè)數(shù)字技健，需要10次分類
由于數(shù)據(jù)集y給出的是0,1,2...9的數(shù)字，而進(jìn)行邏輯回歸需要0/1的label標(biāo)記惰拱，所以需要對(duì)y處理
說一下數(shù)據(jù)集雌贱，前500個(gè)是0,500-1000是1,...,所以如下圖，處理后的y弓颈，**前500行的第一列是1帽芽，其余都是0,500-1000行第二列是1，其余都是0.... **
然后調(diào)用梯度下降算法求解theta
實(shí)現(xiàn)代碼：
# 求每個(gè)分類的theta翔冀，最后返回所有的all_theta
def oneVsAll(X,y,num_labels,Lambda):
# 初始化變量
m,n = X.shape
all_theta = np.zeros((n+1,num_labels)) # 每一列對(duì)應(yīng)相應(yīng)分類的theta,共10列
X = np.hstack((np.ones((m,1)),X)) # X前補(bǔ)上一列1的偏置bias
class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對(duì)應(yīng)0-9导街，需要映射為0/1的關(guān)系
initial_theta = np.zeros((n+1,1)) # 初始化一個(gè)分類的theta
# 映射y
for i in range(num_labels):
class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值
#np.savetxt("class_y.csv", class_y[0:600,:], delimiter=',')
'''遍歷每個(gè)分類，計(jì)算對(duì)應(yīng)的theta值'''
for i in range(num_labels):
# 調(diào)用梯度下降的優(yōu)化方法
result = optimize.fmin_bfgs(costFunction, initial_theta,
fprime=gradient, args=(X,class_y[:,i],Lambda))
all_theta[:,i] = result.reshape(1,-1) # 放入all_theta中
all_theta = np.transpose(all_theta)
return all_theta
4纤子、預(yù)測(cè)
之前說過搬瑰，預(yù)測(cè)的結(jié)果是一個(gè)概率值，利用學(xué)習(xí)出來的theta代入預(yù)測(cè)的S型函數(shù)中控硼，每行的最大值就是是某個(gè)數(shù)字的最大概率泽论，所在的列號(hào)就是預(yù)測(cè)的數(shù)字的真實(shí)值,因?yàn)樵诜诸悤r(shí)，所有為0的將y映射在第一列卡乾，為1的映射在第二列翼悴，依次類推
實(shí)現(xiàn)代碼：
# 預(yù)測(cè)
def predict_oneVsAll(all_theta,X):
m = X.shape[0]
num_labels = all_theta.shape[0]
p = np.zeros((m,1))
X = np.hstack((np.ones((m,1)),X)) #在X最前面加一列1
h = sigmoid(np.dot(X,np.transpose(all_theta))) #預(yù)測(cè)
'''
返回h中每一行最大值所在的列號(hào)
- np.max(h, axis=1)返回h中每一行的最大值（是某個(gè)數(shù)字的最大概率）
- 最后where找到的最大概率所在的列號(hào)（列號(hào)即是對(duì)應(yīng)的數(shù)字）
'''
p = np.array(np.where(h[0,:] == np.max(h, axis=1)[0]))
for i in np.arange(1, m):
t = np.array(np.where(h[i,:] == np.max(h, axis=1)[i]))
p = np.vstack((p,t))
return p
5、運(yùn)行結(jié)果
10次分類幔妨，在訓(xùn)練集上的準(zhǔn)確度：
6鹦赎、使用scikit-learn庫中的邏輯回歸模型實(shí)現(xiàn)
1、導(dǎo)入包
from scipy import io as spio
import numpy as np
from sklearn import svm
from sklearn.linear_model import LogisticRegression
2误堡、加載數(shù)據(jù)
data = loadmat_data("data_digits.mat")
X = data['X'] # 獲取X數(shù)據(jù)古话，每一行對(duì)應(yīng)一個(gè)數(shù)字20x20px
y = data['y'] # 這里讀取mat文件y的shape=(5000, 1)
y = np.ravel(y) # 調(diào)用sklearn需要轉(zhuǎn)化成一維的(5000,)
3、擬合模型
model = LogisticRegression()
model.fit(X, y) # 擬合
4锁施、預(yù)測(cè)
predict = model.predict(X) #預(yù)測(cè)
print u"預(yù)測(cè)準(zhǔn)確度為：%f%%"%np.mean(np.float64(predict == y)*100)
5陪踩、輸出結(jié)果（在訓(xùn)練集上的準(zhǔn)確度）
三、BP神經(jīng)網(wǎng)絡(luò)
1悉抵、神經(jīng)網(wǎng)絡(luò)model
先介紹個(gè)三層的神經(jīng)網(wǎng)絡(luò)肩狂，如下圖所示
輸入層（input layer）有三個(gè)units（
為補(bǔ)上的bias，通常設(shè)為1）
表示第j層的第i個(gè)激勵(lì)姥饰，也稱為為單元unit
為第j層到第j+1層映射的權(quán)重矩陣婚温，就是每條邊的權(quán)重
所以可以得到：
隱含層：
輸出層
，
其中媳否，S型函數(shù)
栅螟，也成為激勵(lì)函數(shù)
可以看出
為3x4的矩陣荆秦，
為1x4的矩陣
==》j+1的單元數(shù)x（j層的單元數(shù)+1）
2、代價(jià)函數(shù)
假設(shè)最后輸出的
力图，即代表輸出層有K個(gè)單元
步绸，
其中，
代表第i個(gè)單元輸出
與邏輯回歸的代價(jià)函數(shù)
差不多吃媒，就是
累加上每個(gè)輸出（共有K個(gè)輸出）
3瓤介、正則化
L: 所有層的個(gè)數(shù)
表示第L層unit的個(gè)數(shù)
正則化后的代價(jià)函數(shù)為
共有L-1層，然后是累加對(duì)應(yīng)每一層的theta矩陣赘那，注意不包含加上偏置項(xiàng)對(duì)應(yīng)的theta(0)
正則化后的代價(jià)函數(shù)實(shí)現(xiàn)代碼：
> # 代價(jià)函數(shù)
>
> def nnCostFunction(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda):
>
> length = nn_params.shape[0] # theta的中長(zhǎng)度
>
> # 還原theta1和theta2
>
> Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1)
>
> Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1)
>
> # np.savetxt("Theta1.csv",Theta1,delimiter=',')
>
> m = X.shape[0]
>
> class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對(duì)應(yīng)0-9刑桑，需要映射為0/1的關(guān)系
>
> # 映射y
>
> for i in range(num_labels):
>
> class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值
>
> '''去掉theta1和theta2的第一列，因?yàn)檎齽t化時(shí)從1開始'''
>
> Theta1_colCount = Theta1.shape[1]
>
> Theta1_x = Theta1[:,1:Theta1_colCount]
>
> Theta2_colCount = Theta2.shape[1]
>
> Theta2_x = Theta2[:,1:Theta2_colCount]
>
> # 正則化向theta^2
>
> term = np.dot(np.transpose(np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1))))
,np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1))))
>
> '''正向傳播,每次需要補(bǔ)上一列1的偏置bias'''
>
> a1 = np.hstack((np.ones((m,1)),X))
>
> z2 = np.dot(a1,np.transpose(Theta1))
>
> a2 = sigmoid(z2)
>
> a2 = np.hstack((np.ones((m,1)),a2))
>
> z3 = np.dot(a2,np.transpose(Theta2))
>
> h = sigmoid(z3)
>
> '''代價(jià)'''
>
> J = -(np.dot(np.transpose(class_y.reshape(-1,1)),np.log(h.reshape(-1,1)))
+np.dot(np.transpose(1-class_y.reshape(-1,1)),np.log(1-h.reshape(-1,1)))-Lambda*term/2)/m
>
> return np.ravel(J)
4募舟、反向傳播BP
上面正向傳播可以計(jì)算得到J(θ),使用梯度下降法還需要求它的梯度
BP反向傳播的目的就是求代價(jià)函數(shù)的梯度
假設(shè)4層的神經(jīng)網(wǎng)絡(luò),
記為-->l層第j個(gè)單元的誤差
《===》
（向量化）
沒有
祠斧，因?yàn)閷?duì)于輸入沒有誤差
因?yàn)镾型函數(shù)
的倒數(shù)為：
，
所以上面的
和
可以在前向傳播中計(jì)算出來
反向傳播計(jì)算梯度的過程為：
for i=1-m:-
-正向傳播計(jì)算
（l=2,3,4...L）
-反向計(jì)算
最后
拱礁，即得到代價(jià)函數(shù)的梯度
實(shí)現(xiàn)代碼：
> # 梯度
>
> def nnGradient(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda):
>
> length = nn_params.shape[0]
>
> Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1)
>
> Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1)
>
> m = X.shape[0]
>
> class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對(duì)應(yīng)0-9琢锋，需要映射為0/1的關(guān)系
>
> # 映射y
>
> for i in range(num_labels):
>
> class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值
>
> '''去掉theta1和theta2的第一列，因?yàn)檎齽t化時(shí)從1開始'''
>
> Theta1_colCount = Theta1.shape[1]
>
> Theta1_x = Theta1[:,1:Theta1_colCount]
>
> Theta2_colCount = Theta2.shape[1]
>
> Theta2_x = Theta2[:,1:Theta2_colCount]
>
> Theta1_grad = np.zeros((Theta1.shape)) #第一層到第二層的權(quán)重
>
> Theta2_grad = np.zeros((Theta2.shape)) #第二層到第三層的權(quán)重
>
> Theta1[:,0] = 0;
>
> Theta2[:,0] = 0;
>
> '''正向傳播呢灶，每次需要補(bǔ)上一列1的偏置bias'''
>
> a1 = np.hstack((np.ones((m,1)),X))
>
> z2 = np.dot(a1,np.transpose(Theta1))
>
> a2 = sigmoid(z2)
>
> a2 = np.hstack((np.ones((m,1)),a2))
>
> z3 = np.dot(a2,np.transpose(Theta2))
>
> h = sigmoid(z3)
>
> '''反向傳播吴超，delta為誤差，'''
>
> delta3 = np.zeros((m,num_labels))
>
> delta2 = np.zeros((m,hidden_layer_size))
>
> for i in range(m):
>
> delta3[i,:] = h[i,:]-class_y[i,:]
>
> Theta2_grad = Theta2_grad+np.dot(np.transpose(delta3[i,:].reshape(1,-1)),a2[i,:].reshape(1,-1))
>
> delta2[i,:] = np.dot(delta3[i,:].reshape(1,-1),Theta2_x)*sigmoidGradient(z2[i,:])
>
> Theta1_grad = Theta1_grad+np.dot(np.transpose(delta2[i,:].reshape(1,-1)),a1[i,:].reshape(1,-1))
>
> '''梯度'''
>
> grad = (np.vstack((Theta1_grad.reshape(-1,1),Theta2_grad.reshape(-1,1)))+Lambda*np.vstack((Theta1.reshape(-1,1),Theta2.reshape(-1,1))))/m
>
> return np.ravel(grad)
5鸯乃、BP可以求梯度的原因
實(shí)際是利用了鏈?zhǔn)角髮?dǎo)法則
因?yàn)橄乱粚拥膯卧蒙弦粚拥膯卧鳛檩斎脒M(jìn)行計(jì)算
大體的推導(dǎo)過程如下鲸阻，最終我們是想預(yù)測(cè)函數(shù)與已知的y非常接近，求均方差的梯度沿著此梯度方向可使代價(jià)函數(shù)最小化缨睡∽嘎Γ可對(duì)照上面求梯度的過程。
求誤差更詳細(xì)的推導(dǎo)過程：
6宏蛉、梯度檢查
檢查利用BP求的梯度是否正確
利用導(dǎo)數(shù)的定義驗(yàn)證：
求出來的數(shù)值梯度應(yīng)該與BP求出的梯度非常接近
驗(yàn)證BP正確后就不需要再執(zhí)行驗(yàn)證梯度的算法了
實(shí)現(xiàn)代碼：
> # 檢驗(yàn)梯度是否計(jì)算正確
>
> # 檢驗(yàn)梯度是否計(jì)算正確
>
> def checkGradient(Lambda = 0):
>
> '''構(gòu)造一個(gè)小型的神經(jīng)網(wǎng)絡(luò)驗(yàn)證，因?yàn)閿?shù)值法計(jì)算梯度很浪費(fèi)時(shí)間性置，而且驗(yàn)證正確后之后就不再需要驗(yàn)證了'''
>
> input_layer_size = 3
>
> hidden_layer_size = 5
>
> num_labels = 3
>
> m = 5
>
> initial_Theta1 = debugInitializeWeights(input_layer_size,hidden_layer_size);
>
> initial_Theta2 = debugInitializeWeights(hidden_layer_size,num_labels)
>
> X = debugInitializeWeights(input_layer_size-1,m)
>
> y = 1+np.transpose(np.mod(np.arange(1,m+1), num_labels))# 初始化y
>
> y = y.reshape(-1,1)
>
> nn_params = np.vstack((initial_Theta1.reshape(-1,1),initial_Theta2.reshape(-1,1))) #展開theta
>
> '''BP求出梯度'''
>
> grad = nnGradient(nn_params, input_layer_size, hidden_layer_size,
>
> num_labels, X, y, Lambda)
>
> '''使用數(shù)值法計(jì)算梯度'''
>
> num_grad = np.zeros((nn_params.shape[0]))
>
> step = np.zeros((nn_params.shape[0]))
>
> e = 1e-4
>
> for i in range(nn_params.shape[0]):
>
> step[i] = e
>
> loss1 = nnCostFunction(nn_params-step.reshape(-1,1), input_layer_size, hidden_layer_size,
>
> num_labels, X, y,
>
> Lambda)
>
> loss2 = nnCostFunction(nn_params+step.reshape(-1,1), input_layer_size, hidden_layer_size,
>
> num_labels, X, y,
>
> Lambda)
>
> num_grad[i] = (loss2-loss1)/(2*e)
>
> step[i]=0
>
> # 顯示兩列比較
>
> res = np.hstack((num_grad.reshape(-1,1),grad.reshape(-1,1)))
>
> print res
7拾并、權(quán)重的隨機(jī)初始化
神經(jīng)網(wǎng)絡(luò)不能像邏輯回歸那樣初始化theta為0,因?yàn)槿羰敲織l邊的權(quán)重都為0，每個(gè)神經(jīng)元都是相同的輸出鹏浅，在反向傳播中也會(huì)得到同樣的梯度嗅义，最終只會(huì)預(yù)測(cè)一種結(jié)果。
所以應(yīng)該初始化為接近0的數(shù)
實(shí)現(xiàn)代碼
> # 隨機(jī)初始化權(quán)重theta
>
> def randInitializeWeights(L_in,L_out):
>
> W = np.zeros((L_out,1+L_in)) # 對(duì)應(yīng)theta的權(quán)重
>
> epsilon_init = (6.0/(L_out+L_in))**0.5
>
> W = np.random.rand(L_out,1+L_in)*2*epsilon_init-epsilon_init # np.random.rand(L_out,1+L_in)產(chǎn)生L_out*(1+L_in)大小的隨機(jī)矩陣
>
> return W
8隐砸、預(yù)測(cè)
正向傳播預(yù)測(cè)結(jié)果
實(shí)現(xiàn)代碼
> # 預(yù)測(cè)
>
> def predict(Theta1,Theta2,X):
>
> m = X.shape[0]
>
> num_labels = Theta2.shape[0]
>
> #p = np.zeros((m,1))
>
> '''正向傳播之碗，預(yù)測(cè)結(jié)果'''
>
> X = np.hstack((np.ones((m,1)),X))
>
> h1 = sigmoid(np.dot(X,np.transpose(Theta1)))
>
> h1 = np.hstack((np.ones((m,1)),h1))
>
> h2 = sigmoid(np.dot(h1,np.transpose(Theta2)))
>
> '''
>
> 返回h中每一行最大值所在的列號(hào)
>
> - np.max(h, axis=1)返回h中每一行的最大值（是某個(gè)數(shù)字的最大概率）
>
> - 最后where找到的最大概率所在的列號(hào)（列號(hào)即是對(duì)應(yīng)的數(shù)字）
>
> '''
>
> #np.savetxt("h2.csv",h2,delimiter=',')
>
> p = np.array(np.where(h2[0,:] == np.max(h2, axis=1)[0]))
>
> for i in np.arange(1, m):
>
> t = np.array(np.where(h2[i,:] == np.max(h2, axis=1)[i]))
>
> p = np.vstack((p,t))
>
> return p
9、輸出結(jié)果
梯度檢查：
隨機(jī)顯示100個(gè)手寫數(shù)字
顯示theta1權(quán)重
訓(xùn)練集預(yù)測(cè)準(zhǔn)確度
歸一化后訓(xùn)練集預(yù)測(cè)準(zhǔn)確度
四季希、SVM支持向量機(jī)
1褪那、代價(jià)函數(shù)
在邏輯回歸中幽纷，我們的代價(jià)為：
其中：
如圖所示，如果y=1博敬，cost代價(jià)函數(shù)如圖所示
我們想讓
友浸，即z>>0，這樣的話cost代價(jià)函數(shù)才會(huì)趨于最衅选（這是我們想要的）收恢，所以用途中紅色的函數(shù)
代替邏輯回歸中的cost
當(dāng)y=0時(shí)同樣，用
代替
最終得到的代價(jià)函數(shù)為：
最后我們想要
之前我們邏輯回歸中的代價(jià)函數(shù)為：
可以認(rèn)為這里的
祭往，只是表達(dá)形式問題伦意，這里C的值越大，SVM的決策邊界的margin也越大硼补，下面會(huì)說明
2驮肉、Large Margin
如下圖所示,SVM分類會(huì)使用最大的margin將其分開
先說一下向量?jī)?nèi)積
表示u的歐幾里得范數(shù)（歐式范數(shù)），
向量V在向量u上的投影的長(zhǎng)度記為p括勺，則：向量?jī)?nèi)積：
根據(jù)向量夾角公式推導(dǎo)一下即可缆八，
前面說過，當(dāng)C越大時(shí)疾捍，margin也就越大奈辰，我們的目的是最小化代價(jià)函數(shù)J(θ),當(dāng)margin最大時(shí)，C的乘積項(xiàng)
要很小，所以近似為：
我們最后的目的就是求使代價(jià)最小的θ
由
可以得到：
p即為x在θ上的投影
如下圖所示，假設(shè)決策邊界如圖每篷，找其中的一個(gè)點(diǎn)器联，到θ上的投影為p,則
或者
，若是p很小梗逮，則需要
很大，這與我們要求的θ使
最小相違背，所以最后求的是large margin
3蛹屿、SVM Kernel（核函數(shù)）
對(duì)于線性可分的問題，使用線性核函數(shù)即可
對(duì)于線性不可分的問題岩榆，在邏輯回歸中错负，我們是將feature映射為使用多項(xiàng)式的形式
，SVM中也有多項(xiàng)式核函數(shù)勇边，但是更常用的是高斯核函數(shù)犹撒，也稱為RBF核
高斯核函數(shù)為：
假設(shè)如圖幾個(gè)點(diǎn)，
令：
可以看出粒褒，若是x與
距離較近识颊，==》
，（即相似度較大）奕坟，若是x與
距離較遠(yuǎn)祥款，==》
清笨，（即相似度較低）
高斯核函數(shù)的σ越小，f下降的越快
如何選擇初始的
訓(xùn)練集：
選擇：
對(duì)于給出的x镰踏，計(jì)算f,令：
函筋，
所以：
最小化J求出θ，
如果
奠伪，==》預(yù)測(cè)y=1
4跌帐、使用scikit-learn中的SVM模型代碼
線性可分的,指定核函數(shù)為linear：
> '''data1——線性分類'''
>
> data1 = spio.loadmat('data1.mat')
>
> X = data1['X']
>
> y = data1['y']
>
> y = np.ravel(y)
>
> plot_data(X,y)
>
> model = svm.SVC(C=1.0,kernel='linear').fit(X,y) # 指定核函數(shù)為線性核函數(shù)
非線性可分的，默認(rèn)核函數(shù)為rbf
> '''data2——非線性分類'''
>
> data2 = spio.loadmat('data2.mat')
>
> X = data2['X']
>
> y = data2['y']
>
> y = np.ravel(y)
>
> plt = plot_data(X,y)
>
> plt.show()
>
> model = svm.SVC(gamma=100).fit(X,y) # gamma為核函數(shù)的系數(shù)绊率，值越大擬合的越好
5谨敛、運(yùn)行結(jié)果
線性可分的決策邊界：
線性不可分的決策邊界：
