有監(jiān)督學習里面的兩個問題量瓜，一個是線性回歸打毛，一個是邏輯回歸柿赊。
線性回歸問題
指的是：能夠預測的值是連續(xù)的，比如房子的大小和價格的關系幻枉。
image.png
問題是預測750平方英尺的時候碰声，價格是多少？
image.png
邏輯回歸問題
指的是分類問題熬甫，也就是預測的結(jié)果是離散的胰挑。
預測一個乳腺癌是否是惡性的，假設乳腺癌是否惡性與年齡和腫瘤的尺寸的關系如下：
image.png
那么椿肩，問題是給出一個人瞻颂，告訴他的年齡和腫瘤的大小，判斷是否是惡性的郑象。這個問題是一個分類問題（邏輯回歸）贡这，因為它預測的結(jié)果是一個離散的值，只有惡性與非惡性的兩種情況厂榛。
1. 邏輯回歸
從網(wǎng)上找到一個數(shù)據(jù)集盖矫，做一個簡單的邏輯回歸的實驗丽惭。因為是初學者，所有就沒有調(diào)用第三方進行邏輯回歸的庫函數(shù)炼彪。自己寫函數(shù)實現(xiàn)一下吐根。
數(shù)據(jù)的格式：
2017-06-05 21-08-33屏幕截圖.png
將點顯示在圖上面：
2017-06-05 21-11-25屏幕截圖.png
問題：給綠色的點和紅色的點做一個分類。
2. 數(shù)學推理過程
這是源數(shù)據(jù)的格式：
image.png
手寫的推理過程：
image.png
image.png
import matplotlib.pyplot as plt
import numpy as np
import math
alpha=0.01
def loadDataSet():
dataMat = []; labelMat = []
fr = open('testSet-LR.txt')
for line in fr.readlines():
lineArr = line.strip().split()
dataMat.append([float(lineArr[0]), float(lineArr[1])])
labelMat.append(int(lineArr[2]))
return dataMat,labelMat
def plot_point(dataMat,labelMat):
length=len(dataMat)
xcord1=[]
ycord1=[]
xcord2=[]
ycord2=[]
for i in range(length):
if labelMat[i]==1:
xcord1.append(dataMat[i][0])
ycord1.append(dataMat[i][1])
else:
xcord2.append(dataMat[i][0])
ycord2.append(dataMat[i][1])
plt.scatter(xcord1,ycord1,c='r')
plt.scatter(xcord2,ycord2,c='g')
def sigmoid(inX):
return 1.0/(1+np.exp(-inX))
def fun_z(th0,th1,th2,x1,x2):
return th0+ th1*x1+th2*x2
def fun_h(z):
return 1.0/(1+math.exp(-z))
def plot_line(theta0,theta1,theta2):
x=np.arange(-5,5,0.1)
#y=theta0+theta1*x
y= (theta0+theta1*x)/(-theta2)
plt.plot(x,y)
plt.show()
def gradAscent(dataMat,labelMat):
theta0=np.random.normal()
theta1=np.random.normal()
theta2=np.random.normal()
m=len(dataMat)
for times in range(3000):
sum1=0.0
sum2=0.0
sum3=0.0
for i in range(m):
z=fun_z(theta0,theta1,theta2,dataMat[i][0],dataMat[i][1])
sum1=sum1+(fun_h(z)-labelMat[i])
sum2=sum2+(fun_h(z)-labelMat[i])*dataMat[i][0]
sum3=sum3+(fun_h(z)-labelMat[i])*dataMat[i][1]
theta0=theta0-(alpha*sum1)
theta1=theta1-(alpha*sum2)
theta2=theta2-(alpha*sum3)
return theta0,theta1,theta2
d,l=loadDataSet()
th0,th1,th2=gradAscent(d,l)
print (th0," , ",th1," , ",th2)
plot_point(d,l)
plot_line(th0,th1,th2)
運行結(jié)果：
2017-06-05 22-03-10屏幕截圖.png
PS: 關于梯度下降的一種更好的寫法（直接用矩陣的乘法去寫辐马，這樣更簡介）
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) #convert to NumPy matrix
labelMat = mat(classLabels).transpose() #convert to NumPy matrix
m,n = shape(dataMatrix)
alpha = 0.001
maxCycles = 500
#wight就是表示的是theta0拷橘，theta1，theta2
weights = ones((n,1))
for k in range(maxCycles): #heavy on matrix operations
h = sigmoid(dataMatrix*weights) #matrix mult
error = (labelMat - h) #vector subtraction
weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
return weights
源代碼和數(shù)據(jù)集：
https://github.com/zhaozhengcoder/Machine-Learning/tree/master/LogisticRegression
2017年 9月12日 更新 （看了吳恩達 最近新出的deeplearning 的視頻）
這個問題喜爷，也可以從邏輯回歸的本身去理解冗疮。
微信圖片_20170913161445.jpg
微信圖片_20170913161457.jpg
"""
實現(xiàn)一個邏輯回歸
1. 數(shù)據(jù)集是testSet，機器學習實戰(zhàn)里面的一個數(shù)據(jù)集檩帐，格式如下:
x1 x2 y
-0.017612 14.053064 0
....
"""
import numpy as np
from numpy import random
import matplotlib.pyplot as plt
alpha=0.01
#加載數(shù)據(jù)集术幔，原來的數(shù)據(jù)在文件排列是按行排列
#為了計算需要，將原來的數(shù)據(jù)加載到了矩陣之后湃密，給矩陣裝置了诅挑，是數(shù)據(jù)變成按列排列
def loadDataset():
data=[]
label=[]
f=open("textSet.txt")
for line in f:
lineArr=line.strip().split()
data.append( [float(lineArr[0]),float(lineArr[1]) ] )
label.append(float(lineArr[2]))
mdata=np.array(data)
mlabel=np.array(label)
return mdata.T,mlabel.T
def sigmod(inX):
return 1.0/(1+np.exp(-inX))
#計算error，也就是dz泛源，這個error 是為了計算梯度下降
def forward(mdata,mlabel,weight,b):
z=np.dot(weight,mdata)+b
a=sigmod(z)
error= a - mlabel
return error
#梯度下降拔妥，計算出dw，db达箍，然后更新w和b
def gradDesc(mdata,error,weight,b):
nx,m=mdata.shape
dw=(1/m)*np.dot(mdata,error.T)
db=(1/m)*np.sum(error)
weight_transpose = weight.T - alpha*dw
b=b-alpha*db
return weight_transpose.T,b
#代價函數(shù)没龙，寫這個函數(shù)的目的是，在迭代的時候缎玫，輸出每一次迭代后的cost硬纤，判斷cost是否是在下降
def cost(mdata,mlabel,weight,b):
nx,m=mdata.shape
z=np.dot(weight,mdata)+b
a=sigmod(z)
cost=-mlabel*np.log(a)-(a-mlabel)*np.log(1-a)
return np.sum(cost)/m
#show result
def show1(mdata,mlabel,weight,b):
nx,m=mdata.shape
z=np.dot(weight,mdata)+b
a=sigmod(z)
for i,j in zip(a[0],mlabel):
print (i,' , ',j)
#將原始的數(shù)據(jù)和計算之后得到的數(shù)據(jù)對比，以折線圖的方式顯示
def show2(mdata,mlabel,weight,b):
nx,m=mdata.shape
z=np.dot(weight,mdata)+b
a=sigmod(z)
plt.plot(a[0])
plt.plot(mlabel)
plt.show()
#將計算得到的數(shù)據(jù)二值化赃磨，小于0.5的變成0筝家，大于0.5的變成1
#由于絕大多數(shù)的點都是相同的，所以很多點會被覆蓋
def show3(mdata,mlabel,weight,b):
nx,m=mdata.shape
z=np.dot(weight,mdata)+b
a=sigmod(z)
a2=[]
for i in a[0]:
if i >0.5:
a2.append(1)
if i<=0.5:
a2.append(0)
plt.plot(a2,'.')
plt.plot(mlabel,'.')
plt.show()
def regress(maxcycle=100):
mdata,mlabel=loadDataset()
nx,m=mdata.shape
#w和b 隨機初始化邻辉，代碼的目的就是求w和b
weight=random.random(size=(1,nx))
b=random.random(size=(1,m))
#迭代
for i in range(maxcycle):
error=forward(mdata,mlabel,weight,b)
weight,b=gradDesc(mdata,error,weight,b)
print (cost(mdata,mlabel,weight,b))
show1(mdata,mlabel,weight,b)
show2(mdata,mlabel,weight,b)
show3(mdata,mlabel,weight,b)
if __name__=='__main__':
regress(3000)
源碼 ： https://github.com/zhaozhengcoder/Machine-Learning/tree/master/LogisticRegression
