編者注：本文包含了使用Python2.X讀取數(shù)據(jù)、數(shù)據(jù)處理、作圖先匪，構(gòu)建梯度下降法函數(shù)求解一元線性回歸，并對結(jié)果進行可視化展示弃衍，是非常綜合的一篇文章呀非，包含了Python的數(shù)據(jù)操作、可視化與機器學習等內(nèi)容。學習了這一篇文章就大概了解或掌握相關(guān)Python編程與數(shù)據(jù)分析等內(nèi)容岸裙。另外猖败，本文還巧妙地進行了一個設(shè)計，這使得本文Python代碼也可用于多元線性回歸降允，這是區(qū)別與現(xiàn)有網(wǎng)絡(luò)上大多數(shù)梯度下降法求解線性回歸的Python實現(xiàn)不同恩闻，具體會在文中說明。
五拟糕、構(gòu)造梯度下降法求解回歸的函數(shù)
根據(jù)相關(guān)文獻判呕，梯度下降法的主要精髓在于梯度、下降送滞，也就是計算損失函數(shù)的梯度侠草，然后在初始值下不斷下降，尋找迭代之后損失函數(shù)達到最小的數(shù)值犁嗅。對于我們的函數(shù)J(θ)求偏導(dǎo)J：
下面是更新的過程边涕，也就是θi會向著梯度最小的方向進行減少。θi表示更新之前的值褂微，-后面的部分表示按梯度方向減少的量功蜓，α表示步長（學習率），也就是每次按照梯度減少的方向變化多少宠蚂。
這一方法也稱為批量梯度下降式撼。其代碼如下：
def gradientDescent(X, y, theta, alpha, iters):
temp = np.matrix(np.zeros(theta.shape)) #構(gòu)建零值矩陣
parameters = int(theta.ravel().shape[1]) #計算需要求解的參數(shù)個數(shù)
cost = np.zeros(iters) #構(gòu)建iters個0的數(shù)組
for i in range(iters):
error = (X * theta.T) – y #計算hθ(x)-y
for j in range(parameters):
term = np.multiply(error, X[:,j]) #計算兩矩陣(hθ(x)-y)x
temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))
theta = temp
cost[i] = computeCost(X, y, theta)
return theta, cost
在這里alpha為學習率，iters為迭代次數(shù)求厕。先構(gòu)造一些零值矩陣或數(shù)組著隆，然后再根據(jù)梯度下降法最后得到的計算公式來得到求解值theta，即temp[0,j] = theta[0,j] - ((alpha / len(X)) * np.sum(term))呀癣，中簡摻雜一些矩陣的計算準備美浦。
輸入學習率、迭代次數(shù)等初始值项栏，就可以得到求解回歸的參數(shù)值浦辨。
alpha = 0.001
iters = 100000
theta = np.matrix(np.array([0,0]))
# perform gradient descent to "fit" the model parameters
g, cost = gradientDescent(X, y, theta, alpha, iters)
g
得到結(jié)果為：g=[12.0805357, 0.14831209]T，其最終損失函數(shù)值為：
···
computeCost(X, y, g)
···
結(jié)果為3.1228871926562922沼沈，在這里需要注意梯度下降法的結(jié)果與學習率流酬、迭代次數(shù)等初始值設(shè)置有關(guān)，學習率太大會使得梯度下降幅度太大列另，有可能越過最小值康吵，而太小了，又會使迭代過程變慢访递。迭代次數(shù)的設(shè)置也有可能使得最終結(jié)果沒有落在損失函數(shù)最小的那一次結(jié)果上晦嵌，因此在這里得到的梯度下降法，其損失函數(shù)值并未比最小二乘法優(yōu)越多少。
六惭载、梯度下降法求解結(jié)果的可視化
將梯度下降法得到的擬合曲線與（x旱函，y）散點放在一起，展示結(jié)果擬合程度的可視化描滔。分別用plot棒妨、scatter命令建立折線和散點，并使用fig, ax = plt.subplots(figsize=(8,6))將兩圖放在一起含长。
···
x = np.linspace(data.mpg.min(), data.mpg.max(), 100) #創(chuàng)建mpg數(shù)據(jù)的等差數(shù)列
f = g[0, 0] + (g[0, 1] * x #依據(jù)擬合方程創(chuàng)建f值
fig, ax = plt.subplots(figsize=(8,6))
ax.plot(x, f, 'r', label='Prediction')
ax.scatter(data.mpg, data.acceleration, label='Traning Data')
ax.legend(loc=2) #圖例
ax.set_xlabel('acceleration')
ax.set_ylabel('mpg')
plt.show()
···
···
fig, bx = plt.subplots(figsize=(8,6))
bx.plot(np.arange(iters), cost, 'r')
bx.set_xlabel('Iterations')
bx.set_ylabel('Cost')
bx.set_title('Error vs. Training Epoch')
plt.show()
···
另外陪腌，要特別說明的是：本文所構(gòu)建的梯度下降法求解函數(shù)也適用于多元線性回歸辱魁，原因是本文在構(gòu)建X、y變量時采用了矩陣化的處理诗鸭，而不是像一般方法直接從數(shù)據(jù)中選擇變量染簇，另外，X强岸、y變量的定位也沒有固定在某幾行锻弓，而是依據(jù)data的數(shù)值形狀來定位，即這幾行代碼的設(shè)置：
cols = data.shape[1]
X = data.iloc[:,0:cols-1]
y = data.iloc[:,cols-1:cols]
完整代碼地址：http://note.youdao.com/noteshare?id=4b0d35625b292621bdc8f31f31effa82
寫作不易蝌箍，特別是技術(shù)類的寫作青灼，請大家多多支持，關(guān)注十绑、點贊聚至、轉(zhuǎn)發(fā)等等酷勺。
————————
參考文獻：
- Machine Learning Exercises In Python, Part 1,
http://www.johnwittenauer.net/machine-learning-exercises-in-python-part-1/ - （吳恩達筆記 1-3）——損失函數(shù)及梯度下降
http://blog.csdn.net/wearge/article/details/77073142?locationNum=9&fps=1 - 梯度下降法求解線性回歸之python實現(xiàn)
http://blog.csdn.net/just_do_it_123/article/details/51056260
