上一篇文章中鸟顺，講到了梯度下降法的公式粉铐，但是比較抽象，這篇文章將通過一個例子來講解這個公式辞州。
線性回歸
這篇文章就介紹梯度下降法在線性回歸上的應(yīng)用。所謂回歸就是指通過已知數(shù)據(jù)預(yù)測出結(jié)果數(shù)據(jù)寥粹，線性回歸就是指已知數(shù)據(jù)和預(yù)測數(shù)據(jù)之間的關(guān)系是線性的变过，它們的假設(shè)函數(shù)通常有如下形式：
我們舉個比較簡單的例子，即
回憶第三篇文章中損失函數(shù)的公式如下
假如數(shù)據(jù)集中只有一組數(shù)據(jù)涝涤，那么損失函數(shù)可以被簡化為
其中
梯度下降
在上一篇文章中媚狰，給出了梯度下降的一般公式
用在這篇文章中舉的例子，就有如下形式：
下面我推導(dǎo)一遍求偏導(dǎo)的過程
推廣到一般形式就是
其中妄痪，x 的上標(biāo) i 指的是 x 在數(shù)據(jù)集中的第幾個哈雏，下標(biāo) j 指的是在某一組數(shù)據(jù)中楞件，這是第幾個因素衫生，比如有一組數(shù)據(jù)是
那么 x1 就表示這是這三個因素中的第 1 個（注意下標(biāo)是從 0 開始的）
小結(jié)
上文推導(dǎo)了梯度下降在線性回歸中的具體形式，希望大家對梯度下降的公式有了更深的理解土浸，當(dāng)然罪针，回歸不止線性回歸一種形式，還有邏輯回歸等等黄伊，梯度下降的具體形式也不同泪酱，但是總的思想都是讓參數(shù)減去導(dǎo)數(shù)，使參數(shù)不斷接近最優(yōu)解，使得損失函數(shù)最小墓阀。
