上一篇文章中鸟顺,講到了梯度下降法的公式粉铐,但是比較抽象,這篇文章將通過一個例子來講解這個公式辞州。
線性回歸
這篇文章就介紹梯度下降法在線性回歸上的應(yīng)用。所謂回歸就是指通過已知數(shù)據(jù)預(yù)測出結(jié)果數(shù)據(jù)寥粹,線性回歸就是指已知數(shù)據(jù)和預(yù)測數(shù)據(jù)之間的關(guān)系是線性的变过,它們的假設(shè)函數(shù)通常有如下形式:
我們舉個比較簡單的例子,即
回憶第三篇文章中損失函數(shù)的公式如下
假如數(shù)據(jù)集中只有一組數(shù)據(jù)涝涤,那么損失函數(shù)可以被簡化為
其中
梯度下降
在上一篇文章中媚狰,給出了梯度下降的一般公式
用在這篇文章中舉的例子,就有如下形式:
下面我推導(dǎo)一遍求偏導(dǎo)的過程
推廣到一般形式就是
其中妄痪,x 的上標(biāo) i 指的是 x 在數(shù)據(jù)集中的第幾個哈雏,下標(biāo) j 指的是在某一組數(shù)據(jù)中楞件,這是第幾個因素衫生,比如有一組數(shù)據(jù)是
那么 x1 就表示這是這三個因素中的第 1 個(注意下標(biāo)是從 0 開始的)
小結(jié)
上文推導(dǎo)了梯度下降在線性回歸中的具體形式,希望大家對梯度下降的公式有了更深的理解土浸,當(dāng)然罪针,回歸不止線性回歸一種形式,還有邏輯回歸等等黄伊,梯度下降的具體形式也不同泪酱,但是總的思想都是讓參數(shù)減去導(dǎo)數(shù),使參數(shù)不斷接近最優(yōu)解,使得損失函數(shù)最小墓阀。