申明：此文章內(nèi)容來(lái)自于 Doctor AndrewNG的視頻，經(jīng)過(guò)編輯而成
按照前文所說(shuō)，梯度下降能夠求出一個(gè)函數(shù)的最小值焕阿；線性回歸需要求出，使得cost function的最惺灼簟暮屡；因此我們能夠?qū)ost function運(yùn)用梯度下降，即將梯度下降和線性回歸進(jìn)行整合毅桃，如下圖所示：
梯度下降與線性回歸
對(duì)我們之前的線性回歸問(wèn)題運(yùn)用梯度下降法褒纲，關(guān)鍵在于求出代價(jià)函數(shù)的導(dǎo)數(shù)：
線性回歸代價(jià)函數(shù)代入梯度下降算法求導(dǎo)
當(dāng)j=0，線性回歸代價(jià)函數(shù)代入梯度下降算法求導(dǎo)
當(dāng)j=1時(shí)钥飞，線性回歸代價(jià)函數(shù)代入梯度下降算法求導(dǎo)
我們剛剛使用的算法莺掠，有時(shí)也稱為批量梯度下降。實(shí)際上读宙，在機(jī)器學(xué)習(xí)中彻秆，通常不太會(huì)給算法起名字，但這個(gè)名字”批量梯度下降”结闸，指的是在梯度下降的每一步中唇兑，我們都用到了所有的訓(xùn)??練樣本，在梯度下降中桦锄，在計(jì)算微分求導(dǎo)項(xiàng)時(shí)扎附，我們需要進(jìn)行求和運(yùn)算，所以察纯，在每一個(gè)單獨(dú)的梯度下降中帕棉，我們最終都要計(jì)算這樣一個(gè)東西，這個(gè)項(xiàng)需要對(duì)所有m個(gè)訓(xùn)練樣本求和饼记。
