一臭埋、單變量線性回歸
1.1 線性回歸模型
這里寫圖片描述
其中J(θ0,θ1)是代價函數(shù)踪央，目標(biāo)可以用下圖來理解，也就是尋找θ0和θ1瓢阴，使J(θ0,θ1)最小畅蹂，即三維空間中的最低點(diǎn)。
這里寫圖片描述
1.2 梯度下降算法
梯度下降是一個用來求函數(shù)最小值的算法荣恐，我們將使用梯度下降算法來求出代價函數(shù) J(θ0,θ1) 的最小值魁莉。
梯度下降背后的思想是：開始時我們隨機(jī)選擇一個參數(shù)的組合(θ0,θ1,...,θn)，計(jì)算代價函數(shù)募胃，然后我們尋找下一個能讓代價函數(shù)值下降最多的參數(shù)組合旗唁。我們持續(xù)這么做直到找到一個局部最小值，因?yàn)槲覀儾]有嘗試完所有的參數(shù)組合痹束，所以不能確定我們得到的局部最小值是否便是全局最小值，所以選擇不同的初始參數(shù)組合屎媳， 可能會找到不同的局部最小值。如下圖所示：
這里寫圖片描述
梯度下降的算法公式如下：
這里寫圖片描述
注：梯度下降算法可以用來最小化任何代價函數(shù)J持搜。
1.3 使用梯度下降算法解決單變量線性回歸問題
這里寫圖片描述
二村斟、多變量線性回歸
2.1 多變量梯度下降
多變量時模型變化為如下所示：
這里寫圖片描述
相應(yīng)的梯度算法變化為如下所示：
這里寫圖片描述
