1 多特征線性回歸
有多個(gè)變量的線性回歸也叫做多變量線形回歸(multivariate linear regression)晾咪。
下面介紹一下標(biāo)志才睹。
預(yù)測(cè)函數(shù)的多變量形式如下：
hθ(x)=θ0+θ1x1+θ2x2+θ3x3+?+θnxn
基于矩陣乘法的定義蕉毯，預(yù)測(cè)函數(shù)可以寫成如下形式：
這是預(yù)測(cè)函數(shù)對(duì)于一個(gè)訓(xùn)練集的向量化示姿。
注意??: 為了方便起見冕屯，我們假定 x(i)0=1 for (i∈1,…,m)蟹但。為了使它們的維度相同以進(jìn)行矩陣操作躯泰。
上標(biāo)代表著訓(xùn)練集的標(biāo)號(hào)，下邊代表著特征序列华糖。
所以麦向，可以下列式子計(jì)算預(yù)測(cè)函數(shù)。
hθ(X)=XθT
2 多特征梯度下降
梯度下降的本質(zhì)是沒有改變過的客叉。
相比于單變量梯度下降公式诵竭，每次θ的迭代都要對(duì)所有θ參數(shù)進(jìn)行計(jì)算。
之前n=1, 計(jì)算θ0兼搏，θ1÷盐浚現(xiàn)在n>1,就對(duì)θ0，θ1, ... ,θn進(jìn)行計(jì)算佛呻。(x0 = 1 上標(biāo)表示第i個(gè)訓(xùn)練集裳朋，下標(biāo)表示參數(shù)序號(hào))。
簡(jiǎn)潔一點(diǎn)就是這樣子：
下圖比較了單特征和多特征的梯度下降算法的異同吓著。
屏幕快照 2017-01-01 上午9.53.29.png
