未經(jīng)允許乡范,不得擅自改動(dòng)和轉(zhuǎn)載
4.1 多維特征(Multiple Features)
目前為止配名,我們探討了單變量/特征的回歸模型,現(xiàn)在我們對(duì)房?jī)r(jià)模型增加更多的特征晋辆,
例如房間數(shù)樓層等渠脉,構(gòu)成一個(gè)含有多個(gè)變量的模型,模型中的特征為(x1,x2,...,xn)瓶佳。
增添更多特征后芋膘,我們引入一系列新的注釋:
此時(shí)模型中的參數(shù)是一個(gè)n+1 維的向量,任何一個(gè)訓(xùn)練實(shí)例也都是n+1 維的向量霸饲,特
征矩陣X 的維度是 m*(n+1)为朋。 因此公式可以簡(jiǎn)化為:
其中上標(biāo)T代表矩陣轉(zhuǎn)置
多變量梯度下降(Gradient Descent for Multiple Variables)
與單變量線性回歸類似,在多變量線性回歸中贴彼,我們也構(gòu)建一個(gè)代價(jià)函數(shù)潜腻,則這個(gè)代價(jià)
函數(shù)是所有建模誤差的平方和埃儿,即:
梯度下降法實(shí)踐 1-特征縮放(Gradient Descent in Practice I - Feature Scaling)
在我們面對(duì)多維特征問(wèn)題的時(shí)候器仗,我們要保證這些特征都具有相近的尺度,這將幫助梯
度下降算法更快地收斂童番。
以房?jī)r(jià)問(wèn)題為例精钮,假設(shè)我們使用兩個(gè)特征,房屋的尺寸和房間的數(shù)量剃斧,尺寸的值為 0-
2000 平方英尺轨香,而房間數(shù)量的值則是 0-5,以兩個(gè)參數(shù)分別為橫縱坐標(biāo)幼东,繪制代價(jià)函數(shù)的等
高線圖能臂容,看出圖像會(huì)顯得很扁,梯度下降算法需要非常多次的迭代才能收斂根蟹。
解決的方法是嘗試將所有特征的尺度都盡量縮放到-1 到 1 之間脓杉。如圖
4.4 梯度下降法實(shí)踐 2-學(xué)習(xí)率( 4 - 4 - Gradient Descent in Practice II - Learning Rate )
4.5 特征和多項(xiàng)式回歸(Features and Polynomial Regression)
如房?jī)r(jià)預(yù)測(cè)問(wèn)題,
通常我們需要先觀察數(shù)據(jù)然后再?zèng)Q定準(zhǔn)備嘗試怎樣的模型简逮。 另外球散,我們可以令:
從而將模型轉(zhuǎn)化為線性回歸模型。
根據(jù)函數(shù)圖形特性散庶,我們還可以使:
4.6 正規(guī)方程
到目前為止蕉堰,我們都在使用梯度下降算法,但是對(duì)于某些線性回歸問(wèn)題悲龟,正規(guī)方程方法
是更好的解決方案屋讶。如:
即:
運(yùn)用正規(guī)方程法求解參數(shù):
總結(jié)一下,只要特征變量的數(shù)目并不大须教,標(biāo)準(zhǔn)方程是一個(gè)很好的計(jì)算參數(shù) θ 的替代方
法皿渗。具體地說(shuō),只要特征變量數(shù)量小于一萬(wàn),我通常使用標(biāo)準(zhǔn)方程法羹奉,而不使用梯度下降法秒旋。
隨著我們要講的學(xué)習(xí)算法越來(lái)越復(fù)雜,例如诀拭,當(dāng)我們講到分類算法迁筛,像邏輯回歸算法,
我們會(huì)看到耕挨, 實(shí)際上對(duì)于那些算法细卧,并不能使用標(biāo)準(zhǔn)方程法。對(duì)于那些更復(fù)雜的學(xué)習(xí)算法筒占,
我們將不得不仍然使用梯度下降法贪庙。因此,梯度下降法是一個(gè)非常有用的算法翰苫,可以用在有
大量特征變量的線性回歸問(wèn)題止邮。或者我們以后在課程中奏窑,會(huì)講到的一些其他的算法导披,因?yàn)闃?biāo)
準(zhǔn)方程法不適合或者不能用在它們上。但對(duì)于這個(gè)特定的線性回歸模型埃唯,標(biāo)準(zhǔn)方程法是一個(gè)
比梯度下降法更快的替代算法撩匕。所以,根據(jù)具體的問(wèn)題墨叛,以及你的特征變量的數(shù)量止毕,這兩種
算法都是值得學(xué)習(xí)的。
課程代碼:https://github.com/HuangCongQing/MachineLearning_Ng
本文參考自-黃海廣博士 斯坦福大學(xué) 2014機(jī)器學(xué)習(xí)教程中文 筆記
鏈接:http://pan.baidu.com/s/1dF2asvf 密碼:1ewf
分享吳恩達(dá)機(jī)器學(xué)習(xí)視頻 下載 鏈接:
鏈接: http://pan.baidu.com/s/1pKLATJl 密碼: xn4w
好看的人兒漠趁,點(diǎn)個(gè)喜歡? 你會(huì)更好看哦~~