5.1 多特征量(Multiple features)
本節(jié)課開始討論一種新的線性回歸的版本肛度,這個版本更適用于多個變量或多特征量的情況差牛。
在多變量線性回歸算法中,符號規(guī)范如下:
- n表示特征量的數(shù)目博肋;
- m表示訓練樣本數(shù)痒芝;
- x(i)表示第 i 個訓練樣本的輸入特征值;
*x(i)j表示第 i 個訓練樣本中第 j 個特征量的值静秆。
之前的預測房價的函數(shù)中只與房價有關粮揉,而現(xiàn)實預測過程中,房價是會受到多個因素的影響的抚笔,因此扶认,房價預測公式可以假設為:
為了簡化上述公式,假定存在第0個特征量x0殊橙,并且x0=1辐宾。此時,所有的特征量可以寫成一個列向量:
X膨蛮,同理叠纹,將所有的系數(shù)theta也組成一個列向量,這兩個列向量均為n+1維敞葛。
根據(jù)上述組織形式吊洼,可以將多變量線性回歸公式簡化為:
內積(inner product):上述簡化后的公式即為參數(shù)向量theta與特征向量X的內積。
5.2 多元梯度下降法(Gradient descent for multiple variables)
本節(jié)課主要講解如何設定多元線性回歸假設中的參數(shù)制肮,重點是如何用梯度下降法來處理多元線性回歸冒窍。
多元線性回歸的梯度下降法與單元線性回歸的梯度下降法的區(qū)別在于多元線性回歸存在多個特征向量,那么在梯度下降法遍歷時豺鼻,就需要遍歷每一個特征向量的參數(shù)theta的計算過程综液,偽代碼如下:
5.3 多元梯度下降法演練I——特征縮放(Gradient descent in practice I: Feature Scaling)
本節(jié)課及下節(jié)課都講解的是梯度下降運算中的實用技巧。本節(jié)課主要講解的是一個稱為特征縮放的方法儒飒。
如果有一個問題包含多個特征谬莹,并且能確保這幾個特征的取值范圍相近,這樣梯度下降法就能更快地收斂。
通常附帽,特征縮放的目的是將特征的取值范圍約束在-1~+1之間埠戳,其中-1和+1這兩個數(shù)字并非精確的概念,可以取二者相近的數(shù)字蕉扮,但不能出現(xiàn)太大的偏差整胃。Andrew認為,一般情況下喳钟,-3~+3或-1/3~+1/3范圍都是可以接受的屁使。
一般在做特征縮放時,不必強求所有特征的范圍一定都在某個范圍內奔则,只要保證他們的取值范圍足夠接近即可蛮寂。
特征縮放的一般做法是將特征除以最大值。
另一種進行特征縮放的方法稱為:均值歸一化(Mean normalization)易茬,即用xi-ui來代替xi的值酬蹋,其中,xi-ui可以使得特征值的平均值接近0抽莱。
對于特征xi范抓,最通用的特征縮放公式為:xi-ui/si,其中岸蜗,ui是訓練集中的特征xi的平均值尉咕,si是該特征值的范圍叠蝇,即最大值減去最小值或者變量的標準差璃岳。
特征縮放的目的是讓梯度下降法盡可能快的收斂。