5 多變量線性回歸(Linear Regression with multiple variables)

5.1 多特征量(Multiple features)

本節(jié)課開始討論一種新的線性回歸的版本肛度,這個版本更適用于多個變量或多特征量的情況差牛。

在多變量線性回歸算法中,符號規(guī)范如下:

  • n表示特征量的數(shù)目博肋;
  • m表示訓練樣本數(shù)痒芝;
  • x(i)表示第 i 個訓練樣本的輸入特征值;
    *x(i)j表示第 i 個訓練樣本中第 j 個特征量的值静秆。

之前的預測房價的函數(shù)中只與房價有關粮揉,而現(xiàn)實預測過程中,房價是會受到多個因素的影響的抚笔,因此扶认,房價預測公式可以假設為:

為了簡化上述公式,假定存在第0個特征量x0殊橙,并且x0=1辐宾。此時,所有的特征量可以寫成一個列向量:
X膨蛮,同理叠纹,將所有的系數(shù)theta也組成一個列向量,這兩個列向量均為n+1維敞葛。

根據(jù)上述組織形式吊洼,可以將多變量線性回歸公式簡化為:

內積(inner product):上述簡化后的公式即為參數(shù)向量theta與特征向量X的內積。

5.2 多元梯度下降法(Gradient descent for multiple variables)

本節(jié)課主要講解如何設定多元線性回歸假設中的參數(shù)制肮,重點是如何用梯度下降法來處理多元線性回歸冒窍。

多元線性回歸的梯度下降法與單元線性回歸的梯度下降法的區(qū)別在于多元線性回歸存在多個特征向量,那么在梯度下降法遍歷時豺鼻,就需要遍歷每一個特征向量的參數(shù)theta的計算過程综液,偽代碼如下:

5.3 多元梯度下降法演練I——特征縮放(Gradient descent in practice I: Feature Scaling)

本節(jié)課及下節(jié)課都講解的是梯度下降運算中的實用技巧。本節(jié)課主要講解的是一個稱為特征縮放的方法儒飒。

如果有一個問題包含多個特征谬莹,并且能確保這幾個特征的取值范圍相近,這樣梯度下降法就能更快地收斂。

通常附帽,特征縮放的目的是將特征的取值范圍約束在-1~+1之間埠戳,其中-1和+1這兩個數(shù)字并非精確的概念,可以取二者相近的數(shù)字蕉扮,但不能出現(xiàn)太大的偏差整胃。Andrew認為,一般情況下喳钟,-3~+3或-1/3~+1/3范圍都是可以接受的屁使。

一般在做特征縮放時,不必強求所有特征的范圍一定都在某個范圍內奔则,只要保證他們的取值范圍足夠接近即可蛮寂。

特征縮放的一般做法是將特征除以最大值。

另一種進行特征縮放的方法稱為:均值歸一化(Mean normalization)易茬,即用xi-ui來代替xi的值酬蹋,其中,xi-ui可以使得特征值的平均值接近0抽莱。

對于特征xi范抓,最通用的特征縮放公式為:xi-ui/si,其中岸蜗,ui是訓練集中的特征xi的平均值尉咕,si是該特征值的范圍叠蝇,即最大值減去最小值或者變量的標準差璃岳。

特征縮放的目的是讓梯度下降法盡可能快的收斂。

5.4 多元梯度下降法II——學習率(Gradient descent in practice II: Learning rate)

5.5 特征和多項式回歸

5.6 正規(guī)方程(區(qū)別于迭代方法的直接解法)

5.7 正規(guī)方程在矩陣不可逆情況下的解決方法

5.8 完成并提交編程作業(yè)

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末悔捶,一起剝皮案震驚了整個濱河市铃慷,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蜕该,老刑警劉巖犁柜,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異堂淡,居然都是意外死亡馋缅,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進店門绢淀,熙熙樓的掌柜王于貴愁眉苦臉地迎上來萤悴,“玉大人,你說我怎么就攤上這事皆的「猜模” “怎么了?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長硝全。 經常有香客問我栖雾,道長,這世上最難降的妖魔是什么伟众? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任析藕,我火速辦了婚禮,結果婚禮上赂鲤,老公的妹妹穿的比我還像新娘噪径。我一直安慰自己,他們只是感情好数初,可當我...
    茶點故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布找爱。 她就那樣靜靜地躺著,像睡著了一般泡孩。 火紅的嫁衣襯著肌膚如雪车摄。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天仑鸥,我揣著相機與錄音吮播,去河邊找鬼。 笑死眼俊,一個胖子當著我的面吹牛意狠,可吹牛的內容都是我干的。 我是一名探鬼主播疮胖,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼环戈,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了澎灸?” 一聲冷哼從身側響起院塞,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎性昭,沒想到半個月后拦止,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡糜颠,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年汹族,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片其兴。...
    茶點故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡顶瞒,死狀恐怖,靈堂內的尸體忽然破棺而出忌警,到底是詐尸還是另有隱情搁拙,我是刑警寧澤秒梳,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布,位于F島的核電站箕速,受9級特大地震影響酪碘,放射性物質發(fā)生泄漏。R本人自食惡果不足惜盐茎,卻給世界環(huán)境...
    茶點故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一兴垦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧字柠,春花似錦探越、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至常柄,卻和暖如春鲤氢,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背西潘。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工卷玉, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人喷市。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓相种,卻偏偏與公主長得像,于是被迫代替她去往敵國和親品姓。 傳聞我的和親對象是個殘疾皇子寝并,可洞房花燭夜當晚...
    茶點故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內容