問題定義
給定數(shù)據(jù)集%2C(%5Cboldsymbol%7Bx%7D_2%2C%20y_2)%2C%5Ccdots%2C(%5Cboldsymbol%7Bx%7D_m%2C%20y_m)%20%5C%7D)
，)
是一個向量蛤售，
是一個標量丁鹉。數(shù)據(jù)集中的每個數(shù)據(jù)對)
可以看做空間中的一個點妒潭，那么線性回歸問題就是試圖學得一個超平面悴能，使得數(shù)據(jù)集中的點盡量落在或者靠近這個超平面。%20%3D%20%5Cboldsymbol%7Bwx%7D_i%2Bb%2C%20%5Cquad%20s.t.%20%5Cquad%20f(%5Cboldsymbol%7Bx%7D_i)%5Csimeq%20y_i)
衡量)
與
之前的差別雳灾，可以采用均方誤差這種性能度量漠酿。數(shù)據(jù)集D中的每個樣本的誤差為%20-%20y_i%20)%5E2)
，均方誤差就是所有樣本的誤差的加和平均谎亩，即%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum_%7Bi%3D1%7D%5Em%5Climits(f(%5Cboldsymbol%7Bx%7D_i)%20-%20y_i%20)%5E2)
問題求解
在該問題中炒嘲，我們要求解的變量是
和
，使得和取得最優(yōu)值的時候匈庭，誤差)
取得最小值夫凸。即如下優(yōu)化問題：
%3D%5Cmathop%7B%5Carg%5Cmin%7D_%7B(%5Cboldsymbol%7Bw%7D%2Cb)%7D%5Csum_%7Bi%3D1%7D%5Em(f(x_i)%20-%20y_i)%5E2%20%5C%5C%20%3D%5Cmathop%7B%5Carg%5Cmin%7D_%7B(%5Cboldsymbol%7Bw%7D%2Cb)%7D%5Csum_%7Bi%3D1%7D%5Em(y_i%20-%20wx_i-b)%5E2%20%5Cend%7Baligned%7D)
求最大最小值的問題，可以對
和求關(guān)于損失函數(shù)
的偏導數(shù)阱持，然后令導數(shù)為0夭拌，得到一組等式，聯(lián)立求解方程即可衷咽。
%7D%7D%7B%5Cpartial%20w%7D%26%3D2%5Cbiggl(w%5Csum_%7Bi%3D1%7D%5Emx_i%5E2%20-%20%5Csum_%7Bi%3D1%7D%5Em(y_i-b)x_i%5Cbiggr)%3D0%2C%20%5C%5C%20%5Cfrac%7B%5Cpartial%20E_%7B(w%2Cb)%7D%7D%7B%5Cpartial%20w%7D%26%3D2%5Cbiggl(mb%20-%20%5Csum_%7Bi%3D1%7D%5Em(y_i%20-%20wx_i)%5Cbiggr)%3D0%2C%20%5Cend%7Balign%7D)
