假設(shè)我們的模型是：
image.png
我們可以從之前的事例中看出涡相，正是那些高次項導(dǎo)致了過擬合的產(chǎn)生，所以如果我們能讓這些高次項的系數(shù)接近于0的話辈末，我們就能很好的擬合了目胡。 所以我們要做的就是在一定程度上減小這些參數(shù) θ 的值，這就是正則化的基本方法栽连。我們決定要減少θ3和θ4的大小，我們要做的便是修改代價函數(shù)侨舆，在其中θ3和θ4 設(shè)置一點懲罰秒紧。這樣做的話，我們在嘗試最小化代價時也需要將這個懲罰納入考慮中挨下，并最終導(dǎo)致選擇較小一些的和熔恢。 修改后的代價函數(shù)如下：
image.png
但是，假如我們有非常多的特征臭笆，我們并不知道其中哪些特征我們要懲罰叙淌，我們將對所有的特征進行懲罰，并且讓代價函數(shù)最優(yōu)化的軟件來選擇這些懲罰的程度耗啦。這樣的結(jié)果是得到了一個較為簡單的能防止過擬合問題的假設(shè)：
image.png
其中 λ 又稱為正則化參數(shù)（Regularization Parameter）
注：根據(jù)慣例凿菩，我們不對 θ0 進行懲罰机杜。經(jīng)過正則化處理的模型與原模型的可能對比如下圖所示：
image.png
如果選擇的正則化參數(shù) λ 過大帜讲，則會把所有的參數(shù)都最小化了，導(dǎo)致模型變成
那為什么增加的一項
因為如果我們令 λ 的值很大的話蚀苛，為了使Cost Function 盡可能的小在验，所有的 θ 的值（不包括
對于線性回歸的求解，我們之前推導(dǎo)了兩種學(xué)習(xí)算法：一種基于梯度下降授艰，一種基于正規(guī)方程辨嗽。
正則化線性回歸的代價函數(shù)為：
image.png
?
?
?
對上面的算法中 時的更新式子進行調(diào)整可得：
可以看出，正則化線性回歸的梯度下降算法的變化在于淮腾，每次都在原有算法更新規(guī)則的基礎(chǔ)上令值減少了一個額外的值糟需。
我們同樣也可以利用正規(guī)方程來求解正則化線性回歸模型，方法如下所示：
image.png
圖中的矩陣尺寸為
