-
overfitting(過擬合)
線性回歸中的過擬合
邏輯回歸中的過擬合
Q:如何解決過擬合插佛?
1.減少特征(人工或者用算法)2.正則化(可以保留所有特征)
-
正則化
overview:
加入懲罰項(其實就是使某些θ趨于0)解決過擬合問題(使h函數(shù)圖形更加平滑)
Q:實際運用中,不清楚需要對哪些
進(jìn)行正則化旧巾,怎么辦?
對所有θ正則化(除θ_0(Ng說這個是習(xí)慣))
Ng給出的示例中正則化參數(shù)
坏匪,但是
取值
過大
會導(dǎo)致欠擬合
(偏見性很強(qiáng))
λ取值過大會導(dǎo)致θ1~θn均趨于0圃验,而使假設(shè)函數(shù)h變成一條直線
-
線性回歸的正規(guī)化
P.S.需要對做特殊處理(由于沒有對θ_0做正規(guī)化)
- 正規(guī)方程的正則化
P.S.當(dāng)>0時可以解決
不可逆的問題