下面三幅圖顯示了對同一組數(shù)據(jù)取不同的特征值進行擬合的結果。
擬合程度
- 左邊的是欠擬合。數(shù)據(jù)并不能十分恰當?shù)穆湓谥本€上贝室。
- 中間的是合理狀態(tài)。數(shù)據(jù)基本落在了求出的直線上仿吞。
- 右邊的是過擬合滑频。 數(shù)據(jù)完美的落在了描繪的曲線上，這樣會導致擬合出來的曲線不能泛化到需要預測的問題中唤冈，從而導致誤差峡迷。
擬合問題是線性回歸和邏輯回歸中都存在的問題。下面是兩種常見的解決方法:
- 減少特征數(shù)量:
- 手動選擇特征的去留务傲。
- 使用模型選擇算法凉当。
- 正則化 Regularization
- 保留所有特征，但是減少某一個參數(shù)θj的重要性售葡。
- 當有許多有用的特征時看杭，正規(guī)化將會非常有用。
1.正規(guī)化代價方程
比如我們有如下的參數(shù)挟伙，進行梯度下降的時候楼雹，發(fā)現(xiàn)了過擬合。
并不采取消除高次項的措施尖阔，而是將代價函數(shù)作如下修改贮缅。
在需要降低重要性的參數(shù)前，加上一個較大值介却。
也可以對所有的參數(shù)都進行正則化谴供。
選取過大的λ會使得曲線過于光滑導致欠擬合，一般都可以先將λ參數(shù)選在1000左右齿坷。
原代價函數(shù)
正則化后的代價函數(shù)
2.正則化的梯度下降
同樣對上述代價函數(shù)進行梯度下降桂肌，公式如下所示。
通常不對x0進行正則化
3.正規(guī)方程 Normal Equaltion
L就是將常數(shù)λ矩陣化永淌，也就是除了x0外的單位矩陣
必須保證訓練集數(shù)m>=參數(shù)數(shù)n崎场，否則XTX不可逆，即XTX + λ?L 不可逆遂蛀。
