過擬合（overfitting）
在之前的學(xué)習(xí)中债蓝，我們已經(jīng)了解了線性回歸和邏輯回歸的相關(guān)問題耗美，并且學(xué)習(xí)了兩種算法的假設(shè)函數(shù)和梯度下降的基本算法。但是盟劫，在算法的實(shí)際應(yīng)用中夜牡，并不是特征值越多，假設(shè)函數(shù)與訓(xùn)練數(shù)據(jù)集擬合的越完美越好侣签，或者說其代價(jià)函數(shù)為0（）塘装，出現(xiàn)這種情況會(huì)使得假設(shè)函數(shù)預(yù)測(cè)新的數(shù)據(jù)變得困難，稱之為過擬合（Overfitting）影所，過擬合如下圖所示：
為了解決過擬合問題蹦肴，有以下解決方案:
- 減少特征
- 手動(dòng)選擇需要保留的特征
- 采取模型選擇算法
- 正則化
- 保留所有參數(shù)，但是減少每一個(gè)參數(shù)
的值
- 當(dāng)我們有很多特征而假設(shè)函數(shù)依然能夠很好的工作猴娩，確保每一個(gè)特征對(duì)預(yù)測(cè)
值都有所貢獻(xiàn)阴幌。
線性回歸的正則化
正則化的思想就是減少高次項(xiàng)的值，使得曲線平滑胀溺，因此裂七，在線性回歸算法中的代價(jià)函數(shù)可以如下表示：
以上公式中，表示正則化參數(shù)仓坞，在算法實(shí)際運(yùn)行過程中背零，要選擇合適的
值，不能使其過大无埃，否則可能會(huì)導(dǎo)致過擬合不能被消除徙瓶，或者梯度下降算法不收斂毛雇。
- 梯度下降算法中的正則化
梯度下降算法中應(yīng)用正則化方法如下所示
- 正規(guī)方程法的正則化
之前的學(xué)習(xí)中，已經(jīng)學(xué)習(xí)了采用正規(guī)方程法求解參數(shù)的方法如下所示：
正規(guī)方程法的正則化算法公式如下：
其中 表示
x
的對(duì)角矩陣侦镇，其主對(duì)角線第一個(gè)元素為0灵疮，其余全為1.
邏輯回歸算法的正則化
與線性回歸算法類似，邏輯回歸算法的正則化也是通過減少高次項(xiàng)的值壳繁，使得決策邊界變得平滑震捣，以避免出現(xiàn)過擬合問題，其代價(jià)函數(shù)正則化用如下公式表示：
梯度下降算法中的正則化表示如下所示：
需要注意的是：與線性回歸不同的是闹炉，此時(shí)
