摘要
過(guò)擬合的問(wèn)題在機(jī)器學(xué)習(xí)算法中很常見(jiàn)践图，在深度學(xué)習(xí)中更常見(jiàn)的是模型train不起來(lái)，而不是過(guò)擬合菇曲，過(guò)擬合的處理方法可以是：降低模型復(fù)雜度冠绢，正則，dropout常潮，earlystop弟胀，數(shù)據(jù)增強(qiáng)，交叉驗(yàn)證等喊式。
1孵户、正則
正則是防止過(guò)擬合的方法，分為L(zhǎng)1正則和L2正則
L1正則
L2正則
從結(jié)構(gòu)化風(fēng)險(xiǎn)最小化的角度來(lái)看岔留，L1和L2正則都是使得誤差最小化夏哭，同時(shí)模型越簡(jiǎn)單越好。
下圖中等高線為不帶正則的原函數(shù)L献联，我們之前目標(biāo)是找到最內(nèi)側(cè)的點(diǎn)竖配，這時(shí)誤差最小，但是加入了正則后里逆，變成了損失函數(shù)原函數(shù)與正則項(xiàng)的和进胯，此時(shí)再取最內(nèi)側(cè)的圓心處的點(diǎn)時(shí)誤差和可能會(huì)很大，因此最有可能的方案是取折中的位置原押，同時(shí)可以看出在登高線一圈的位置胁镐，只有與正則項(xiàng)相切時(shí)，才能保證二者的和最小诸衔，所以損失函數(shù)的解盯漂，一定是菱形或者圓形與某條等高線的切點(diǎn)位置。
同時(shí)L1正則更容易相交于坐標(biāo)軸笨农，當(dāng)特征多維時(shí)一些特征將會(huì)使0宠能，所以會(huì)有稀疏的特性，即特征選擇磁餐；而L2正則會(huì)使得切點(diǎn)接近坐標(biāo)軸违崇，但不至于為0，因此得到的都是較小的平滑的值诊霹，具體為什么會(huì)相交于坐標(biāo)軸參見(jiàn)知乎羞延。
L1和L2的使用場(chǎng)景：如果單純的是想讓參數(shù)w變小的場(chǎng)景，建議優(yōu)先使用L2 Norm脾还，在已知參數(shù)存在很多0值的時(shí)候伴箩，即存在的解釋稀疏的，建議使用L1 Norm鄙漏，具有變量選擇的功能嗤谚；也可以L1和L2結(jié)合起來(lái)使用棺蛛，如果是線性回歸模型，同時(shí)加入了L1和L2正則巩步，模型就變成了Elastic Net旁赊；
不加正則時(shí)得到的參數(shù)
，加入正則得到的參數(shù)
椅野，則
终畅，因?yàn)榧尤胝齽t后意味著參數(shù)空間變小，能得到最優(yōu)解的概率降低竟闪，擬合程度變差离福，多以Loss比沒(méi)加正則時(shí)大。
