過擬合，欠擬合與模型的容量息息相關(guān)。模擬的容量指其擬合數(shù)據(jù)的能力讥巡，容量低的模型難以擬合訓(xùn)練，出現(xiàn)欠擬合扎酷，容量高的模型則過擬合。
數(shù)據(jù)和模型容量不匹配遏匆，是過擬合出現(xiàn)的原因法挨。那么為了解決過擬合谁榜，一是從數(shù)據(jù)角度：增加數(shù)據(jù)來源，或使用data augmentation的一些方法擴(kuò)充數(shù)據(jù)凡纳。
從增加模型容量角度可以做的改變就更多了窃植。一種是選擇假設(shè)空間（hypothesis space）即改變學(xué)習(xí)算法的函數(shù)集，如一階轉(zhuǎn)高階荐糜，改變模型的選擇巷怜；或者使用正則化項(xiàng)控制算法的性能，降低泛化誤差暴氏。在深度學(xué)習(xí)中延塑，對(duì)于深度神經(jīng)網(wǎng)絡(luò)，還可以使用減少網(wǎng)絡(luò)層數(shù)答渔，神經(jīng)元個(gè)數(shù)关带，縮短訓(xùn)練時(shí)間，增加（數(shù)據(jù)沼撕，權(quán)值宋雏，輸出）的噪聲, 使用dropout隨機(jī)拋棄掉一些神經(jīng)元。
另一種思路是通過設(shè)置驗(yàn)證集或交叉驗(yàn)證或者使用多模型集成學(xué)習(xí)（bagging, boosting）务豺，來控制學(xué)習(xí)算法的超參數(shù)磨总，所謂超參數(shù)，如模型的階數(shù)笼沥，權(quán)重衰減率等蚪燕，如果在訓(xùn)練集上訓(xùn)練超參數(shù)，這些超參數(shù)總是趨向最大可能的擬合模型乘凸，所以將數(shù)據(jù)分成兩個(gè)不相交子集，一個(gè)用于訓(xùn)練营勤，一個(gè)用于驗(yàn)證。
