過擬合
學(xué)習(xí)器在訓(xùn)練集上面的誤差稱為“訓(xùn)練誤差”或“經(jīng)驗誤差”找爱，新樣本上面的誤差稱為“泛化誤差”绍坝。當學(xué)習(xí)器把訓(xùn)練集訓(xùn)練的“太好”碰辅，把訓(xùn)練樣本自身的一些特點當做所有潛在樣本的性質(zhì)，導(dǎo)致泛化能力下降千所，稱為過擬合狂魔，表現(xiàn)為模型在訓(xùn)練集上面效果好，在測試集上效果差真慢，即訓(xùn)練誤差減小毅臊，而泛化誤差增加。與之相對的是“欠擬合”黑界。
防止過擬合的方法：
1管嬉、增大數(shù)據(jù)集
2、Early Stopping
3朗鸠、正則化蚯撩，常用L1、L2正則化
4烛占、Dropout
增大數(shù)據(jù)集：
a胎挎、從數(shù)據(jù)源頭獲取更多數(shù)據(jù)
b、數(shù)據(jù)增強：通過一定規(guī)則擴充數(shù)據(jù)忆家。如在物體分類問題里犹菇，物體在圖像中的位置、姿態(tài)芽卿、尺度揭芍，整體圖片明暗度等都不會影響分類結(jié)果，通過圖像平移卸例、翻轉(zhuǎn)称杨、縮放、裁剪等將數(shù)據(jù)擴充筷转；
Early Stopping 通過迭代次數(shù)截斷的方法來防止過擬合的方法姑原，當在訓(xùn)練集上誤差較小，在驗證集誤差開始增大時停止訓(xùn)練呜舒。
3锭汛、L1正則化?
L2正則化
L1會帶來稀疏矩陣，L2會使參數(shù)更小
4、Dropout
在訓(xùn)練開始時店乐，隨機得刪除一些隱藏層神經(jīng)元（1/2,1/3,1/4）艰躺，，相當于訓(xùn)練了很多個只有半數(shù)隱層單元的神經(jīng)網(wǎng)絡(luò)眨八，每一個這樣的半數(shù)網(wǎng)絡(luò)腺兴，都可以給出一個分類結(jié)果，這些結(jié)果有的是正確的廉侧，有的是錯誤的页响。隨著訓(xùn)練的進行，大部分半數(shù)網(wǎng)絡(luò)都可以給出正確的分類結(jié)果段誊，那么少數(shù)的錯誤分類結(jié)果就不會對最終結(jié)果造成大的影響闰蚕。
