一丰榴、過擬合含義:
所謂過擬合(Overfitting):指一個假設在訓練數據上能夠獲得比其他假設更好的擬合(訓練誤差小)但是在訓練數據外的數據集上卻不能很好的擬合數據(測試誤差大)秆撮。此時模型的泛化能力較差,不利于推廣换况。
二职辨、過擬合產生的原因:
訓練數據中存在噪音或者訓練數據太少。
三戈二、預防或克服過擬合措施:
1舒裤、?增大樣本全面性和數量。
2觉吭、 控制模型的復雜度腾供。集合Bagging和Boosting。
3鲜滩、?正則化伴鳖,使用L2范數(L2范數是指向量各元素的平方和然后求平方根。我們讓L2范數的規(guī)則項||W||2最小徙硅,可以使得W的每個元素都很小榜聂,都接近于0,但與L1范數不同嗓蘑,它不會讓它等于0须肆,而是接近于0)
4、?交叉驗證桩皿,此方法在可獲得額外的數據提供驗證集合時工作得很好,但是小訓練集合的過度擬合問題更為嚴重豌汇。
四、欠擬合含義:
即回歸問題線性擬合較差泄隔,分類問題則分類較差拒贱。