文章結(jié)論:神經(jīng)網(wǎng)絡(luò)極易記憶訓(xùn)練數(shù)據(jù)歧譬,其良好的泛化能力很可能與此記憶有關(guān)。 ? 正則化不是模型泛化的根本原因爱只。
泛化能力是指模型在訓(xùn)練集上的誤差能否夠接近所有可能測(cè)試數(shù)據(jù)誤差的均值。泛化誤差:測(cè)試數(shù)據(jù)集誤差和訓(xùn)練數(shù)據(jù)集誤差之差。
論文的contribution:problematize the traditional view of generalization by showing that it is incapable of distinguishing between different neural networks that have radically different generalization performance.
1. randomization tests:使用random label
2. 顯式正則化的作用
3. 隱式正則化的作用