- 梯度下降優(yōu)化是否成功 （loss是否隨著epoch下降）
學習率調整
batchsize（是否接近真正的統(tǒng)計規(guī)律）
超參數(shù)
網(wǎng)絡結構
- 過擬合 (觀察 loss 變化曲線)
添加正則項 L2， L1 terms
添加margin等懲罰項
how to generate inter- and intra-class samples?
- 欠擬合 (loss 損失下不去诚撵， accuracy 準確率不高)
模型是否符合物理規(guī)律
增添更加復雜筹煮、學習能力更強的模塊
去除對應的正則項
- 超參數(shù)調節(jié)
根據(jù)物理意義調節(jié)超參數(shù)
調整各個正則項的權重
- loss函數(shù)
loss函數(shù)指導網(wǎng)絡收斂颓芭，但是如果網(wǎng)絡結構不對失球，loss是無法下降，無法收斂的
正常訓練loss變化.png
過擬合
正常
過擬合
淺層的特征提取影響不是很大吻商，主要是后面幾層分類器范嘱，如果分類器太強大就容易過擬合，即使淺層特征不是很完美普碎，后面的分類器也能記住訓練數(shù)據(jù)吼肥、發(fā)生過擬合。
