神經(jīng)網(wǎng)絡(luò)訓(xùn)練的技巧 優(yōu)化失敗的原因: 局部最小值或鞍點崇众,可以通過對H矩陣特征值正負(fù)性進(jìn)行判斷 batch:加快梯度的計算,更新參數(shù)的速度比較快 momentum: 越過局部最小值或鞍點 learning rate: 自動調(diào)整學(xué)習(xí)率如RMSProp等 normalization dropout