image.png
優(yōu)化的問題：梯度消失杈笔、局部最優(yōu)
梯度消失闪水、梯度爆炸
image.png
局部最優(yōu)：
image.png
image.png
梯度下降
image.png
image.png
image.png
梯度下降的優(yōu)化影響
image.png
image.png
image.png
大小選擇
image.png
指數(shù)加權(quán)平均（梯度下降算法本身的優(yōu)化）
image.png
image.png
image.png
image.png
image.png
image.png
權(quán)重越大，曲線越平滑蒙具，權(quán)重越小球榆，曲線越曲折
image.png
動量梯度下降法
image.png
這樣的梯度下降有什么變化：
image.png
image.png
RMSProp算法
image.png
image.png
Adam算法
image.png
image.png
image.png
image.png
image.png
tensorflow Adam算法API
image.png
學習率衰減
image.png
標準化輸入
image.png
image.png
image.png
image.png
image.png
代碼練習
動量梯度下降
image.png
公式中的s在代碼中定義成了v
image.png
更新Adam算法網(wǎng)絡的參數(shù)
image.png
image.png
image.png
image.png
image.png
