一估脆、概述：
優(yōu)化問題基本可以看成2個階段的抉擇，1.選取一個方向P获三；2.選取一個步長a旁蔼。其中選取P比較重要，各種各樣不同的算法疙教，基本上就是根據(jù)選取P的策略不同而不同的棺聊。
二、常見的優(yōu)化算法：
1贞谓、梯度下降算法（BGD限佩、SGD、MBGD）
2裸弦、Momentum
3祟同、NAG（Nesterov Accelerated Gradient）
4、AdaGrad
5理疙、Adadelta
6晕城、RMSprop
7、Adam (聽說你了解深度學習最常用的學習算法：Adam優(yōu)化算法窖贤？)
8砖顷、Adamax
9、Nadam
10赃梧、AMSGrad
參考資料：
[1] 機器學習初探-常用優(yōu)化算法介紹
[2] 深度學習優(yōu)化算法 (Optimization Methods for Deeplearning)
[3] An overview of gradient descent optimization algorithms
