在《常用損失函數(shù)》那一節(jié)我們已經(jīng)給出了深度學(xué)習(xí)的整體模型底洗，即
模型
先假設(shè)模型炊苫，然后通過(guò)訓(xùn)練得到模型的參數(shù)子眶，整個(gè)深度學(xué)習(xí)的過(guò)程就完成了。
參數(shù)一般都是給一個(gè)初值，然后通過(guò)訓(xùn)練優(yōu)化參數(shù)。有過(guò)一定數(shù)學(xué)建模經(jīng)驗(yàn)的同學(xué)可能會(huì)聯(lián)想到現(xiàn)代優(yōu)化方法灭抑，神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化也有一套優(yōu)化理論。
常見(jiàn)的有：
# 梯度下降算法
tf.train.GradientDescentOptimizer()
# RMSProp 自適應(yīng)學(xué)習(xí)率的優(yōu)化算法
tf.train.RMSPropOptimizer()
# Momentum 算法
tf.train.MomentumOptimizer()
# Adagrad 對(duì)不同參數(shù)選取不同的學(xué)習(xí)率
tf.train.AdagradOptimizer()
# Adam 自適應(yīng)矩估計(jì) 該算法得到的參數(shù)值較為穩(wěn)定
tf.train.AdamOptimizer()
