假設(shè))
是
上具有一階連續(xù)偏導(dǎo)數(shù)的函數(shù)导饲，要求解的無(wú)約束最優(yōu)化問(wèn)題是
%5Ctag1)
表示目標(biāo)函數(shù)的極小點(diǎn)斩松。由于負(fù)梯度方向是使函數(shù)數(shù)值下降最快的方向，所以梯度下降法在迭代的每一步，以負(fù)梯度方向更新
的值爪幻，從而達(dá)到減少函數(shù)值的目的。
當(dāng)目標(biāo)函數(shù)是凸函數(shù)時(shí)，梯度下降法的解是全局最優(yōu)解淳附。一般情況下，其解不保證是全局最優(yōu)解蠢古。梯度下降法的收斂速度也未必是很快的奴曙。
算法
輸入：目標(biāo)函數(shù)，梯度函數(shù)%3D%5Cnabla%20f(x))
草讶，計(jì)算精度
洽糟；
輸出：的極小點(diǎn)。
- 取初始值
%7D%5Cin%5Ctextbf%20R%5En)
，置
- 計(jì)算
%7D))
- 計(jì)算梯度
%7D))
坤溃，當(dāng)
時(shí)拍霜，停止迭代，令%7D)
薪介；否則祠饺，令%7D))
，通過(guò)一維搜索
汁政，使
%7D%2B%5Clambda_kp_k)%3D%5Cmin_%7B%5Clambda%5Cgeq0%7Df(x%5E%7B(k)%7D%2B%5Clambda%20p_k))
-
置%7D%3Dx%5E%7B(k)%7D%2B%5Clambda_kp_k)
道偷，計(jì)算%7D))
當(dāng)%7D-f(x%5E%7B(k)%7D)%7C%7C%5Clt%5Cvarepsilon)
或%7D-x%5E%7B(k)%7D%7C%7C%5Clt%5Cvarepsilon)
時(shí)，停止迭代记劈，令%7D)
否則试疙，置
，轉(zhuǎn))
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
