〇短蜕、說明
凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著,王書寧等譯)[1]這本書傻咖。學(xué)習(xí)過程中朋魔,對其內(nèi)容的理解時(shí)有困惑,也參考一些其他書籍資料卿操。筆者盡量將這部分知識整理地簡潔明了警检,成此系列筆記孙援。
如有錯(cuò)誤疏漏,煩請指出扇雕。如要轉(zhuǎn)載拓售,請聯(lián)系筆者,hpfhepf@gmail.com镶奉。
一、意義
回溯直線搜索是求解無約束凸優(yōu)化問題中哨苛,調(diào)整搜索步長非常簡單有效的方法值骇,也是實(shí)際應(yīng)用中常用的方法。[2]
考慮固定步長搜索移国,為防止迭代震蕩吱瘩,一般步長值很小,很多經(jīng)驗(yàn)值取0.01迹缀,這就導(dǎo)致收斂速度過慢使碾。
考慮精確直線搜索,其本身又是一個(gè)優(yōu)化問題祝懂,如果這個(gè)優(yōu)化問題很復(fù)雜票摇,則這個(gè)搜索方法就是沒有意義的。
相比以上兩種調(diào)整搜索步長的方法砚蓬,回溯直線搜索則簡單高效很多矢门。
二、回溯直線搜索
2.1灰蛙、算法
2.2祟剔、算法解釋
2.3、參數(shù)解釋
附錄
A摩梧、參考
[1]物延、《凸優(yōu)化》,Stephen Boyd等著仅父,王書寧等譯
[2]叛薯、《最優(yōu)化問題中,牛頓法為什么比梯度下降法求解需要的迭代次數(shù)更少笙纤?》
[3]耗溜、《回溯線搜索 Backtracking line search》
B、相關(guān)目錄
凸優(yōu)化(五)——回溯直線搜索
C省容、時(shí)間線
2016-08-08 第一次發(fā)布
2016-08-17 修改了一個(gè)錯(cuò)誤公式抖拴,添加理解提醒