凸優(yōu)化(五)——回溯直線搜索

〇短蜕、說明

凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著,王書寧等譯)[1]這本書傻咖。學(xué)習(xí)過程中朋魔,對其內(nèi)容的理解時(shí)有困惑,也參考一些其他書籍資料卿操。筆者盡量將這部分知識整理地簡潔明了警检,成此系列筆記孙援。

如有錯(cuò)誤疏漏,煩請指出扇雕。如要轉(zhuǎn)載拓售,請聯(lián)系筆者,hpfhepf@gmail.com镶奉。

一、意義

回溯直線搜索是求解無約束凸優(yōu)化問題中哨苛,調(diào)整搜索步長非常簡單有效的方法值骇,也是實(shí)際應(yīng)用中常用的方法。[2]

考慮固定步長搜索移国,為防止迭代震蕩吱瘩,一般步長值很小,很多經(jīng)驗(yàn)值取0.01迹缀,這就導(dǎo)致收斂速度過慢使碾。

考慮精確直線搜索,其本身又是一個(gè)優(yōu)化問題祝懂,如果這個(gè)優(yōu)化問題很復(fù)雜票摇,則這個(gè)搜索方法就是沒有意義的。

相比以上兩種調(diào)整搜索步長的方法砚蓬,回溯直線搜索則簡單高效很多矢门。

二、回溯直線搜索

2.1灰蛙、算法

2.2祟剔、算法解釋

2.3、參數(shù)解釋

附錄

A摩梧、參考

[1]物延、《凸優(yōu)化》,Stephen Boyd等著仅父,王書寧等譯

[2]叛薯、《最優(yōu)化問題中,牛頓法為什么比梯度下降法求解需要的迭代次數(shù)更少笙纤?》

[3]耗溜、《回溯線搜索 Backtracking line search》

B、相關(guān)目錄

凸優(yōu)化(一)——概述

凸優(yōu)化(二)——凸集

凸優(yōu)化(三)——凸函數(shù)

凸優(yōu)化(四)——問題求解

凸優(yōu)化(五)——回溯直線搜索

凸優(yōu)化(六)——最速下降法

凸優(yōu)化(七)——牛頓法

凸優(yōu)化(八)——Lagrange對偶問題

C省容、時(shí)間線

2016-08-08 第一次發(fā)布

2016-08-17 修改了一個(gè)錯(cuò)誤公式抖拴,添加理解提醒

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市蓉冈,隨后出現(xiàn)的幾起案子城舞,更是在濱河造成了極大的恐慌轩触,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件家夺,死亡現(xiàn)場離奇詭異脱柱,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)拉馋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門榨为,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人煌茴,你說我怎么就攤上這事随闺。” “怎么了蔓腐?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵矩乐,是天一觀的道長。 經(jīng)常有香客問我回论,道長散罕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任傀蓉,我火速辦了婚禮欧漱,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘葬燎。我一直安慰自己误甚,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布谱净。 她就那樣靜靜地躺著窑邦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪岳遥。 梳的紋絲不亂的頭發(fā)上奕翔,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天裕寨,我揣著相機(jī)與錄音浩蓉,去河邊找鬼。 笑死宾袜,一個(gè)胖子當(dāng)著我的面吹牛捻艳,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播庆猫,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼认轨,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了月培?” 一聲冷哼從身側(cè)響起嘁字,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤恩急,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后纪蜒,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體衷恭,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年纯续,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了随珠。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,144評論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡猬错,死狀恐怖窗看,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情倦炒,我是刑警寧澤显沈,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站逢唤,受9級特大地震影響构罗,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜智玻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一遂唧、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧吊奢,春花似錦盖彭、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至裹驰,卻和暖如春隧熙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背幻林。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工贞盯, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人沪饺。 一個(gè)月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓躏敢,卻偏偏與公主長得像,于是被迫代替她去往敵國和親整葡。 傳聞我的和親對象是個(gè)殘疾皇子件余,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 〇、說明 凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著,王書寧等譯)[1]這本書啼器。學(xué)習(xí)過程中旬渠,對其內(nèi)容的...
    Herbert002閱讀 21,636評論 0 11
  • 〇、說明 最近在學(xué)習(xí)機(jī)器學(xué)習(xí)方面的算法知識端壳,這里盡量以通俗易懂的方式將其整理一下坟漱,一方面以備自己查閱,另一方面如果...
    Herbert002閱讀 26,406評論 4 53
  • 〇更哄、說明 凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著芋齿,王書寧等譯)[1]這本書。學(xué)習(xí)過程中成翩,對其內(nèi)容的...
    Herbert002閱讀 34,528評論 5 26
  • 〇觅捆、說明 凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著,王書寧等譯)[1]這本書麻敌。學(xué)習(xí)過程中栅炒,對其內(nèi)容的...
    Herbert002閱讀 20,069評論 0 8
  • 〇、說明 凸優(yōu)化主要學(xué)習(xí)《凸優(yōu)化》(Stephen Boyd等著术羔,王書寧等譯)[1]這本書赢赊。學(xué)習(xí)過程中,對其內(nèi)容的...
    Herbert002閱讀 10,157評論 0 7