機(jī)器學(xué)習(xí)基礎(chǔ)·拉格朗日乘數(shù)法

摘要

方法的目標(biāo)問題，原始問題且改，對偶問題的描述及形式，相關(guān)理論及KKT條件板驳。

正文

目標(biāo)
解決條件極值問題又跛，條件含不等式約束及等式約束，拉格朗日乘數(shù)法將約束問題轉(zhuǎn)換為無約束問題笋庄。
問題描述
假設(shè) $f(x),c_i(x),h_j(x)$ 是定義在 $R^n$ 上的連續(xù)可微函數(shù)效扫。
$\begin{align} \min_{x\in R^n}\ \ &f(x)\\ s.t.\ \ &c_i(x)\leq0,i=1,2,...,k\\ &h_j(x)=0,j=1,2,...,l \end{align}$
構(gòu)造拉格朗日函數(shù)
$L(x,\alpha ,\beta )=f(x)+\sum_{i=1}^k\alpha_ic_i(x)+\sum_{j=1}^l\beta_jh_j(x),\alpha_i \geq0$
原始問題的等價表示
$\min_x\theta_p(x)=\min_x\max_{\alpha ,\beta :\alpha_i\geq 0 } L(x,\alpha,\beta)$
對偶問題
$\max_x\theta_D(\alpha,\beta)=\max_{\alpha,\beta :\alpha_i\geq 0}\min_x L(x,\alpha,\beta )$
原始問題和對偶問題的關(guān)系
(1) $d^*=\max_{\alpha,\beta :\alpha_i\geq 0}\min_x L(x,\alpha,\beta )\leq \min_x\max_{\alpha ,\beta :\alpha_i\geq 0 } L(x,\alpha,\beta)=p^*$
(2) $d^*=p^*$ 的條件
a. $f(x),c_i(x)$ 是凸函數(shù)， $h_j(x)$ 是仿射函數(shù)直砂；
b. 不等式約束 $c_i(x)$ 是嚴(yán)格可行的菌仁。
KKT條件

$\begin {align} &\nabla _x L(x^*,\alpha ^*,\beta ^*)=0\\ &\alpha_i^*c_i(x^*)=0,i=1,2,...,k\\ &c_i(x^*) \leq 0,i=1,2,...,k\\ &\alpha _i^* \geq 0,i=1,2,...,k\\ &h_j(x^*)=9,j=1,2,...,l \end {align}$

備注:注意在使用拉格朗日乘數(shù)法時，約束條件的右端為 $=0$ 静暂，不等式約束是 $\le 0$ 济丘。

參考資料

[1] 李航.統(tǒng)計學(xué)習(xí)方法(第二版).清華大學(xué)出版社,2019.

最后編輯于：2020.02.07 21:55:33

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市洽蛀，隨后出現(xiàn)的幾起案子摹迷，更是在濱河造成了極大的恐慌，老刑警劉巖郊供，帶你破解...
沈念sama閱讀 221,548評論 6贊 515
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件峡碉，死亡現(xiàn)場離奇詭異，居然都是意外死亡驮审，警方通過查閱死者的電腦和手機(jī)鲫寄，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,497評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來疯淫，“玉大人地来，你說我怎么就攤上這事∥醪簦” “怎么了未斑？”我有些...
開封第一講書人閱讀 167,990評論 0贊 360
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長币绩。經(jīng)常有香客問我蜡秽，道長府阀，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 59,618評論 1贊 296
?港島之戀（遺憾婚禮）
正文為了忘掉前任载城，我火速辦了婚禮肌似，結(jié)果婚禮上费就，老公的妹妹穿的比我還像新娘诉瓦。我一直安慰自己，他們只是感情好力细，可當(dāng)我...
茶點故事閱讀 68,618評論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布睬澡。她就那樣靜靜地躺著，像睡著了一般眠蚂。火紅的嫁衣襯著肌膚如雪煞聪。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 52,246評論 1贊 308
城市分裂傳說
那天逝慧，我揣著相機(jī)與錄音昔脯，去河邊找鬼。笑死笛臣，一個胖子當(dāng)著我的面吹牛云稚，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播沈堡，決...
沈念sama閱讀 40,819評論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼静陈，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了诞丽？” 一聲冷哼從身側(cè)響起鲸拥，我...
開封第一講書人閱讀 39,725評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎僧免，沒想到半個月后刑赶，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,268評論 1贊 320
?護(hù)林員之死
正文獨居荒郊野嶺守林人離奇死亡懂衩，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 38,356評論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年撞叨，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片勃痴。...
茶點故事閱讀 40,488評論 1贊 352
活死人
序言：一個原本活蹦亂跳的男人離奇死亡谒所，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出沛申，到底是詐尸還是另有隱情劣领，我是刑警寧澤，帶...
沈念sama閱讀 36,181評論 5贊 350
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布铁材，位于F島的核電站尖淘，受9級特大地震影響奕锌，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜村生，卻給世界環(huán)境...
茶點故事閱讀 41,862評論 3贊 333
男人毒藥：我在死后第九天來索命
文/蒙蒙一惊暴、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧趁桃，春花似錦辽话、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,331評論 0贊 24
一樁弒父案油啤，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至蟀苛，卻和暖如春益咬，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背帜平。一陣腳步聲響...
開封第一講書人閱讀 33,445評論 1贊 272
情欲美人皮
我被黑心中介騙來泰國打工幽告，沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人裆甩。一個月前我還...
沈念sama閱讀 48,897評論 3贊 376
代替公主和親
正文我出身青樓冗锁，卻偏偏與公主長得像，于是被迫代替她去往敵國和親淑掌。傳聞我的和親對象是個殘疾皇子蒿讥，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 45,500評論 2贊 359

機(jī)器學(xué)習(xí)基礎(chǔ)·拉格朗日乘數(shù)法

摘要

正文

參考資料

推薦閱讀更多精彩內(nèi)容