拉格朗日乘子法的簡(jiǎn)單數(shù)學(xué)推導(dǎo)

拉格朗日乘子法公式

結(jié)論

原問(wèn)題

$min f( \mathbf{x}) \\ st. \mathbf{G(x)} = 0 \tag{1}$

轉(zhuǎn)換問(wèn)題
$min\mathbf{F(x)}\tag{2}$
其中
$\mathbf{F(x)} = f( \mathbf{x})+\lambda\mathbf{G(x)}\tag{3}$

推導(dǎo)過(guò)程

一、隱函數(shù)

將自變量 $\mathbf{x}$ 展開成向量形式
$\mathbf{x}=(x_0, x_1, x_2, ..., x_n)$
則等式 $\mathbf{G(x)} = 0$ 存在隱函數(shù)使得
$x_0=g(x_1,x_2,x_3, ..., x_n) \tag{4}$
令
$\mathbf{x'}=(x_1,x_2,x_3, ..., x_n) \tag{5}$
隱函數(shù)偏導(dǎo)數(shù)
對(duì)于等式（方程） $\mathbf{G(x)} = 0$ 有式 $(4)$ 的隱函數(shù)挂捅，對(duì)其兩邊同時(shí)進(jìn)行求導(dǎo)得
$\frac{\partial {\mathbf{G_{x'}}}}{\partial x_1} = \frac{\partial {\mathbf{G}} }{\partial x_1}+ \frac{\partial {\mathbf{G}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_1} = 0 \\ \frac{\partial {\mathbf{G_{x'}}}}{\partial x_2} = \frac{\partial {\mathbf{G}} }{\partial x_2}+ \frac{\partial {\mathbf{G}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_2} = 0 \\ \ \\ ... \\ \ \\ \frac{\partial {\mathbf{G_{x'}}}}{\partial x_n} = \frac{\partial {\mathbf{G}} }{\partial x_n}+ \frac{\partial {\mathbf{G}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_n} = 0 \tag{6}$

二彰阴、原問(wèn)題的轉(zhuǎn)換

原問(wèn)題 $(1)$ 結(jié)合等式 $(4)$ 可以等價(jià)為
$\begin{align} min\mathbf{F(x)} &= min f(x_0,x_1, x_2,...,x_n)\\ &= minf(g(x_1,x_2,x_3,...,x_n),x_1,x_2,x_3,...x_n)\\ \tag{7}\end{align}$
對(duì)式 $(7)$ 求解咒程，即為
$\frac{\partial {\mathbf{F_{x'}}}}{\partial x_1} = \frac{\partial {\mathbf{F}} }{\partial x_1}+ \frac{\partial {\mathbf{F}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_1} = 0 \\ \frac{\partial {\mathbf{F_{x'}}}}{\partial x_2} = \frac{\partial {\mathbf{F}} }{\partial x_2}+ \frac{\partial {\mathbf{F}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_2} = 0 \\ \ \\ ... \\ \ \\ \frac{\partial {\mathbf{F_{x'}}}}{\partial x_n} = \frac{\partial {\mathbf{F}} }{\partial x_n}+ \frac{\partial {\mathbf{F}} }{\partial x_0} \frac{\partial {{g}} }{\partial x_n} = 0 \tag{8}$
觀察 $(6)$ 式咙鞍，等式中含有共同項(xiàng) $\frac{\partial {\mathbf{G}} }{\partial x_0}$ ，式子兩側(cè)同除以共同項(xiàng)袖牙，可以變換為
$\frac{\partial {{g}} }{\partial x_1} = -\frac{\frac{\partial {\mathbf{G}} }{\partial x_1}}{\frac{\partial {\mathbf{G}} }{\partial x_0}} \\ \frac{\partial {{g}} }{\partial x_2} = -\frac{\frac{\partial {\mathbf{G}} }{\partial x_2}}{\frac{\partial {\mathbf{G}} }{\partial x_0}} \\ \ \\ ... \\ \ \\ \frac{\partial {{g}} }{\partial x_n} = -\frac{\frac{\partial {\mathbf{G}} }{\partial x_n}}{\frac{\partial {\mathbf{G}} }{\partial x_0}} \tag{9}$
將 $(9)$ 式依次帶入 $(8)$ 式，得
$\frac{\partial {\mathbf{F_{x'}}}}{\partial x_1} = \frac{\partial {\mathbf{F}} }{\partial x_1}+ \frac{\partial {\mathbf{F}} }{\partial x_0} (-\frac{\frac{\partial {\mathbf{G}} }{\partial x_1}}{\frac{\partial {\mathbf{G}} }{\partial x_0}})= \frac{\partial {\mathbf{F}} }{\partial x_1}+ (-\frac{\frac{\partial {\mathbf{F}} }{\partial x_0}}{{\frac{\partial {\mathbf{G}} }{\partial x_0}}})\frac{\partial {\mathbf{G}} }{\partial x_1}= 0 \\ \frac{\partial {\mathbf{F_{x'}}}}{\partial x_2} = \frac{\partial {\mathbf{F}} }{\partial x_2}+ \frac{\partial {\mathbf{F}} }{\partial x_0} (-\frac{\frac{\partial {\mathbf{G}} }{\partial x_2}}{\frac{\partial {\mathbf{G}} }{\partial x_0}})= \frac{\partial {\mathbf{F}} }{\partial x_2}+ (-\frac{\frac{\partial {\mathbf{F}} }{\partial x_0}}{{\frac{\partial {\mathbf{G}} }{\partial x_0}}})\frac{\partial {\mathbf{G}} }{\partial x_2}= 0 \\ \ \\ ... \\ \ \\ \frac{\partial {\mathbf{F_{x'}}}}{\partial x_n} = \frac{\partial {\mathbf{F}} }{\partial x_n}+ \frac{\partial {\mathbf{F}} }{\partial x_0} (-\frac{\frac{\partial {\mathbf{G}} }{\partial x_n}}{\frac{\partial {\mathbf{G}} }{\partial x_0}})= \frac{\partial {\mathbf{F}} }{\partial x_n}+ (-\frac{\frac{\partial {\mathbf{F}} }{\partial x_0}}{{\frac{\partial {\mathbf{G}} }{\partial x_0}}})\frac{\partial {\mathbf{G}} }{\partial x_n}= 0 \tag{10}$
令 $\lambda=-\frac{\frac{\partial {\mathbf{F}} }{\partial x_0}}{{\frac{\partial {\mathbf{G}} }{\partial x_0}}}\tag{11}$
代入 $(10)$ 得
$\frac{\partial {\mathbf{F}} }{\partial x_1}+ \lambda\frac{\partial {\mathbf{G}} }{\partial x_1}= 0 \\ \frac{\partial {\mathbf{F}} }{\partial x_2}+ \lambda\frac{\partial {\mathbf{G}} }{\partial x_2}= 0 \\ \ \\ ... \\ \ \\ \frac{\partial {\mathbf{F}} }{\partial x_n}+ \lambda\frac{\partial {\mathbf{G}} }{\partial x_n}= 0 \tag{12}$
同時(shí)抱完，式 $(11)$ 可變換為
$\frac{\partial {\mathbf{F}} }{\partial x_0}+ \lambda\frac{\partial {\mathbf{G}} }{\partial x_0}= 0 \tag{13}$
結(jié)合式 $(12)(13)$ 贼陶，即可等價(jià)于
$\nabla {\mathbf{F}} +\lambda \nabla {\mathbf{G}}=0 \tag{14}$
意其即為式 $(3)$ 的最優(yōu)解

證畢。
? $copyright$

最后編輯于：2022.08.06 15:19:47

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末巧娱，一起剝皮案震驚了整個(gè)濱河市碉怔，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌禁添，老刑警劉巖撮胧，帶你破解...
沈念sama閱讀 211,817評(píng)論 6贊 492
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異老翘，居然都是意外死亡芹啥，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,329評(píng)論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門铺峭，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)墓怀，“玉大人，你說(shuō)我怎么就攤上這事卫键】模” “怎么了？”我有些...
開封第一講書人閱讀 157,354評(píng)論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵莉炉，是天一觀的道長(zhǎng)钓账。經(jīng)常有香客問(wèn)我，道長(zhǎng)絮宁，這世上最難降的妖魔是什么梆暮？我笑而不...
開封第一講書人閱讀 56,498評(píng)論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮绍昂，結(jié)果婚禮上啦粹，老公的妹妹穿的比我還像新娘。我一直安慰自己窘游，他們只是感情好卖陵，可當(dāng)我...
茶點(diǎn)故事閱讀 65,600評(píng)論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開白布。她就那樣靜靜地躺著张峰，像睡著了一般泪蔫。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上喘批，一...
開封第一講書人閱讀 49,829評(píng)論 1贊 290
城市分裂傳說(shuō)
那天撩荣，我揣著相機(jī)與錄音铣揉，去河邊找鬼。笑死餐曹，一個(gè)胖子當(dāng)著我的面吹牛逛拱，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播台猴，決...
沈念sama閱讀 38,979評(píng)論 3贊 408
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼朽合，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了饱狂？” 一聲冷哼從身側(cè)響起曹步，我...
開封第一講書人閱讀 37,722評(píng)論 0贊 266
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎休讳，沒想到半個(gè)月后讲婚，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,189評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡俊柔，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,519評(píng)論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年筹麸，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片雏婶。...
茶點(diǎn)故事閱讀 38,654評(píng)論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡物赶，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出留晚，到底是詐尸還是另有隱情酵紫，我是刑警寧澤，帶...
沈念sama閱讀 34,329評(píng)論 4贊 330
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布倔丈，位于F島的核電站憨闰，受9級(jí)特大地震影響状蜗，放射性物質(zhì)發(fā)生泄漏需五。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,940評(píng)論 3贊 313
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一轧坎、第九天我趴在偏房一處隱蔽的房頂上張望宏邮。院中可真熱鬧，春花似錦缸血、人聲如沸蜜氨。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,762評(píng)論 0贊 21
一樁弒父案捎泻，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)飒炎。三九已至，卻和暖如春笆豁，著一層夾襖步出監(jiān)牢的瞬間郎汪，已是汗流浹背赤赊。一陣腳步聲響...
開封第一講書人閱讀 31,993評(píng)論 1贊 266
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留煞赢，地道東北人抛计。一個(gè)月前我還...
沈念sama閱讀 46,382評(píng)論 2贊 360
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像照筑，于是被迫代替她去往敵國(guó)和親吹截。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,543評(píng)論 2贊 349