多元函數(shù)的極值分析

本章涉及知識(shí)點(diǎn)：

1、無(wú)條件極值

2区赵、Hessian矩陣

3、有條件極值

4浪南、數(shù)學(xué)分析角度

5笼才、幾何角度

6、知識(shí)點(diǎn)1：牛頓迭代法求多元函數(shù)駐點(diǎn)

7络凿、知識(shí)點(diǎn)2：數(shù)值微分求解多元函數(shù)高階偏導(dǎo)數(shù)

8骡送、案例演示

一昂羡、無(wú)條件極值

我們從二元函數(shù) $f(x,y)$ 開(kāi)始研究其極值問(wèn)題

$f(x,y)$ 除自身定義域D外，沒(méi)有別的條件約束各谚，這類(lèi)問(wèn)題我們稱(chēng)為多元函數(shù)的無(wú)條件極值問(wèn)題

設(shè) $f(x,y)$ 的駐點(diǎn)為 $(x_{0},y_{0})$ 紧憾，且 $f(x,y)$ 各個(gè)自變量的一階偏導(dǎo)數(shù)均存在，則

必要條件

特別注意的是：此時(shí) $(x_{0},y_{0})$ 不一定是 $f(x,y)$ 的極值點(diǎn)

例如： $f(x,y) = x^4 + y^4 - 4xy + 1$

其一階偏導(dǎo)數(shù)為： $f_{x}(x,y) = 4x^3 - 4y$ 昌渤， $f_{y}(x,y) = 4y^3 - 4x$

可以看到 $(x_{0},y_{0})=(0,0)$ 是 $f(x,y)$ 其中一個(gè)駐點(diǎn)赴穗，而我們畫(huà)出函數(shù)圖像和其等值線圖像

函數(shù)圖像

函數(shù)等值線

從函數(shù)等值線上可以看出： $(x_{0},y_{0})=(0,0)$ 不是函數(shù)極值點(diǎn)，而只是一個(gè)鞍點(diǎn)

結(jié)論：駐點(diǎn)是 $f(x,y)$ 取極值的必要條件膀息，即 $f(x,y)$ 取極值的點(diǎn)一定是駐點(diǎn)般眉，但是駐點(diǎn)不一定是 $f(x,y)$ 的極值點(diǎn)

所以我們不能只憑一階偏導(dǎo)數(shù)求駐點(diǎn)來(lái)判定多元函數(shù)的極值點(diǎn)，還需要分析 $f(x,y)$ 二階偏導(dǎo)數(shù)的情況

我們將 $f(x,y)$ 在極值點(diǎn) $(x_{0},y_{0})$ 處進(jìn)行二階Taylor展開(kāi)潜支，得

二階泰勒公式

由極值點(diǎn)的必要條件甸赃，因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=(x_%7B0%7D%2Cy_%7B0%7D)" alt="(x_{0},y_{0})" mathimg="1">是 $f(x,y)$ 的駐點(diǎn)，即

極值點(diǎn)的必要條件

則上式二階Taylor可寫(xiě)為

二階泰勒公式

我們將上式寫(xiě)為矩陣方程形式冗酿，即

二階泰勒矩陣形式

顯然這是一個(gè)關(guān)于 $\begin{bmatrix}x - x_{0}\\ y - y_{0}\end{bmatrix}$ 的二次型方程埠对，則記

$X = \begin{bmatrix}x \\ y \end{bmatrix}$ ， $X_{0} = \begin{bmatrix}x_{0}\\ y_{0}\end{bmatrix}$

$H(x_{0}, y_{0}) = H(X_{0})= \begin{bmatrix}f_{xx}(X_{0}) & f_{xy}(X_{0})\\ f_{yx}(X_{0}) & f_{yy}(X_{0})\\\end{bmatrix}$

則上式矩陣方程可寫(xiě)為

二階泰勒矩陣形式

分類(lèi)討論：

（1）如果 $H(X_{0})$ 是正定矩陣裁替，則

極小值

說(shuō)明：對(duì)于在駐點(diǎn) $(x_{0}, y_{0})$ 的某鄰域內(nèi)项玛，任何 $(x, y)$ 的函數(shù)值均大于駐點(diǎn)的函數(shù)值。

即：駐點(diǎn) $(x_{0}, y_{0})$ 是 $f(x,y)$ 的極小值點(diǎn)

（2）如果 $H(X_{0})$ 是負(fù)定矩陣弱判，則

極大值

說(shuō)明：對(duì)于在駐點(diǎn) $(x_{0}, y_{0})$ 的某鄰域內(nèi)襟沮，任何 $(x, y)$ 的函數(shù)值均大于駐點(diǎn)的函數(shù)值。

即：駐點(diǎn) $(x_{0}, y_{0})$ 是 $f(x,y)$ 的極大值點(diǎn)

（3）如果 $H(X_{0})$ 是不定矩陣昌腰，則

鞍點(diǎn)

說(shuō)明：對(duì)于在駐點(diǎn) $(x_{0}, y_{0})$ 的某鄰域內(nèi)开伏，存在某個(gè)具體的點(diǎn) $(x_{1}, y_{1})$ ，該點(diǎn)的函數(shù)值大于駐點(diǎn)的函數(shù)值遭商；還存在某個(gè)具體的點(diǎn) $(x_{2}, y_{2})$ 固灵，該點(diǎn)的函數(shù)值小于駐點(diǎn)的函數(shù)值。

即：駐點(diǎn) $(x_{0}, y_{0})$ 不是 $f(x,y)$ 的極值點(diǎn)劫流，而是其一個(gè)鞍點(diǎn)

綜上討論：駐點(diǎn) $(x_{0}, y_{0})$ 是否是 $f(x,y)$ 的極值點(diǎn)怎虫，正比于 $H(X_{0})$ 的正負(fù)定

二、Hessian矩陣

對(duì)于二元函數(shù) $f(x,y)$ 困介，其在駐點(diǎn) $(x_{0}, y_{0})$ 的Hessian矩陣為

二元函數(shù)的Hessian矩陣

我們記： $A = f_{xx}(x_{0}, y_{0})$ 大审， $B = f_{xy}(x_{0}, y_{0}) = f_{yx}(x_{0}, y_{0})$ ， $C = f_{yy}(x_{0}, y_{0})$

則 $f(x,y)$ 的Hessian矩陣為： $H(x_{0}, y_{0}) = \begin{bmatrix}A& B\\ B & C \\\end{bmatrix}$

則通過(guò)上述分析座哩， $f(x,y)$ 在駐點(diǎn) $(x_{0}, y_{0})$ 的極值情況為：

（1）如果 $A>0$ 徒扶，且 $AC-B^2>0$ ，則 $f(x,y)$ 在 $(x_{0}, y_{0})$ 處取極小值

（2）如果 $A>0$ 根穷，且 $AC-B^2>0$ 姜骡，則 $f(x,y)$ 在 $(x_{0}, y_{0})$ 處取極大值

（3）如果 $AC-B^2<0$ 导坟，則 $f(x,y)$ 在 $(x_{0}, y_{0})$ 處無(wú)極值

更一般的，我們從二元函數(shù)的極值判定圈澈，可以推廣到多元函數(shù)的極值判定

對(duì)于多元函數(shù) $f(x_{1},x_{2},...,x_{n})$ 惫周，其在駐點(diǎn) $(a_{1}, a_{2},...,a_{n})$ 的Hessian矩陣為

多元函數(shù)的Hessian矩陣?

同理， $f(x_{1},x_{2},...,x_{n})$ 極值的判定條件取決與 $H(a_{1}, a_{2},...,a_{n})$ 的正負(fù)定

三康栈、有條件極值

在實(shí)際問(wèn)題中递递，我們會(huì)遇到 $f(x,y)$ 需要滿(mǎn)足某個(gè)或者某幾個(gè)約束條件 $g(x,y) =0$ 下的極值問(wèn)題，稱(chēng)之為有條件的極值問(wèn)題啥么，即

有條件極值

通常登舞，我們稱(chēng)函數(shù) $f(x,y)$ 為目標(biāo)函數(shù)，方程 $g(x,y) =0$ 為約束條件悬荣，自變量x菠秒、y稱(chēng)為決策變量

分析這類(lèi)問(wèn)題，需要將有條件極值問(wèn)題轉(zhuǎn)化為無(wú)條件極值問(wèn)題氯迂，下面我們從數(shù)學(xué)分析角度和幾何角度來(lái)處理有條件極值

四践叠、數(shù)學(xué)分析角度

設(shè) $(x_{0}, y_{0})$ 滿(mǎn)足約束條件 $g(x_{0}, y_{0}) =0$ ，且是 $f(x,y)$ 的極值點(diǎn)

則由隱函數(shù)存在定理嚼蚀，在 $x_{0}$ 的某鄰域內(nèi)可以確定一個(gè)具有連續(xù)可導(dǎo)的隱函數(shù)：

隱函數(shù)

則二元函數(shù)的有條件極值問(wèn)題酵熙，就轉(zhuǎn)化為一元函數(shù)的條件極值問(wèn)題，即

有條件極值

由一元函數(shù)取極值的必要條件：一階導(dǎo)數(shù)為0驰坊，得

一元函數(shù)取極值

我們對(duì)條件約束方程： $g(x, y(x)) = 0$ ，兩邊同時(shí)對(duì) $x$ 求導(dǎo)哮独，得

隱函數(shù)導(dǎo)數(shù)

將 $(x_{0}, y_{0})$ 帶入上式拳芙，得

隱函數(shù)導(dǎo)數(shù)

將上式代入一元函數(shù)取極值的方程，得

一元函數(shù)取極值

我們令： $\lambda_{0} = \frac{-f_{y}(x_{0},y_{0})}{g_{y}(x_{0},y_{0})}$ 皮璧，則可以推導(dǎo)出：

有條件極值

不要忘卻約束條件： $g(x_{0}, y_{0}) = 0$ 舟扎，加上約束條件，則我們推導(dǎo)出二元函數(shù) $f(x,y)$ 的有條件極值的解法：

有條件極值的解法

觀察上式關(guān)系悴务，我們可以用一個(gè)統(tǒng)一的函數(shù)：拉格朗日函數(shù) $L(x, y, \lambda )$ 來(lái)描述

拉格朗日函數(shù)

而求 $L(x, y, \lambda )$ 的無(wú)條件極值睹限，就等價(jià)于求 $f(x,y)$ 的有條件極值，即

求拉格朗日函數(shù)的無(wú)條件極值

結(jié)論：二元函數(shù) $f(x,y)$ 在 $g(x,y) =0$ 約束下求有條件極值問(wèn)題讯檐，可以等價(jià)轉(zhuǎn)化為拉格朗日函數(shù) $L(x, y, \lambda )$ 求無(wú)條件極值問(wèn)題（ $\bigtriangledown L(x_{0}, y_{0}, \lambda_{0} ) = 0$ ）

我們稱(chēng)上述算法為：拉格朗日乘子法（SVM算法中引用）

五羡疗、幾何角度

我們畫(huà)出 $f(x,y)$ 的等值線

二元函數(shù)的等值線變化

圖中黑圈指 $f(x,y)$ 投影在平面上的等值線，藍(lán)色的曲線是 $g(x,y) =0$ 的約束函數(shù)圖像别洪，則容易知：等值線與約束函數(shù)圖像相交的點(diǎn)叨恨，就是 $f(x,y)$ 滿(mǎn)足約束條件的點(diǎn)

下面分析極值點(diǎn)可能出現(xiàn)的位置？極值點(diǎn)只能出現(xiàn)在 $f(x,y)$ 和 $g(x,y) =0$ 相交或者相切的位置

證明：如果極值點(diǎn)出現(xiàn)在交點(diǎn)挖垛，那么沿著 $g(x,y)$ 的圖像繼續(xù)向前或向后走痒钝，一定還有其它的 $f(x,y)$ 等值線與 $g(x,y)$ 相交秉颗，也就是 $f(x,y)$ 的值還能變大和變小，所以交點(diǎn)一定不是極值點(diǎn)送矩，極值點(diǎn)只能出現(xiàn)在切點(diǎn)位置

且 $f(x,y)$ 與 $g(x,y)$ 在切點(diǎn)（極值點(diǎn)）處的梯度平行且反向蚕甥，用數(shù)學(xué)語(yǔ)言描述即

切點(diǎn)處的梯度平行且反向

至此，我們得到了和數(shù)學(xué)分析方法一樣的結(jié)果

六栋荸、知識(shí)點(diǎn)1：牛頓迭代法求多元函數(shù)駐點(diǎn)

為了后面代碼演示菇怀，我們使用牛頓迭代法求二元函數(shù) $f(x,y)$ 的駐點(diǎn)

牛頓迭代法算法為

牛頓迭代法

對(duì)于二元函數(shù) $f(x,y)$ 求駐點(diǎn)，即所求解的方程組是

二元函數(shù)求駐點(diǎn)

則將牛頓迭代法改為

牛頓迭代法

為此蒸其，我們需要計(jì)算 $\frac{\partial }{\partial x}f(x_{k}, y)$ 敏释、 $\frac{\partial }{\partial y}f(x, y_{k})$ 、 $\frac{\partial^2 }{\partial x^2}f(x_{k},y)$ 和 $\frac{\partial^2 }{\partial y^2}f(x,y_{k})$ 四個(gè)一階和二階的偏導(dǎo)數(shù)值摸袁，注意不是偏導(dǎo)數(shù)表達(dá)式钥顽，牛頓迭代法里我們只需要偏導(dǎo)數(shù)值，為此我們采用數(shù)值微分近似算法

七靠汁、知識(shí)點(diǎn)2：數(shù)值微分求解多元函數(shù)的高階偏導(dǎo)數(shù)

在數(shù)值微分中蜂大，一元函數(shù) $f(x)$ 微分的中點(diǎn)差分公式為：

一元函數(shù)微分的中點(diǎn)差分

而我們要計(jì)算 $f(x,y)$ 的一二階偏導(dǎo)數(shù)，則由偏導(dǎo)數(shù)的數(shù)學(xué)定義：

偏導(dǎo)數(shù)的數(shù)學(xué)定義

我們可以由一元函數(shù) $f(x)$ 微分的中點(diǎn)差分推導(dǎo)出二元函數(shù) $f(x,y)$ 的一階偏微分 $\frac{\partial }{\partial x}f(x_{k}, y)$ 和 $\frac{\partial }{\partial y}f(x, y_{k})$ 的中點(diǎn)差分公式為：

二元函數(shù)一階偏微分的中點(diǎn)差分

而 $f(x,y)$ 的二階偏微分 $\frac{\partial^2 }{\partial x^2}f(x_{k},y)$ 和 $\frac{\partial^2 }{\partial y^2}f(x,y_{k})$ 的中點(diǎn)差分公式可以由一階偏微分遞歸計(jì)算得到：

二元函數(shù)二階偏微分的中點(diǎn)差分

八蝶怔、案例演示

案例函數(shù)為：求 $z = \frac{x+y}{x^2 + y^2 + 1}$ 的極值

數(shù)值微分計(jì)算高階偏導(dǎo)數(shù)

牛頓迭代法

分析極值

實(shí)驗(yàn)結(jié)果

函數(shù)圖像

函數(shù)等值線

案例代碼見(jiàn)：多元函數(shù)的極值分析

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末奶浦，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子踢星，更是在濱河造成了極大的恐慌澳叉，老刑警劉巖，帶你破解...
沈念sama閱讀 217,084評(píng)論 6贊 503
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件沐悦，死亡現(xiàn)場(chǎng)離奇詭異成洗，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)藏否，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,623評(píng)論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)瓶殃，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人副签，你說(shuō)我怎么就攤上這事遥椿。” “怎么了淆储？”我有些...
開(kāi)封第一講書(shū)人閱讀 163,450評(píng)論 0贊 353
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵冠场，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我本砰，道長(zhǎng)慈鸠，這世上最難降的妖魔是什么？我笑而不...
開(kāi)封第一講書(shū)人閱讀 58,322評(píng)論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮青团，結(jié)果婚禮上譬巫，老公的妹妹穿的比我還像新娘。我一直安慰自己督笆，他們只是感情好芦昔，可當(dāng)我...
茶點(diǎn)故事閱讀 67,370評(píng)論 6贊 390
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布。她就那樣靜靜地躺著娃肿，像睡著了一般咕缎。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上料扰，一...
開(kāi)封第一講書(shū)人閱讀 51,274評(píng)論 1贊 300
城市分裂傳說(shuō)
那天凭豪，我揣著相機(jī)與錄音，去河邊找鬼晒杈。笑死嫂伞，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的拯钻。我是一名探鬼主播帖努，決...
沈念sama閱讀 40,126評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼粪般！你這毒婦竟也來(lái)了拼余？” 一聲冷哼從身側(cè)響起，我...
開(kāi)封第一講書(shū)人閱讀 38,980評(píng)論 0贊 275
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤亩歹，失蹤者是張志新（化名）和其女友劉穎匙监，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體小作，經(jīng)...
沈念sama閱讀 45,414評(píng)論 1贊 313
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡亭姥，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,599評(píng)論 3贊 334
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了躲惰。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 39,773評(píng)論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡变抽，死狀恐怖础拨，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情绍载，我是刑警寧澤诡宗，帶...
沈念sama閱讀 35,470評(píng)論 5贊 344
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站击儡，受9級(jí)特大地震影響塔沃，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜阳谍，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,080評(píng)論 3贊 327
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一蛀柴、第九天我趴在偏房一處隱蔽的房頂上張望螃概。院中可真熱鬧，春花似錦鸽疾、人聲如沸吊洼。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 31,713評(píng)論 0贊 22
一樁弒父案制肮，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)冒窍。三九已至，卻和暖如春豺鼻，著一層夾襖步出監(jiān)牢的瞬間综液，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 32,852評(píng)論 1贊 269
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工儒飒，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留谬莹，地道東北人。一個(gè)月前我還...
沈念sama閱讀 47,865評(píng)論 2贊 370
代替公主和親
正文我出身青樓约素，卻偏偏與公主長(zhǎng)得像届良，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子圣猎，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,689評(píng)論 2贊 354

多元函數(shù)的極值分析

推薦閱讀更多精彩內(nèi)容