牛頓迭代求最小值有點區(qū)別于求牛頓迭代求根
先復(fù)習(xí)一下
牛頓迭代求根
是如下表達(dá)式
因為是求根傀履,那么函數(shù)和
軸相交的地方就是解所在的位置缆巧,所以一般要稍作變形以構(gòu)造
于是
因為是依次迭代布持,所以這里的是初值
后續(xù)迭代通式就是
那么
牛頓迭代求極小值,又是咋回事呢
顧名思義陕悬,求最小值题暖,也就是說要找的不是和軸的交點,求
最小值我們一般想到的就是求其導(dǎo)數(shù)為
的點
牛頓迭代求最小首先使用的是對函數(shù)的泰勒二階展開對原函數(shù)進(jìn)行擬合
比如下圖綠色的是原函數(shù),橙色代表的是對的二階泰勒擬合
求上式求導(dǎo)可得
胧卤,
令導(dǎo)數(shù)為零唯绍,
則
可知函數(shù)在處取得極小值
稍作變形
通式為
可見它和牛頓迭代求根非常相似,不同之處在于枝誊,這里每次迭代是原函數(shù)的一階導(dǎo)除以二階導(dǎo)
牛頓迭代求非線性多元函數(shù)的極小值
根據(jù)前面牛頓迭代求根高維表達(dá)的推導(dǎo)况芒,我們依照葫蘆畫瓢來進(jìn)行極小值的高維表達(dá)式推導(dǎo)
首先是一維情況
簡單點,我們擴(kuò)展到二維叶撒,這里涉及的是二元函數(shù)的泰勒展開式绝骚,于是有
-----------------------------------
這里相比牛頓迭代求根多了二階全微分項
我們寫成矩陣的形式,于是有
祠够,那么上式可以簡記為
進(jìn)一步可以記為
其中
叫做Hessian矩陣
這種寫法叫做
函數(shù)各方向的全微分压汪,也叫梯度算子,其實本質(zhì)上也是一個雅可比矩陣,也可計為
繼續(xù)往下走古瓤,對上面的函數(shù)求各個方向的偏微分
對等式(1)求各方向的一階偏導(dǎo)可得
(注意止剖,這里有個知識點,即對于二階混偏導(dǎo)連續(xù)時候湿滓,先x后y,與先y后x滴须,這兩種方式求偏導(dǎo)的值是一樣的)于是得到下面的等式
因為是求極小值舌狗,那么此時令
寫成矩陣形式有
根據(jù)上面對海森矩陣的定義以及函數(shù)梯度算子的定義
這里可以直接簡寫
根據(jù)迭代式的定義
上面的推導(dǎo)過程熟練的話,其實可以直接寫成下面
即
總結(jié)
牛頓迭代求根是令擬合的原函數(shù)函數(shù)值為零而做出的推導(dǎo)
牛頓迭代求極小值是零原函數(shù)的一階導(dǎo)為零而做出的推導(dǎo)