一坎拐、牛頓法
在介紹牛頓法之前，先回顧下在數(shù)學分析中，對于牛頓法的解釋廉白。
在高數(shù)中个初，牛頓法適中估值方法，用于近似計算猴蹂，是迭代法的一種院溺。
其精髓在于：對于目標方程f(x)=0,首先構(gòu)造同解方程(等價)：g(x)=F(x)-x=0；
其中磅轻，在導(dǎo)數(shù)部分的分子表示迭代方向珍逸，即：dk，步長由分母矩陣(海森矩陣)的逆矩陣求得聋溜。分式整體也被稱為牛頓方向谆膳。
牛頓法有個巨大的缺點，就是：計算量特別巨大撮躁，主要體現(xiàn)在海森矩陣的求逆中漱病。
二、擬牛頓法
有牛頓法可知把曼，對于牛頓法的計算杨帽，主要體現(xiàn)在海森矩陣的逆矩陣求解時，計算量特別巨大嗤军。于是提出擬牛頓法注盈，主要目的是使用模擬矩陣來近似第k次迭代時的海森矩陣，來簡化計算叙赚。
在第k次迭代時的數(shù)學表達式如下：
常見的擬牛頓法是DFP和BFGS算法老客。
不論是DFP還是BFGS，尤其要關(guān)注的是他們的算法思想：
有taylor公式的二階展開震叮，并求導(dǎo)胧砰，并用模擬矩陣替代海森矩陣的逆矩陣，整理得到：
進一步變量替換苇瓣，可得：
不論DFG還是BFGS朴则，都是對上面矩陣的求解。此處暫時不再贅述钓简。
