1 拉格朗日乘子法的數(shù)學背景 當使用前面介紹的罰函數(shù)法求解約束問題時霹期，為獲得足夠好的近似解寡壮，罰參數(shù)需取足夠大的值以清，這將導致增廣目標函數(shù)的黑...

1 約束最優(yōu)化問題 1.1 約束最優(yōu)化問題的基本結(jié)構(gòu) 在我們討論完無約束最優(yōu)化問題后，我們接著討論約束最優(yōu)化問題。在無約束最優(yōu)化問題中，我...

1 基本數(shù)學表達 在前面3節(jié)中，我們使用了不同下降方法來求解同一個非線性最小二乘問題妇萄，但其實非線性最小二乘問題只是這些下降方法能夠求解的問...

1 共軛方向的定義 對于正定二次函數(shù)，其中是對角陣咬荷，對角元均為正數(shù)冠句，這種情況下函數(shù)關于原點中心對稱，每列由一個n元向量組成幸乒，向著每個維度懦底，...

1 擬牛頓法的數(shù)學基礎 對于牛頓法，我們保留其快速收斂性逝变，同時克服牛頓法黑森矩陣需要正定的問題以及避免計算黑森矩陣以減少計算量基茵，我們提出了...

1 下降算法中的搜索方向 1.1 下降方向的判定 根據(jù)泰勒展開，忽略極小項后壳影，我們可以在點處找到的一條切線拱层，這條切線的斜率是。我們不難得出...

在上節(jié)中本教程介紹了迭代搜索的基本步驟宴咧「疲考慮基本步驟中的每一步的基本元素：步長、下降方向和終止準則掺栅，其中終止準則是我們已經(jīng)明確給出的烙肺，而步長和下...

1 最優(yōu)化問題 1.1 什么是最優(yōu)化問題 最優(yōu)化問題大體上分為連續(xù)最優(yōu)化問題和離散最優(yōu)化問題兩種。后者涉及到離散數(shù)學氧卧、組合數(shù)學等學科桃笙，屬于...