1 拉格朗日乘子法的數(shù)學(xué)背景 當(dāng)使用前面介紹的罰函數(shù)法求解約束問題時婶博，為獲得足夠好的近似解慷暂，罰參數(shù)需取足夠大的值，這將導(dǎo)致增廣目標(biāo)函數(shù)的黑...

1 約束最優(yōu)化問題 1.1 約束最優(yōu)化問題的基本結(jié)構(gòu) 在我們討論完無約束最優(yōu)化問題后瘪菌，我們接著討論約束最優(yōu)化問題。在無約束最優(yōu)化問題中嘹朗，我...

1 基本數(shù)學(xué)表達 在前面3節(jié)中师妙，我們使用了不同下降方法來求解同一個非線性最小二乘問題，但其實非線性最小二乘問題只是這些下降方法能夠求解的問...

1 共軛方向的定義 對于正定二次函數(shù)屹培，其中是對角陣默穴，對角元均為正數(shù)，這種情況下函數(shù)關(guān)于原點中心對稱褪秀，每列由一個n元向量組成蓄诽，向著每個維度，...

1 擬牛頓法的數(shù)學(xué)基礎(chǔ) 對于牛頓法媒吗，我們保留其快速收斂性若专，同時克服牛頓法黑森矩陣需要正定的問題以及避免計算黑森矩陣以減少計算量，我們提出了...

1 下降算法中的搜索方向 1.1 下降方向的判定 根據(jù)泰勒展開蝴猪，忽略極小項后调衰，我們可以在點處找到的一條切線，這條切線的斜率是自阱。我們不難得出...

在上節(jié)中本教程介紹了迭代搜索的基本步驟嚎莉。考慮基本步驟中的每一步的基本元素：步長沛豌、下降方向和終止準(zhǔn)則趋箩，其中終止準(zhǔn)則是我們已經(jīng)明確給出的赃额，而步長和下...

1 最優(yōu)化問題 1.1 什么是最優(yōu)化問題 最優(yōu)化問題大體上分為連續(xù)最優(yōu)化問題和離散最優(yōu)化問題兩種。后者涉及到離散數(shù)學(xué)叫确、組合數(shù)學(xué)等學(xué)科跳芳，屬于...