最優(yōu)化問題可以按照優(yōu)化問題的狀態(tài)來進(jìn)行分類，可分了兩類疙筹，即靜態(tài)問題和動(dòng)態(tài)問題富俄。本優(yōu)化方法系列主要從靜脈問題方面進(jìn)行記錄，總結(jié)與概述而咆。主要目的是便于以后查看和復(fù)習(xí)使用霍比。
圖1 最優(yōu)化問題按照狀態(tài)分類圖
無約束優(yōu)化方法
無約束方法可以從利用不同階數(shù)的導(dǎo)數(shù)信息進(jìn)行劃分，即沒有利用導(dǎo)數(shù)信息的直接求解最優(yōu)解的方法暴备、利用一階導(dǎo)數(shù)的梯度方法悠瞬、利用二階導(dǎo)數(shù)的牛頓系列方法。這些方法是比較傳統(tǒng)的無約束優(yōu)化算法馍驯，后來學(xué)者又提出一些啟發(fā)式的優(yōu)化算法阁危，比如遺傳算法、模擬退火等等汰瘫。
圖2 無約束優(yōu)化方法分類示例
約束優(yōu)化方法可以分為直接方法和間接方法狂打。直接法的含義：在可行域內(nèi)，通過構(gòu)造一定的搜索模式混弥，直接求得約束問題的最優(yōu)解趴乡；間接法的含義：構(gòu)造一個(gè)新的目標(biāo)函數(shù)，將原問題轉(zhuǎn)換為無約束優(yōu)化問題蝗拿，通過求解無約束優(yōu)化問題晾捏，間接獲得約束優(yōu)化問題的最優(yōu)解。
圖3 約束優(yōu)化方法分類示例
該系列后續(xù)章節(jié)哀托，我們會(huì)從無約束優(yōu)化方法聊起惦辛，再總結(jié)有約束的優(yōu)化方法。 并對(duì)一些方法通過matlab進(jìn)行實(shí)現(xiàn)仓手，給一些直觀的示例胖齐。?
