1 意義：
人工智能的目標(biāo)就是最優(yōu)化：在復(fù)雜環(huán)境與多體交互中做出最優(yōu)決策
2 目標(biāo)：
給定目標(biāo)函數(shù)的最大值（最小值）是否存在，并找到令目標(biāo)函數(shù)取到最大值（最小值）的數(shù)值磕洪。
3 相關(guān)概念
- 目標(biāo)函數(shù)（objective function）：實現(xiàn)最小化或最大化的函數(shù)吭练。
- 最優(yōu)化問題:無約束優(yōu)化（unconstrained optimization）:對自變量 xx 的取值沒有限制.
- 梯度下降法（gradient descent）:求解無約束優(yōu)化問題最常用的方法.沿著目標(biāo)函數(shù)值下降最快的方向?qū)ふ易钚≈?
單個樣本的梯度下降法:步長選擇的整體規(guī)律是逐漸變小,先粗調(diào)再微調(diào). - 多個樣本時:
批處理模式（batch processing），即計算出在每個樣本上目標(biāo)函數(shù)的梯度析显，再將不同樣本的梯度進行求和，求和的結(jié)果作為本次更新中目標(biāo)函數(shù)的梯度姊舵。在批處理模式中括丁，每次更新都要遍歷訓(xùn)練集中所有的樣本尖昏，因而運算量較大抽诉。
隨機梯度下降法（stochastic gradient descent）,它在每次更新中只使用一個樣本迹淌，下一次更新再使用另外一個樣本，在不斷迭代的更新過程中實現(xiàn)對所有樣本的遍歷纹份。有趣的是件已，事實表明當(dāng)訓(xùn)練集的規(guī)模較大時拨齐，隨機梯度下降法的性能更佳。 - 牛頓法（Newton's method）:二階導(dǎo)數(shù)
- “置信域方法”（trust region）:以步長為參數(shù)劃定一個區(qū)域歼狼，再在這個區(qū)域內(nèi)尋找最快下降的方向羽峰。
設(shè)定一個置信域半徑 s，并在以當(dāng)前點為中心坯汤、以 s 為半徑的封閉球形區(qū)域作為置信域，在置信域內(nèi)尋找目標(biāo)函數(shù)的二次近似模型的最優(yōu)點搓幌，最優(yōu)點和當(dāng)前點之間的距離就是計算出來的備選位移。 - 啟發(fā)式算法:誕生于仿生學(xué).遺傳算法（genetic algorithm）,蟻群算法（ant colony optimization）.
- 約束優(yōu)化（constrained optimization):x的取值限制在特定的集合內(nèi).線性規(guī)劃（linear programming）就是一類典型的約束優(yōu)化叉钥，其解決的問題通常是在有限的成本約束下取得最大的收益投队。通過拉格朗日乘子（Lagrange multiplier）的引入可以將含有 n個變量和 k個約束條件的問題轉(zhuǎn)化為含有 (n+k)個變量的無約束優(yōu)化問題。
- 拉格朗日函數(shù):L(x,y,λ)=f(x,y)+λφ(x,y)
f(x,y) 為目標(biāo)函數(shù)值依，φ(x,y) 則為等式約束條件碟案，λ 是拉格朗日乘數(shù)
原目標(biāo)函數(shù)和約束條件共同構(gòu)成的拉格朗日函數(shù)與原目標(biāo)函數(shù)具有共同的最優(yōu)點集和共同的最優(yōu)目標(biāo)函數(shù)值辆亏，從而保證了最優(yōu)解的不變性。
以上就是最優(yōu)化方法彻磁。
