本節(jié)講述高級(jí)優(yōu)化算法和一些高級(jí)優(yōu)化概念平绩,使用這些方法會(huì)使我們邏輯回歸算法的速度更快,能更好的解決大型的機(jī)器學(xué)習(xí)問題快毛。
梯度下降算法:
其他的算法:
共軛梯度法(Conjugate gradient)格嗅;
BFGS算法;
L-BFGS算法唠帝。
這些算法優(yōu)點(diǎn)是不需要我們手動(dòng)的選擇α屯掖;速度快于梯度下降法。缺點(diǎn)是復(fù)雜襟衰。
所以我們只需要會(huì)使用它們贴铜,而不需要深究其中的原理。
在Octave中使用這些算法的例子:
初始化的θ維度要大于等于2瀑晒。
當(dāng)我們使用fminunc函數(shù)的時(shí)候绍坝,Octave會(huì)自動(dòng)的幫我們挑選出合適的高級(jí)算法去計(jì)算,我們不需要深究其中的細(xì)節(jié)苔悦,只需要會(huì)用即可轩褐。在一些大型的邏輯回歸問題中乖篷,我們需要使用這些數(shù)值算法幫助我們優(yōu)化運(yùn)行速度功戚。