確定梯度下降工作正常
Paste_Image.png
可從途中看出涤躲，當(dāng)?shù)?00次的時(shí)候，這個(gè)時(shí)候代價(jià)函數(shù)每次變化的的值基本小于預(yù)定義的一個(gè)值10的負(fù)三次方，這個(gè)時(shí)候舟误，我們可以稱呼代價(jià)函數(shù)已經(jīng)收斂造垛。一般選取一個(gè)數(shù)
Paste_Image.png
當(dāng)alpha過(guò)大的時(shí)候，梯度下降就會(huì)不正常杆逗，如此乡翅，
我們就應(yīng)該選擇小一些的alpha,如果alpha過(guò)于小的時(shí)候，步長(zhǎng)太小罪郊，那么每次迭代代價(jià)函數(shù)就會(huì)變得變化的非常緩慢蠕蚜，因此效率會(huì)變得低下。
因此悔橄，需要重新選擇alpha
Paste_Image.png
總結(jié)一下：
1.如果alpha是太小靶累，那么代價(jià)函數(shù)的收斂變得緩慢
2.如果alpha太大的話腺毫，代價(jià)函數(shù)在迭代的時(shí)候可能就不會(huì)減小，反而會(huì)增大挣柬，因此收斂不了拴曲。
3.如果學(xué)習(xí)率α足夠小，則每次迭代都會(huì)減小J（θ）凛忿，那么代價(jià)函數(shù)一定會(huì)收斂澈灼，即變小，只是收斂的速度不一樣店溢。
最后叁熔，在選取alpha數(shù)值的時(shí)候，可以按照ng的方法床牧，選擇3的十倍數(shù)荣回，如0.003，0.03,0.3等戈咳，
