一. 梯度下降
? ? ? ?我們的目標(biāo)是預(yù)測(cè)值與真實(shí)值的差距越小越好揩懒，由此可以設(shè)置目標(biāo)函數(shù)為：
? ? ? ?上式中什乙，平方項(xiàng)內(nèi)為真實(shí)值與預(yù)測(cè)值的差值，目標(biāo)函數(shù)為差值的平方的均值已球。
? ? ? ?思考：目標(biāo)函數(shù)值越小越好淋袖，即求取目標(biāo)函數(shù)的最小值點(diǎn)官还。通過(guò)梯度下降一點(diǎn)一點(diǎn)地求取。
1.批量梯度下降
? ? ? ?上式第一個(gè)式子為目標(biāo)函數(shù)對(duì)θ求偏導(dǎo)，求得均值梯度忱辅，上式第二個(gè)式子即利用左邊計(jì)算出的梯度值辆雾。
優(yōu)缺點(diǎn)：容易得到最優(yōu)解隆判，但是由于每次計(jì)算需考慮所有樣本举哟，計(jì)算速度很慢。
2.隨機(jī)梯度下降
? ? ? ?隨機(jī)尋找一個(gè)樣本馍忽，計(jì)算梯度棒坏。
? ? ? ?優(yōu)缺點(diǎn)：迭代速度快，但不一定每次都朝著收斂的方向遭笋。
3.小批量梯度下降法
? ? ? ?每次更新選擇一小部分?jǐn)?shù)據(jù)來(lái)算坝冕。
? ? ? ?優(yōu)缺點(diǎn)：速度折中，方向準(zhǔn)確度折中瓦呼。
二. 學(xué)習(xí)率
? ? ? ?即步長(zhǎng)喂窟，每次前進(jìn)的距離，一般設(shè)置的很小央串，如0.001磨澡。
如何設(shè)置？
? ? ? ?一般從小的值開始质和，如果效果不好稳摄，再取消一些。
? ? ? ?關(guān)注公號(hào)【開發(fā)小鴿】饲宿，獲取海量計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)資源厦酬，實(shí)戰(zhàn)項(xiàng)目源碼胆描，最新論文下載，大廠面試經(jīng)驗(yàn)Ｕ淘摹０烙选！?
