背景
整理一下機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的知識。
記憶力下降的厲害年碘，不整理無動(dòng)力學(xué)習(xí)澈歉，寫博客大概是自我救贖的好途徑吧。
梯度下降幾句話
內(nèi)容轉(zhuǎn)載自：https://www.cnblogs.com/pinard/p/5970503.html
1.png
image.png
image.png
其中屿衅，θ是自變量埃难，hθ是因變量。
梯度的方向是函數(shù)變化最快的方向，θ加上梯度乘以步長的話就是向最大的方向走一步凯砍，減去梯度乘以步長的話就是向最小的方向走一步箱硕。
梯度控制了走的方向，而步長控制了走的距離悟衩。
梯度刻畫的是因變量變化的方向剧罩，我們的目標(biāo)是找到因變量取極值時(shí)自變量的值，那么自然自變量要朝著讓因變量取極值的方向走（求最大則沿著正梯度走座泳，最小則沿著負(fù)梯度走）惠昔。
