我們已經(jīng)學會了代價方程恍箭，其中我們知道要使得代價方程最小刻恭，我們需要嘗試出一組w和b，使其達到最小扯夭。這篇文章就要介紹如何用梯度下降法來找到w和b鳍贾。
如下圖所示，代價方程在三位空間的表現(xiàn)形式可以是下面這樣的交洗。無論我們從代價函數(shù)的哪個點開始進行梯度下降骑科，最終都會達到最低點。
圖片發(fā)自簡書App
下圖所示只取了J和w构拳。
按照梯度下降法的方式咆爽，我們無論從J曲線上哪個點開始，都可以達到最低點置森。具體原理可以看w關(guān)于J的公式伍掀。dJ/dw是這條曲線的斜率。斜率前面的阿爾法是學習速率暇藏，用來下降的速度。當w在最低點的右邊濒蒋，曲線斜率為正盐碱，所以w的值會不斷的降低直到最小。左邊同理沪伙，w會不斷變大到J最小為止瓮顽。這個梯度下降法公式同理也可以運用于b，只需做如下圖所示的調(diào)整即可围橡。
圖片發(fā)自簡書App
