批量梯度下降法BGD
Github
批量梯度下降法（Batch Gradient Descent，簡稱BGD）是梯度下降法最原始的形式缩举，它的具體思路是在更新每一參數(shù)時都使用所有的樣本來進行更新匹颤，其數(shù)學形式如下：
- 對上述的能量函數(shù)求偏導：
- 由于是最小化風險函數(shù)托猩，所以按照每個參數(shù)θ的梯度負方向來更新每個θ：
具體的偽代碼形式為:
從上面公式可以注意到京腥，它得到的是一個全局最優(yōu)解，但是每迭代一步公浪，都要用到訓練集所有的數(shù)據(jù)，如果樣本數(shù)目m很大欠气，那么可想而知這種方法的迭代速度！所以预柒，這就引入了另外一種方法，隨機梯度下降憔古。
優(yōu)點：全局最優(yōu)解淋袖；易于并行實現(xiàn)；
缺點：當樣本數(shù)目很多時适贸，訓練過程會很慢。
從迭代的次數(shù)上來看拜姿，BGD迭代的次數(shù)相對較少。其迭代的收斂曲線示意圖可以表示如下：
image
文章引用于 https://www.cnblogs.com/maybe2030/p/5089753.html
編輯 Lornatang
校準 Lornatang
