隨機梯度下降隨筆

隨機梯度下降

在深度學習里科汗，目標函數通常是訓練數據集中有關各個樣本的損失函數的平均捎迫。設 $f_i(\boldsymbol{x})$ 是有關索引為 $i$ 的訓練數據樣本的損失函數， $n$ 是訓練數據樣本數故源， $\boldsymbol{\theta}$ 是模型的參數向量，那么目標函數定義為

$L(\boldsymbol{\theta}) = \frac{1}{n} \sum_{i = 1}^n l_i(\boldsymbol{\theta}).$

目標函數在 $\boldsymbol{x}$ 處的梯度計算為

$\nabla L(\boldsymbol{\theta}) = \frac{1}{n} \sum_{i = 1}^n \nabla l_i(\boldsymbol{\theta}).$

如果使用梯度下降汞贸，每次自變量迭代的計算開銷為 $\mathcal{O}(n)$ 绳军，隨著 $n$ 線性增長印机。因此，當訓練數據樣本數很大時门驾，梯度下降每次迭代的計算開銷很高∩淙現在可以通過隨機梯度下降來解決這個問題。

隨機梯度下降（stochastic gradient descent奶是，SGD）減少了每次迭代的計算開銷楣责。在隨機梯度下降的每次迭代中，我們隨機均勻采樣的一個樣本索引 $i\in\{1,\ldots,n\}$ 聂沙，并計算梯度 $\nabla l_i(\boldsymbol{\theta})$ 來迭代 $\boldsymbol{\theta}$ ：

$\boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \eta \nabla l_i(\boldsymbol{\theta}).$

這里 $\eta$ 同樣是學習率秆麸。可以看到每次迭代的計算開銷從梯度下降的 $\mathcal{O}(n)$ 降到了常數 $\mathcal{O}(1)$ 及汉。值得強調的是蛔屹，隨機梯度 $\nabla l_i(\boldsymbol{x})$ 是對梯度 $\nabla l(\boldsymbol{x})$ 的無偏估計：

$E_i \nabla l_i(\boldsymbol{\theta}) = \frac{1}{n} \sum_{i = 1}^n \nabla l_i(\boldsymbol{\theta}) = \nabla f(\boldsymbol{\theta}).$

好處就是將 variance(方差) 降低一下，

這意味著豁生，平均來說兔毒，隨機梯度是對梯度的一個良好的估計。

下面我們通過在梯度中添加均值為0的隨機噪聲來模擬隨機梯度下降甸箱，以此來比較它與梯度下降的區(qū)別育叁。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市芍殖，隨后出現的幾起案子豪嗽，更是在濱河造成了極大的恐慌，老刑警劉巖豌骏，帶你破解...
沈念sama閱讀 221,198評論 6贊 514
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件龟梦，死亡現場離奇詭異，居然都是意外死亡窃躲，警方通過查閱死者的電腦和手機计贰，發(fā)現死者居然都...
沈念sama閱讀 94,334評論 3贊 398
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來蒂窒，“玉大人躁倒，你說我怎么就攤上這事∪髯粒” “怎么了秧秉？”我有些...
開封第一講書人閱讀 167,643評論 0贊 360
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長衰抑。經常有香客問我象迎，道長，這世上最難降的妖魔是什么呛踊？我笑而不...
開封第一講書人閱讀 59,495評論 1贊 296
?港島之戀（遺憾婚禮）
正文為了忘掉前任砾淌，我火速辦了婚禮完丽，結果婚禮上，老公的妹妹穿的比我還像新娘拇舀。我一直安慰自己逻族，他們只是感情好，可當我...
茶點故事閱讀 68,502評論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布骄崩。她就那樣靜靜地躺著聘鳞，像睡著了一般。火紅的嫁衣襯著肌膚如雪要拂。梳的紋絲不亂的頭發(fā)上抠璃，一...
開封第一講書人閱讀 52,156評論 1贊 308
城市分裂傳說
那天，我揣著相機與錄音脱惰，去河邊找鬼搏嗡。笑死，一個胖子當著我的面吹牛拉一，可吹牛的內容都是我干的采盒。我是一名探鬼主播，決...
沈念sama閱讀 40,743評論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼蔚润，長吁一口氣：“原來是場噩夢啊……” “哼磅氨！你這毒婦竟也來了？” 一聲冷哼從身側響起嫡纠，我...
開封第一講書人閱讀 39,659評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤烦租，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后除盏，有當地人在樹林里發(fā)現了一具尸體叉橱，經...
沈念sama閱讀 46,200評論 1贊 319
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 38,282評論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年者蠕，在試婚紗的時候發(fā)現自己被綠了窃祝。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 40,424評論 1贊 352
活死人
序言：一個原本活蹦亂跳的男人離奇死亡蠢棱，死狀恐怖锌杀，靈堂內的尸體忽然破棺而出甩栈，到底是詐尸還是另有隱情泻仙，我是刑警寧澤，帶...
沈念sama閱讀 36,107評論 5贊 349
?日本核電站爆炸內幕
正文年R本政府宣布量没，位于F島的核電站玉转，受9級特大地震影響，放射性物質發(fā)生泄漏殴蹄。R本人自食惡果不足惜究抓，卻給世界環(huán)境...
茶點故事閱讀 41,789評論 3贊 333
男人毒藥：我在死后第九天來索命
文/蒙蒙一猾担、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧刺下，春花似錦绑嘹、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,264評論 0贊 23
一樁弒父案工腋，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至畅卓，卻和暖如春擅腰，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背翁潘。一陣腳步聲響...
開封第一講書人閱讀 33,390評論 1贊 271
情欲美人皮
我被黑心中介騙來泰國打工趁冈，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人拜马。一個月前我還...
沈念sama閱讀 48,798評論 3贊 376
代替公主和親
正文我出身青樓渗勘，卻偏偏與公主長得像，于是被迫代替她去往敵國和親俩莽。傳聞我的和親對象是個殘疾皇子呀邢，可洞房花燭夜當晚...
茶點故事閱讀 45,435評論 2贊 359

隨機梯度下降隨筆

隨機梯度下降

推薦閱讀更多精彩內容