深度學習之softmax函數(shù)-梯度計算

在深度學習中宙帝，softmax層一般作為輸出層出現(xiàn)步脓，也就是網(wǎng)絡的最后一層浩螺；測試過程中要出，這一層直接輸出網(wǎng)絡的最終結(jié)果患蹂，而在訓練過程這一層又會作為誤差反傳的第一層传于，也就是計算誤差的第一層。
下面我們就來推導一下：
假設softmax層有K個神經(jīng)元（也可以理解為K個輸出）

$softmax\_out = [a_1,a_2,a_3,...a_j,...a_k]$

其中 $a_i=\frac{e^{z_i}}{\sum_{1}^k{e^{z_i}}}$
首先我們先計算softmax的輸出 $a_i$ 對輸入 $z_j$ 的偏導：
這里有兩個情況需要分別處理（1） $i=j$ ,(2) $i\neq j$

當 $i=j$ 時：
$\frac{\partial {a_i}}{\partial {z_j}} = \frac{ e^{z_j} * \sum_{1}^k{e^{z_i}} - {(e^{z_j})^2} } {({\sum_{1}^k{e^{z_i}}})^2} = \frac{e^{z_j}}{\sum_{1}^k{e^{z_i}}} * (1-{\frac{e^{z_j}}{\sum_{1}^k{e^{z_i}}}}) = a_i(1-a_i)$

當 $i \neq j$ 時：

$\frac{\partial {a_i}}{\partial {z_j}} = - {e^{z_i}} * {e^{z_j}} * \frac{1}{({\sum_{1}^k{e^{z_i}}})^2} = - {a_i}{a_j}$

有了這兩個公式就可以計算出對應梯度弹惦。
假設模型損失的值為 $E$
$\frac{\partial E}{\partial z_i} = \frac{\partial E}{\partial a_i} \frac{\partial a_i}{\partial z_i}$

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市助泽，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌隐解，老刑警劉巖煞茫，帶你破解...
沈念sama閱讀 218,546評論 6贊 507
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件续徽，死亡現(xiàn)場離奇詭異钦扭，居然都是意外死亡客情，警方通過查閱死者的電腦和手機癞己，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,224評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門概页，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人铃将，你說我怎么就攤上這事哑梳○妫” “怎么了吠卷？”我有些...
開封第一講書人閱讀 164,911評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵祭隔，是天一觀的道長。經(jīng)常有香客問我屯仗，道長搔谴，這世上最難降的妖魔是什么敦第？我笑而不...
開封第一講書人閱讀 58,737評論 1贊 294
?港島之戀（遺憾婚禮）
正文為了忘掉前任垮卓，我火速辦了婚禮师幕，結(jié)果婚禮上霹粥，老公的妹妹穿的比我還像新娘后控。我一直安慰自己浩淘，他們只是感情好，可當我...
茶點故事閱讀 67,753評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著左驾，像睡著了一般极谊。火紅的嫁衣襯著肌膚如雪轻猖。梳的紋絲不亂的頭發(fā)上咙边，一...
開封第一講書人閱讀 51,598評論 1贊 305
城市分裂傳說
那天，我揣著相機與錄音翠肘，去河邊找鬼束倍。笑死绪妹，一個胖子當著我的面吹牛柿究，可吹牛的內(nèi)容都是我干的蝇摸。我是一名探鬼主播貌夕，決...
沈念sama閱讀 40,338評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼啡专，長吁一口氣：“原來是場噩夢啊……” “哼们童！你這毒婦竟也來了慧库？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 39,249評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤嵌戈，失蹤者是張志新（化名）和其女友劉穎熟呛，沒想到半個月后庵朝，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體又厉，經(jīng)...
沈念sama閱讀 45,696評論 1贊 314
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,888評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了璧诵。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片仇冯。...
茶點故事閱讀 40,013評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡比被，死狀恐怖炕婶，靈堂內(nèi)的尸體忽然破棺而出柠掂，到底是詐尸還是另有隱情，我是刑警寧澤枪狂，帶...
沈念sama閱讀 35,731評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站严蓖，受9級特大地震影響颗胡，放射性物質(zhì)發(fā)生泄漏毒姨。R本人自食惡果不足惜钉寝，卻給世界環(huán)境...
茶點故事閱讀 41,348評論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一俘枫、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧巡球，春花似錦酣栈、人聲如沸矿筝。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,929評論 0贊 22
一樁弒父案铸史，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽琳轿。三九已至耿芹，卻和暖如春吧秕，著一層夾襖步出監(jiān)牢的瞬間砸彬，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,048評論 1贊 270
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人沪铭。一個月前我還...
沈念sama閱讀 48,203評論 3贊 370
代替公主和親
正文我出身青樓杀怠，卻偏偏與公主長得像赔退，于是被迫代替她去往敵國和親硕旗。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 44,960評論 2贊 355

深度學習之softmax函數(shù)-梯度計算

推薦閱讀更多精彩內(nèi)容