反向傳播的迭代公式為
其中f是激活函數(shù)，常用sigmoid激活函數(shù)求導為
導數(shù)值域都小于1，誤差經(jīng)過每一層傳遞都會減小绢陌，層數(shù)很深的時候，梯度就會不停衰減熔恢，甚至消失脐湾，使網(wǎng)絡很難訓練，這就是梯度消失問題叙淌。
解決方法：BN秤掌，ResNet，權(quán)重正則（爆炸）凿菩，換激活函數(shù)
2019-03-18機器學習——梯度消失和爆炸
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門堵未，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人盏触，你說我怎么就攤上這事渗蟹。” “怎么了赞辩？”我有些...
- 文/不壞的土叔 我叫張陵雌芽，是天一觀的道長。 經(jīng)常有香客問我辨嗽，道長世落，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任糟需，我火速辦了婚禮屉佳，結(jié)果婚禮上谷朝，老公的妹妹穿的比我還像新娘。我一直安慰自己武花，他們只是感情好圆凰，可當我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著髓堪，像睡著了一般送朱。 火紅的嫁衣襯著肌膚如雪娘荡。 梳的紋絲不亂的頭發(fā)上干旁，一...
- 文/蒼蘭香墨 我猛地睜開眼翔试，長吁一口氣：“原來是場噩夢啊……” “哼轻要！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起垦缅，我...
- 正文 年R本政府宣布，位于F島的核電站漫试，受9級特大地震影響六敬，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜驾荣，卻給世界環(huán)境...
- 文/蒙蒙 一外构、第九天 我趴在偏房一處隱蔽的房頂上張望普泡。 院中可真熱鬧，春花似錦审编、人聲如沸撼班。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽砰嘁。三九已至，卻和暖如春勘究，著一層夾襖步出監(jiān)牢的瞬間矮湘，已是汗流浹背。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 前言 本文主要深入介紹深度學習中的梯度消失和梯度爆炸的問題以及解決方案棠绘。本文分為三部分件相，第一部分主要直觀的介紹深度...
- 1.為什么使用梯度下降來優(yōu)化神經(jīng)網(wǎng)絡參數(shù)？ 反向傳播（用于優(yōu)化神網(wǎng)參數(shù)）：根據(jù)損失函數(shù)計算的誤差通過反向傳播的方式...
- 第二個Topic講深度學習弄唧，承接前面的《淺談機器學習基礎》适肠。 深度學習簡介 前面也提到過，機器學習的本質(zhì)就是尋找最...
- https://blog.csdn.net/program_developer/article/details/8...
