Caffe學(xué)習(xí)記錄03 - BP算法

reference:

Wiki資料

卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究 (這個(gè)里面反向傳播算法介紹的特別好,推薦看)

參考資料總結(jié):

目前階段我們不需要知道具體是怎么算得蚯撩,大體了解推理過(guò)程就可以了震贵。然后知道學(xué)習(xí)速率在哪里倾贰,和損失函數(shù)在反向傳播算法里面起了什么作用就好了。
但是要記住以下結(jié)論
1滚粟、隱層閥值梯度值取決于隱層神經(jīng)元輸出、輸出層閥值梯度和隱層與輸出層的連接權(quán)值
2刃泌、在閥值調(diào)成過(guò)程中凡壤,當(dāng)前層的閥值梯度取決于下一層的閥值梯度(BP精髓)
3、當(dāng)前層的連接權(quán)值梯度耙替,取決于當(dāng)前神經(jīng)元閥值梯度和上層神經(jīng)元輸出
4亚侠、學(xué)習(xí)速率就是調(diào)整權(quán)值時(shí),梯度前面的系數(shù)俗扇。
5硝烂、損失函數(shù)就是計(jì)算前向傳播的結(jié)果和預(yù)期值的誤差。
整體的算法流程铜幽,大概就是
首先钢坦,前傳(即訓(xùn)練輸入送入網(wǎng)絡(luò)得到響應(yīng))究孕,得到此次結(jié)果和預(yù)期的誤差,然后反傳爹凹,通過(guò)得到的誤差計(jì)算梯度厨诸,然后根據(jù)梯度來(lái)調(diào)整權(quán)值。

通俗理解

由于我們有時(shí)候不需要知道細(xì)節(jié)禾酱,所以大體知道流程就可以了微酬,這里大概就是以一個(gè)故事的形式通俗的講一講整體的流程。
有一天颤陶,我們要下山颗管,但是霧太大,看不見(jiàn)路滓走,所以我們只能以能見(jiàn)很小的范圍內(nèi)確認(rèn)自己是不是在下山垦江,然后理論上一直在向下走就是在下山,BP大概的理解就是這樣子的搅方。以梯度來(lái)看自己是不是在“下山”比吭。這樣子就會(huì)更好的理解以下要說(shuō)的BP的缺點(diǎn)。

缺點(diǎn)

1姨涡、局部極小值

這么理解衩藤,就是你在下山的時(shí)候,有一個(gè)小坑涛漂,然后由于你看不到坑的全貌赏表,但是所以你一直走下坡永遠(yuǎn)都出不了這個(gè)小坑。這種情況在學(xué)習(xí)速率特別小的時(shí)候就容易進(jìn)去匈仗。

2瓢剿、算法訓(xùn)練非常慢

這個(gè)光想就知道啦,你下山不走路線悠轩,能依賴的東西太少间狂,尋路就會(huì)非常復(fù)雜,當(dāng)然慢咯哗蜈。
創(chuàng)建時(shí)間:不詳
修改時(shí)間:2017/6/10
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末前标,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子距潘,更是在濱河造成了極大的恐慌炼列,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件音比,死亡現(xiàn)場(chǎng)離奇詭異俭尖,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門稽犁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)焰望,“玉大人,你說(shuō)我怎么就攤上這事已亥⌒芾担” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵虑椎,是天一觀的道長(zhǎng)震鹉。 經(jīng)常有香客問(wèn)我,道長(zhǎng)捆姜,這世上最難降的妖魔是什么传趾? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮泥技,結(jié)果婚禮上浆兰,老公的妹妹穿的比我還像新娘。我一直安慰自己珊豹,他們只是感情好簸呈,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著平夜,像睡著了一般蝶棋。 火紅的嫁衣襯著肌膚如雪卸亮。 梳的紋絲不亂的頭發(fā)上忽妒,一...
    開(kāi)封第一講書(shū)人閱讀 51,679評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音兼贸,去河邊找鬼段直。 笑死,一個(gè)胖子當(dāng)著我的面吹牛溶诞,可吹牛的內(nèi)容都是我干的鸯檬。 我是一名探鬼主播,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼螺垢,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼喧务!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起枉圃,我...
    開(kāi)封第一講書(shū)人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤功茴,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后孽亲,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體坎穿,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了玲昧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片栖茉。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖孵延,靈堂內(nèi)的尸體忽然破棺而出吕漂,到底是詐尸還是另有隱情,我是刑警寧澤尘应,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布痰娱,位于F島的核電站,受9級(jí)特大地震影響菩收,放射性物質(zhì)發(fā)生泄漏梨睁。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一娜饵、第九天 我趴在偏房一處隱蔽的房頂上張望坡贺。 院中可真熱鬧,春花似錦箱舞、人聲如沸遍坟。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)愿伴。三九已至,卻和暖如春电湘,著一層夾襖步出監(jiān)牢的瞬間隔节,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工寂呛, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留怎诫,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓贷痪,卻偏偏與公主長(zhǎng)得像幻妓,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子劫拢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容