2018-04-09 第二周

CNN層次分析

簡介cnn:

典型的深度學習模型就是很深層的神經(jīng)網(wǎng)絡惹想,包含多個隱含層编矾,多隱層的神經(jīng)網(wǎng)絡很難直接使用BP算法進行直接訓練庐椒,因為反向傳播誤差時往往會發(fā)散抡四,很難收斂

CNN節(jié)省訓練開銷的方式是權共享weight sharing,讓一組神經(jīng)元使用相同的權值

主要用于圖像識別領域


卷積(Convolution)特征提取

卷積核(Convolution Kernel)举反,也叫過濾器filter懊直,由對應的權值W和偏置b體現(xiàn)

下圖是3x3的卷積核在5x5的圖像上做卷積的過程,就是矩陣做點乘之后的和?


卷積特征提取的原理

卷積特征提取利用了自然圖像的統(tǒng)計平穩(wěn)性火鼻,這一部分學習的特征也能用在另一部分上室囊,所以對于這個圖像上的所有位置,我們都能使用同樣的學習特征魁索。

當有多個filter時融撞,我們就可以學到多個特征,例如:輪廓粗蔚、顏色等

多個過濾器filter(卷積核)

例子如下?

一張圖片有RGB三個顏色通道尝偎,則對應的filter過濾器也是三維的,圖像經(jīng)過每個filter做卷積運算后都會得到對應提取特征的圖像,途中兩個filter:W0和W1,輸出的就是兩個圖像

這里的步長stride為2(一般就取2,3)

在原圖上添加zero-padding致扯,它是超參數(shù)肤寝,主要用于控制輸出的大小

同樣也是做卷積操作,以下圖的一步卷積操作為例:?

與w0[:,:,0]卷積:0x(-1)+0x0+0x1+0x1+0x0+1x(-1)+1x0+1x(-1)+2x0=-2?

與w0[:,:,1]卷積:2x1+1x(-1)+1x1=2?

與w0[:,:,2]卷積:1x(-1)+1x(-1)=-2?

最終結果:-2+2+(-2)+1=-1?(1為偏置)?

池化

也叫做下采樣

Pooling過程?

把提取之后的特征看做一個矩陣抖僵,并在這個矩陣上劃分出幾個不重合的區(qū)域鲤看,

然后在每個區(qū)域上計算該區(qū)域內(nèi)特征的均值最大值,然后用這些均值或最大值參與后續(xù)的訓練?

-下圖是使用最大Pooling的方法之后的結果?

Pooling的好處?

很明顯就是減少參數(shù)

Pooling就有平移不變性((translation invariant)?

如圖feature map是12x12大小的圖片耍群,Pooling區(qū)域為6x6,所以池化后得到的feature map為2x2,假設白色像素值為1义桂,灰色像素值為0,若采用max pooling之后蹈垢,左上角窗口值為1?


將圖像右移一個像素澡刹,左上角窗口值仍然為1?


將圖像縮放之后,左上角窗口值仍然為1?

Pooling的方法中average方法對背景保留更好耘婚,max對紋理提取更好

深度學習可以進行多次卷積、池化操作

激活層

在每次卷積操作之后一般都會經(jīng)過一個非線性層陆赋,也是激活層

現(xiàn)在一般選擇是ReLu,層次越深沐祷,相對于其他的函數(shù)效果較好,還有Sigmod,tanh函數(shù)等?

sigmod和tanh都存在飽和的問題攒岛,如上圖所示赖临,當x軸上的值較大時,對應的梯度幾乎為0灾锯,若是利用BP反向傳播算法兢榨, 可能造成梯度消失的情況,也就學不到東西了

將多次卷積和池化后的圖像展開進行全連接顺饮,如下圖所示吵聪。?

接下來就可以通過BP反向傳播進行訓練了

所以總結起來,結構可以是這樣的?

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末兼雄,一起剝皮案震驚了整個濱河市吟逝,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌赦肋,老刑警劉巖块攒,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異佃乘,居然都是意外死亡囱井,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門趣避,熙熙樓的掌柜王于貴愁眉苦臉地迎上來庞呕,“玉大人,你說我怎么就攤上這事程帕∏Х觯” “怎么了料祠?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長澎羞。 經(jīng)常有香客問我髓绽,道長,這世上最難降的妖魔是什么妆绞? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任顺呕,我火速辦了婚禮,結果婚禮上括饶,老公的妹妹穿的比我還像新娘株茶。我一直安慰自己,他們只是感情好图焰,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布启盛。 她就那樣靜靜地躺著,像睡著了一般技羔。 火紅的嫁衣襯著肌膚如雪僵闯。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天藤滥,我揣著相機與錄音鳖粟,去河邊找鬼。 笑死拙绊,一個胖子當著我的面吹牛向图,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播标沪,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼榄攀,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了金句?” 一聲冷哼從身側響起航攒,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎趴梢,沒想到半個月后漠畜,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡坞靶,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年憔狞,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片彰阴。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡瘾敢,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情簇抵,我是刑警寧澤庆杜,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站碟摆,受9級特大地震影響晃财,放射性物質發(fā)生泄漏。R本人自食惡果不足惜典蜕,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一断盛、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧愉舔,春花似錦钢猛、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至火的,卻和暖如春壶愤,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背卫玖。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留踊淳,地道東北人假瞬。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像迂尝,于是被迫代替她去往敵國和親脱茉。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容