第一周《卷積神經(jīng)網(wǎng)絡(luò)》

P1.2/1.3 邊緣檢測(cè)

說(shuō)到了卷積核之前是手工設(shè)計(jì)的仑最,能提取出一些特定的淺層邊緣信息朴则,但是存在卷積核粒度太過(guò)粗糙歇终、適應(yīng)性不好等問(wèn)題社证,因此引出了我們把卷積核設(shè)為一個(gè)參數(shù),然后利用反向傳播算法來(lái)學(xué)習(xí)其中的參數(shù)练湿。

P1.4 Padding

講到是為了解決:

  1. 卷積后圖像變少(變?yōu)樵瓐D的維度 - 卷積核的維度 + 1猴仑,比如原圖是66,卷積核是33肥哎,那么卷積之后的圖像是6-3+1=4辽俗,是4*4的圖像了,被縮小了篡诽。)

那為什么怕圖像變小呢崖飘?你想想看,網(wǎng)絡(luò)深度是大趨勢(shì)杈女,假如我們的網(wǎng)絡(luò)有100層朱浴,那么原圖到后面就很小了啊达椰!這還怎么表現(xiàn)高維特征昂泊馈!

  1. 邊緣位置的像素比圖像中心像素卷積次數(shù)要少啰劲。

如下圖所示梁沧,邊緣位置處的像素被卷積的次數(shù)減少,也就是說(shuō)會(huì)有信息丟失蝇裤,因此為了補(bǔ)充這部分信息廷支,我們?nèi)藶榈丶尤胩畛鋪?lái)使得邊緣像素被充分卷積,從而不丟失信息栓辜。

  1. 為什么卷積核大小一般都是奇數(shù)呢恋拍?

如下圖所示,為了保證卷積后的大小保持不變藕甩,我們的需要填充的層數(shù)p=(f-1)/2施敢,因此卷積的維數(shù)f一般得取奇數(shù)才能保證填充對(duì)稱啊狭莱!
第二個(gè)原因是:奇數(shù)維度的卷積核才會(huì)有一個(gè)中心點(diǎn)懊蹑ⅰ!偶數(shù)卷積核就沒(méi)有贩毕,因此在后面有可能需要選擇一個(gè)中心點(diǎn)的時(shí)候奇數(shù)核才方便悯许。
注:這不是充分條件。

P1.5 Strided convolution

假設(shè):

圖像:n*n
卷積核(filter):f*f
padding:p
stride: s

那么卷積后的圖像大小是:(n+2p-f)/s + 1
那么問(wèn)題來(lái)了:假如除完后不是整數(shù)咋辦?
我們一般對(duì)之進(jìn)行floor操作(見(jiàn)下圖中floor處),也就是當(dāng)圖中藍(lán)色框移出圖像的邊界的時(shí)候我們按照慣例就不做卷積操作了!

P1.6 立體卷積(彩色圖像卷積)

這里需要注意的是媒鼓,卷積之后深度(channel)變?yōu)?了垃僚,而不是3集绰;

不同的卷積核得到不同的feature maps

P1.7/1.8 構(gòu)建單層卷積網(wǎng)絡(luò)

這里是進(jìn)行非線性(ReLU)激活(函數(shù))操作,由于只有兩個(gè)卷積核谆棺,因此輸出是4*4*2


P1.9 Max Pooling

最大的那個(gè)是最有可能代表特征栽燕。
filter大小strde大小這個(gè)是固定的,不是通過(guò)反向傳播來(lái)學(xué)習(xí)的改淑。


  • 絕大部分用的都是最大池化碍岔,在某些個(gè)深度網(wǎng)絡(luò)中是個(gè)例用平均池化。
  • 通常情況下絕對(duì)不用padding朵夏,除了某種情況(后面會(huì)講)蔼啦。

P1.10 實(shí)例操作(參考LeNet-5模型的參數(shù))

參考LeNet-5建立的模型
  • 卷積層的一層定義為:卷積操作+pooling層;因?yàn)閜ooling層是沒(méi)有權(quán)值參數(shù)的仰猖,因此不算layer捏肢;
  • 可以從下圖看到pool層是沒(méi)有參數(shù)的,Activation是緩慢變小的(視頻里說(shuō)到按照經(jīng)驗(yàn)假如下降很快的話效果反而不好)饥侵,參數(shù)在全連接層是最多的鸵赫。

P1.11為什么使用卷積

因?yàn)楦B接比起來(lái)有參數(shù)共享稀疏連接兩個(gè)大優(yōu)勢(shì)啊躏升!
參數(shù)共享:就是說(shuō)跟全連接比起來(lái)n的n次方個(gè)權(quán)值比起來(lái)要少的多的多氨绨簟!
稀疏連接:如下圖所示卷積后的值煮甥,比如綠色圈內(nèi)標(biāo)識(shí)的那個(gè)0,只受原圖左上角的九個(gè)值的影響藕赞,除此之外的其他像素完全不影響它成肘,因此這就是稀疏的連接,也就是降維嘛斧蜕!減少了參數(shù)就是降低了過(guò)擬合的風(fēng)險(xiǎn)嘛双霍!

含沖量/RMSProp/....的梯度下降?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末批销,一起剝皮案震驚了整個(gè)濱河市洒闸,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌均芽,老刑警劉巖丘逸,帶你破解...
    沈念sama閱讀 222,729評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異掀宋,居然都是意外死亡深纲,警方通過(guò)查閱死者的電腦和手機(jī)仲锄,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)湃鹊,“玉大人儒喊,你說(shuō)我怎么就攤上這事”液牵” “怎么了怀愧?”我有些...
    開(kāi)封第一講書人閱讀 169,461評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)余赢。 經(jīng)常有香客問(wèn)我芯义,道長(zhǎng),這世上最難降的妖魔是什么没佑? 我笑而不...
    開(kāi)封第一講書人閱讀 60,135評(píng)論 1 300
  • 正文 為了忘掉前任毕贼,我火速辦了婚禮,結(jié)果婚禮上蛤奢,老公的妹妹穿的比我還像新娘鬼癣。我一直安慰自己,他們只是感情好啤贩,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,130評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布待秃。 她就那樣靜靜地躺著,像睡著了一般痹屹。 火紅的嫁衣襯著肌膚如雪章郁。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 52,736評(píng)論 1 312
  • 那天志衍,我揣著相機(jī)與錄音暖庄,去河邊找鬼。 笑死楼肪,一個(gè)胖子當(dāng)著我的面吹牛培廓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播春叫,決...
    沈念sama閱讀 41,179評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼肩钠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了暂殖?” 一聲冷哼從身側(cè)響起价匠,我...
    開(kāi)封第一講書人閱讀 40,124評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎呛每,沒(méi)想到半個(gè)月后踩窖,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡晨横,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,723評(píng)論 3 342
  • 正文 我和宋清朗相戀三年毙石,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了廉沮。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,872評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡徐矩,死狀恐怖滞时,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情滤灯,我是刑警寧澤坪稽,帶...
    沈念sama閱讀 36,533評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站鳞骤,受9級(jí)特大地震影響窒百,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜豫尽,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,213評(píng)論 3 336
  • 文/蒙蒙 一篙梢、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧美旧,春花似錦渤滞、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 32,700評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至嗽测,卻和暖如春绪励,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背唠粥。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 33,819評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工疏魏, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人晤愧。 一個(gè)月前我還...
    沈念sama閱讀 49,304評(píng)論 3 379
  • 正文 我出身青樓大莫,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親养涮。 傳聞我的和親對(duì)象是個(gè)殘疾皇子葵硕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,876評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容