P1.2/1.3 邊緣檢測(cè)
說(shuō)到了卷積核之前是手工設(shè)計(jì)的仑最,能提取出一些特定的淺層邊緣信息朴则,但是存在卷積核粒度太過(guò)粗糙歇终、適應(yīng)性不好等問(wèn)題社证,因此引出了我們把卷積核設(shè)為一個(gè)參數(shù),然后利用反向傳播算法來(lái)學(xué)習(xí)其中的參數(shù)练湿。
P1.4 Padding
講到是為了解決:
- 卷積后圖像變少(變?yōu)樵瓐D的維度 - 卷積核的維度 + 1猴仑,比如原圖是66,卷積核是33肥哎,那么卷積之后的圖像是6-3+1=4辽俗,是4*4的圖像了,被縮小了篡诽。)
那為什么怕圖像變小呢崖飘?你想想看,網(wǎng)絡(luò)深度是大趨勢(shì)杈女,假如我們的網(wǎng)絡(luò)有100層朱浴,那么原圖到后面就很小了啊达椰!這還怎么表現(xiàn)高維特征昂泊馈!
- 邊緣位置的像素比圖像中心像素卷積次數(shù)要少啰劲。
如下圖所示梁沧,邊緣位置處的像素被卷積的次數(shù)減少,也就是說(shuō)會(huì)有信息丟失蝇裤,因此為了補(bǔ)充這部分信息廷支,我們?nèi)藶榈丶尤胩畛鋪?lái)使得邊緣像素被充分卷積,從而不丟失信息栓辜。
- 為什么卷積核大小一般都是奇數(shù)呢恋拍?
如下圖所示,為了保證卷積后的大小保持不變藕甩,我們的需要填充的層數(shù)p=(f-1)/2施敢,因此卷積的維數(shù)f一般得取奇數(shù)才能保證填充對(duì)稱啊狭莱!
第二個(gè)原因是:奇數(shù)維度的卷積核才會(huì)有一個(gè)中心點(diǎn)懊蹑ⅰ!偶數(shù)卷積核就沒(méi)有贩毕,因此在后面有可能需要選擇一個(gè)中心點(diǎn)的時(shí)候奇數(shù)核才方便悯许。
注:這不是充分條件。
P1.5 Strided convolution
假設(shè):
圖像:n*n
卷積核(filter):f*f
padding:p
stride: s
那么卷積后的圖像大小是:(n+2p-f)/s + 1
那么問(wèn)題來(lái)了:假如除完后不是整數(shù)咋辦?
我們一般對(duì)之進(jìn)行floor操作(見(jiàn)下圖中floor處),也就是當(dāng)圖中藍(lán)色框移出圖像的邊界的時(shí)候我們按照慣例就不做卷積操作了!
P1.6 立體卷積(彩色圖像卷積)
這里需要注意的是媒鼓,卷積之后深度(channel)變?yōu)?了垃僚,而不是3集绰;
不同的卷積核得到不同的feature maps
P1.7/1.8 構(gòu)建單層卷積網(wǎng)絡(luò)
這里是進(jìn)行非線性(ReLU)激活(函數(shù))操作,由于只有兩個(gè)卷積核谆棺,因此輸出是4*4*2
P1.9 Max Pooling
最大的那個(gè)是最有可能代表特征栽燕。
filter大小strde大小這個(gè)是固定的,不是通過(guò)反向傳播來(lái)學(xué)習(xí)的改淑。
- 絕大部分用的都是最大池化碍岔,在某些個(gè)深度網(wǎng)絡(luò)中是個(gè)例用平均池化。
- 通常情況下絕對(duì)不用padding朵夏,除了某種情況(后面會(huì)講)蔼啦。
P1.10 實(shí)例操作(參考LeNet-5模型的參數(shù))
- 卷積層的一層定義為:卷積操作+pooling層;因?yàn)閜ooling層是沒(méi)有權(quán)值參數(shù)的仰猖,因此不算layer捏肢;
- 可以從下圖看到pool層是沒(méi)有參數(shù)的,Activation是緩慢變小的(視頻里說(shuō)到按照經(jīng)驗(yàn)假如下降很快的話效果反而不好)饥侵,參數(shù)在全連接層是最多的鸵赫。
P1.11為什么使用卷積
因?yàn)楦B接比起來(lái)有參數(shù)共享跟稀疏連接兩個(gè)大優(yōu)勢(shì)啊躏升!
參數(shù)共享:就是說(shuō)跟全連接比起來(lái)n的n次方個(gè)權(quán)值比起來(lái)要少的多的多氨绨簟!
稀疏連接:如下圖所示卷積后的值煮甥,比如綠色圈內(nèi)標(biāo)識(shí)的那個(gè)0,只受原圖左上角的九個(gè)值的影響藕赞,除此之外的其他像素完全不影響它成肘,因此這就是稀疏的連接,也就是降維嘛斧蜕!減少了參數(shù)就是降低了過(guò)擬合的風(fēng)險(xiǎn)嘛双霍!
含沖量/RMSProp/....的梯度下降?