降維打擊粒蜈，這點(diǎn)也是適用于卷積神經(jīng)網(wǎng)絡(luò)的。
一罐脊、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network定嗓，CNN），一般地萍桌，CNN的基本結(jié)構(gòu)包括兩層宵溅，
1、特征提取層上炎，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連恃逻，并提取該局部的特征。一旦該局部特征被提取后反症，它與其它特征間的位置關(guān)系也隨之確定下來(lái)辛块；
2、特征映射層铅碍，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面线椰，平面上所有神經(jīng)元的權(quán)值相等胞谈。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性憨愉。此外烦绳，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)配紫。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來(lái)求局部平均與二次提取的計(jì)算層径密，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。
CNN主要用來(lái)識(shí)別位移躺孝、縮放及其他形式扭曲不變性的二維圖形享扔。
- 1、由于CNN的特征檢測(cè)層通過(guò)訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)植袍，所以在使用CNN時(shí)惧眠，避免了顯示的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)于个；
- 2氛魁、再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對(duì)于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢(shì)秀存。
下面我們來(lái)用通俗的話(huà)解釋下捶码，在不考慮輸入層的情況下，一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)通常由若干個(gè)卷積層（Convolutional Layer）或链、激活層（Activation Layer）惫恼、池化層（Pooling Layer）及全連接層（Fully Connected Layer）組成。
-
卷積層：這個(gè)是卷積神經(jīng)網(wǎng)絡(luò)的核心所在株扛。在卷積層尤筐，通過(guò)實(shí)現(xiàn)
局部感知和權(quán)值共享等系列的設(shè)計(jì)理念，可達(dá)到兩個(gè)重要的目的：
1洞就、對(duì)高維輸入數(shù)據(jù)實(shí)施降維處理盆繁；
2、實(shí)現(xiàn)自動(dòng)提取原始數(shù)據(jù)的核心特征旬蟋。
激活層：其作用是將前一層的線(xiàn)性輸出油昂，通過(guò)非線(xiàn)性激活函數(shù)處理，從而可模擬任意函數(shù)倾贰，進(jìn)而增強(qiáng)網(wǎng)絡(luò)的表征能力冕碟。在深度學(xué)習(xí)領(lǐng)域，ReLU（Rectified-Linear Unit匆浙，修正線(xiàn)性單元）是目前使用較多的激活函數(shù)安寺，原因是它收斂更快，且不會(huì)產(chǎn)生梯度消失問(wèn)題首尼。
池化層：亦稱(chēng)亞采樣層（Subsampling Layer）挑庶。簡(jiǎn)單來(lái)說(shuō)，利用局部相關(guān)性软能，“采樣”在較少數(shù)據(jù)規(guī)模的同時(shí)保留了有用信息迎捺。巧妙的采樣還具備局部線(xiàn)性轉(zhuǎn)換不變性，從而增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的泛化處理能力查排。
全連接層：這個(gè)網(wǎng)絡(luò)層相當(dāng)于傳統(tǒng)的多層感知機(jī)（Multi-Layer Perceptron凳枝，簡(jiǎn)稱(chēng)MLP）。通常來(lái)說(shuō)跋核，
卷積-激活-池化是一個(gè)基本的處理?xiàng)ａ澹ㄟ^(guò)多個(gè)前棧處理之后，待處理的數(shù)據(jù)特性已有了顯著變化：一方面了罪，輸入數(shù)據(jù)的維度已下降到可用“全連接”網(wǎng)絡(luò)來(lái)處理了锭环；另一方面，此時(shí)全連接層的輸入數(shù)據(jù)已不再是“泥沙俱下泊藕、魚(yú)龍混雜”辅辩，而是經(jīng)過(guò)反復(fù)提純過(guò)的結(jié)果难礼，因此最后輸出的結(jié)果要可控得高。
二玫锋、各部分分解
1蛾茉、卷積層
卷積層的三個(gè)核心概念：局部連接、空間位置排列及權(quán)值共享撩鹿。
全連接的前饋神經(jīng)網(wǎng)絡(luò)有個(gè)非常致命的缺點(diǎn)谦炬，那就是可擴(kuò)展性（Scalability）非常差。原因非常簡(jiǎn)單节沦，網(wǎng)絡(luò)規(guī)模一大键思，需要調(diào)參的個(gè)數(shù)以神經(jīng)元數(shù)的平方倍增，導(dǎo)致它難以承受參數(shù)太多之痛甫贯。局部連接（Local Connectivity）在能某種程度上緩解這個(gè)“參數(shù)之痛”吼鳞。
對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，隱藏層的這個(gè)神經(jīng)元僅僅需要與前向?qū)拥牟糠謪^(qū)域相連接叫搁。這個(gè)局部連接區(qū)域有個(gè)特別的名稱(chēng)叫感知域（receptive field）赔桌，其大小等同于卷積核的大小。局部連接也被稱(chēng)為稀疏連接（Sparse Connectivity）渴逻。
2疾党、空間排列
決定卷積層的空間排列（Spatial arrangement）的4個(gè)參數(shù)，它們分別是：卷積核的大小惨奕、深度雪位、步幅及補(bǔ)零。
（1）卷積核的深度（depth）：卷積核的深度對(duì)應(yīng)的是卷積核的個(gè)數(shù)梨撞。每個(gè)卷積核只能提取輸入數(shù)據(jù)的部分特征茧泪。每一個(gè)卷積核與原始輸入數(shù)據(jù)執(zhí)行卷積操作，會(huì)得到一個(gè)卷積特征聋袋，這樣的多個(gè)特征匯集在一起，我們稱(chēng)為特征圖譜穴吹。
事實(shí)上幽勒，每個(gè)卷積核提取的特征都有各自的側(cè)重點(diǎn)。因此港令，通常說(shuō)來(lái)啥容，多個(gè)卷積核的疊加效果要比單個(gè)卷積核的分類(lèi)效果要好得多。
（2）步幅（stride）：即濾波矩陣在輸入矩陣上滑動(dòng)跨越的單元個(gè)數(shù)顷霹。設(shè)步幅大小為S咪惠，當(dāng)S為1時(shí)，濾波器每次移動(dòng)一個(gè)像素的位置淋淀。當(dāng)S為2時(shí)遥昧，每次移動(dòng)濾波器會(huì)跳過(guò)2個(gè)像素。S越大，卷積得到特征圖就越小炭臭。
（3）補(bǔ)零（zero-padding）：補(bǔ)零操作通常用于邊界處理永脓。在有些場(chǎng)景下，卷積核的大小并不一定剛好就被輸入數(shù)據(jù)矩陣的維度大小整除鞋仍。因此常摧，就會(huì)出現(xiàn)卷積核不能完全覆蓋邊界元素的情況。這時(shí)威创，我們就需要在輸入矩陣的邊緣使用零值進(jìn)行填充落午，使得在輸入矩陣的邊界處的大小剛好和卷積核大小匹配。這樣做的結(jié)果肚豺，相當(dāng)于對(duì)輸入圖像矩陣的邊緣進(jìn)行了一次濾波溃斋。零填充的好處在于，它可以讓我們控制特征圖的大小详炬。使用零填充的卷積叫做泛卷積（wide convolution）盐类，不適用零填充的叫做嚴(yán)格卷積（narrow convolution）。
綜上所述呛谜，在構(gòu)造卷積層時(shí)在跳，對(duì)于給定的輸入數(shù)據(jù)，如果確定了卷積核的大小隐岛，卷積核的深度（個(gè)數(shù)）猫妙、步幅以及補(bǔ)零個(gè)數(shù)，那么卷積層的空間安排就能確定下來(lái)聚凹。
3割坠、權(quán)值共享
卷積層設(shè)計(jì)的第三個(gè)核心概念就是權(quán)值共享（Shared Weights），由于這些權(quán)值實(shí)際上就是不同神經(jīng)元之間的連接參數(shù)妒牙，所以有時(shí)候彼哼，也將權(quán)值共享稱(chēng)為參數(shù)共享（Parameter Sharing）。
單從數(shù)據(jù)特征上來(lái)看湘今，我們可以把每個(gè)卷積核（即過(guò)濾核）當(dāng)作一種特征提取方式敢朱，而這種方式與圖像等數(shù)據(jù)的位置無(wú)關(guān)。這就意味著摩瞎，對(duì)于同一個(gè)卷積核拴签，它在一個(gè)區(qū)域提取到的特征，也能適用于于其他區(qū)域旗们◎玖ǎ基于權(quán)值共享策略，將卷積層神經(jīng)元與輸入數(shù)據(jù)相連上渴，同屬于一個(gè)特征圖譜的神經(jīng)元岸梨，將共用一個(gè)權(quán)值參數(shù)矩陣喜颁。
權(quán)值共享保證了在卷積時(shí)只需要學(xué)習(xí)一個(gè)參數(shù)集合即可，而不是對(duì)每個(gè)位置都再學(xué)習(xí)一個(gè)單獨(dú)的參數(shù)集合盛嘿。因此參數(shù)共享也被稱(chēng)為綁定的權(quán)值（tied weights）洛巢。
三、結(jié)論
空間位置排列確定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)次兆，而局部連接和權(quán)值共享等策略顯著降低了神經(jīng)元之間的連接數(shù)稿茉。
卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)芥炭，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性漓库，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類(lèi)過(guò)程中數(shù)據(jù)重建的復(fù)雜度。
四园蝠、參考
1渺蒿、局部連接來(lái)減參，權(quán)值共享肩并肩（深度學(xué)習(xí)入門(mén)系列之十一）
2彪薛、技術(shù)向：一文讀懂卷積神經(jīng)網(wǎng)絡(luò)CNN
3茂装、機(jī)器視角：長(zhǎng)文揭秘圖像處理和卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
