1 卷積網(wǎng)絡(luò)層次類型
卷積層原探，通過(guò)多個(gè)卷積核進(jìn)行特征提取
激活層柴底，非線性激活函數(shù)處理濾波結(jié)果，常用的有ReLu莫矗，sigmoid
池化層飒硅，通過(guò)降采樣降低輸出維度，賦予模型對(duì)輕度形變的容忍性作谚，提高模型泛化能力
歸一化層三娩，非典型層。在LeNet中用到妹懒，用于提高模型準(zhǔn)確率雀监，增加泛化能力。
2 CNN特點(diǎn)
局部連接彬伦，基于人的感受野滔悉，每個(gè)神經(jīng)元只會(huì)對(duì)小塊區(qū)域激活，通過(guò)卷積核可以降低參數(shù)維度
權(quán)值共享单绑，每個(gè)隱層對(duì)應(yīng)的卷積核參數(shù)一致回官，進(jìn)一步降低參數(shù)維度
池化層降采樣，降低輸出維度搂橙，賦予模型對(duì)輕度形變的容忍性歉提，提高模型泛化能力
3經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)
早期比較著名的卷積神經(jīng)網(wǎng)絡(luò)是1994年由Yann Lecun提出的LeNet5，包括3個(gè)卷積層区转，1個(gè)全連接層和1個(gè)高斯連接層苔巨，這個(gè)模型用到的很多方法在當(dāng)前最先進(jìn)的網(wǎng)絡(luò)依然有效。包括卷積層的構(gòu)成废离，使用卷積提取特征侄泽，降采樣，使用MLP作為分類器蜻韭，使用tanh和sigmoid函數(shù)激活悼尾。
2012年，由Hinton的學(xué)生Alex提出的更大規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)在ILSVRC一鳴驚人肖方，取得了遠(yuǎn)低于其他模型的分類錯(cuò)誤率闺魏。后續(xù)的ILSVRC，更大規(guī)模的神經(jīng)網(wǎng)絡(luò)取得了更低的分類錯(cuò)誤率俯画，甚至超過(guò)了人類析桥。
