卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)，可以解決圖像識(shí)別趾代、時(shí)間序列信息問(wèn)題。深度學(xué)習(xí)之前丰辣，借助SIFT撒强、HoG等算法提取特征，集合SVM等機(jī)器學(xué)習(xí)算法識(shí)別圖像笙什。

SIFT尿褪，縮放、平移得湘、旋轉(zhuǎn)、視角轉(zhuǎn)變顿仇、亮度調(diào)整畸變的一定程度內(nèi)淘正，具有不變性。有局限性臼闻，ImageNet ILSVRC比賽最好結(jié)果錯(cuò)誤率在26%以上鸿吆，常年難以突破。

卷積神經(jīng)網(wǎng)絡(luò)提取特征效果更好述呐，分類(lèi)訓(xùn)練時(shí)自動(dòng)提取最有效特征惩淳。卷積神經(jīng)網(wǎng)絡(luò)CNN，降低圖像數(shù)據(jù)預(yù)處理要求，避免復(fù)雜特征工程思犁。CNN使用圖像原始像素輸入代虾，對(duì)縮放、平移激蹲、旋轉(zhuǎn)畸變具有不變性棉磨，強(qiáng)泛化性。CNN卷積權(quán)值共享結(jié)構(gòu)学辱，大幅減少神經(jīng)網(wǎng)絡(luò)參數(shù)量乘瓤，防止過(guò)擬合，降低神經(jīng)網(wǎng)絡(luò)模型復(fù)雜度策泣。延時(shí)神經(jīng)網(wǎng)絡(luò)TDNN衙傀，時(shí)間權(quán)值共享，降低學(xué)習(xí)時(shí)間序列信號(hào)復(fù)雜度萨咕。

感受野(Receptive Field)统抬，每個(gè)視覺(jué)神經(jīng)元只會(huì)處理一小塊區(qū)域視覺(jué)圖像。神經(jīng)認(rèn)知機(jī)(Neocognitron)任洞，兩類(lèi)神經(jīng)元蓄喇，抽取特征S-cells對(duì)應(yīng)主流卷積神經(jīng)網(wǎng)絡(luò)卷積核濾波操作，抗形變C-cells對(duì)應(yīng)激活函數(shù)交掏、最大池化(Max-Pooling)操作妆偏。LeCun LeNet CNN首個(gè)成功多層訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)利用空間結(jié)構(gòu)關(guān)系減少學(xué)習(xí)參數(shù)量盅弛，提高反向傳播算法訓(xùn)練效率钱骂。

第一個(gè)卷積層，接受圖像像素級(jí)輸入挪鹏，每個(gè)卷積操作只處理一小塊圖像见秽。卷積變化后傳到后面網(wǎng)絡(luò)。每一層卷積(濾波器)讨盒，提取數(shù)據(jù)最有效特征解取。提取圖像最基礎(chǔ)特征，組合抽像更高階特征返顺。

一般卷積神經(jīng)網(wǎng)絡(luò)多個(gè)卷積層構(gòu)成禀苦。每個(gè)卷積層，圖像多個(gè)不同卷積核濾波遂鹊，加偏置(bias)振乏，提取局部特征，每個(gè)卷積核映射一個(gè)新2D圖像秉扑，卷積核濾波輸出結(jié)果慧邮，非線(xiàn)性激活函數(shù)處理(ReLU)，激活函數(shù)結(jié)果池化操作(降采樣)，最大池化误澳，保留最顯著特征耻矮，提升模型畸變?nèi)萑棠芰Α脓匿？梢约覮RN(Local Response Normalization 局部響應(yīng)歸一化層)淘钟，Batch Normalizations。

卷積核權(quán)值共享陪毡，卷積層多個(gè)不同卷積核米母，卷積核對(duì)應(yīng)濾波后映射新圖像，同一新圖像每個(gè)像素來(lái)自完全相同卷積核毡琉。降低模型復(fù)雜度铁瞒，減輕過(guò)擬合，降低計(jì)算量桅滋。

圖像空間有組織結(jié)構(gòu)慧耍，每個(gè)像素點(diǎn)與空間周?chē)袼攸c(diǎn)有緊密聯(lián)系，與太遙遠(yuǎn)像素點(diǎn)少聯(lián)系丐谋，即感受野芍碧。每個(gè)感受野只接受一小塊區(qū)域信號(hào)。小塊區(qū)域內(nèi)像素互相關(guān)聯(lián)号俐，每個(gè)神經(jīng)元不需要接收全部像素點(diǎn)信息泌豆，只接收局部像素點(diǎn)輸入，再將所有神經(jīng)元收到局部信息綜合起來(lái)得到全局信息吏饿。將全連接模型改為局部連接踪危，從隱含層每個(gè)隱含節(jié)點(diǎn)和全部像素相連，改為每個(gè)隱含節(jié)點(diǎn)連接局部像素節(jié)點(diǎn)猪落。

局部連接方式卷積操作贞远，默認(rèn)每個(gè)隱含節(jié)點(diǎn)參數(shù)完全一樣。不再擔(dān)心隱含節(jié)點(diǎn)數(shù)量和圖片大小笨忌，參數(shù)量只跟卷積核大小有關(guān)蓝仲。權(quán)值共享。一個(gè)卷積核只能提取一種卷積核濾波結(jié)果官疲，只能提取一種圖片特征杂曲。每個(gè)卷積核濾波圖像是一類(lèi)特征映射，一個(gè)Feature Map袁余。一般，第一個(gè)卷積層100個(gè)卷積核已經(jīng)充足咱揍。

卷積颖榜，不管圖片尺寸，訓(xùn)練權(quán)值只與卷積核大小、數(shù)量有關(guān)掩完，可以用非常少參數(shù)量處理任意大小圖片噪漾。每個(gè)卷積層提取特征，在后面層抽象組合更高階特征且蓬，多層抽象卷積網(wǎng)絡(luò)表達(dá)能力強(qiáng)欣硼，效率高。隱含節(jié)點(diǎn)數(shù)量沒(méi)有下降恶阴，隱含節(jié)點(diǎn)數(shù)量只跟卷積步長(zhǎng)有關(guān)诈胜。隱含節(jié)點(diǎn)數(shù)量=輸入像素?cái)?shù)量/(步長(zhǎng)X步長(zhǎng))。

卷積神經(jīng)網(wǎng)絡(luò)冯事，局部連接(Local Connection)焦匈、權(quán)值共享(Weight Sharing)、池化層(Pooling)降采樣(Down-Sampling)昵仅。局部連接缓熟、權(quán)值共享降低參數(shù)量，訓(xùn)練復(fù)雜度下降摔笤，減輕過(guò)擬合够滑。權(quán)值共享，卷積網(wǎng)絡(luò)平移容忍性吕世。池化層降低輸出參數(shù)量彰触，模型輕度形變?nèi)萑绦裕岣叻夯芰δ搿Ｓ?xùn)練中自動(dòng)完成特征提取抽象渴析，同時(shí)模式分類(lèi)，降低圖像識(shí)別難度吮龄。

LeNet5 始于1994年俭茧，深層卷積神經(jīng)網(wǎng)絡(luò)。Yann LeCun漓帚∧刚可訓(xùn)練參數(shù)卷積層，用少量參數(shù)在圖像多個(gè)位置提取相似特征尝抖。如果圖像獨(dú)立像素直接作輸入毡们，利用不到圖像很強(qiáng)的空間相關(guān)性。每個(gè)卷積層包含卷積昧辽、池化衙熔、非線(xiàn)性激活函數(shù)。卷積提取空間特征搅荞。降采樣(Subsample)平均池化層(Average Pooling)红氯。雙曲正切(Tanh)或S型(Sigmoid)激活函數(shù)框咙。MLP最后分類(lèi)器。層間稀疏連接減少計(jì)算復(fù)雜度痢甘。

State-of-the-art喇嘱。LeNet5奠定現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)基石。LeNet5,輸入圖像塞栅，三個(gè)卷積層者铜，一個(gè)全連接層，一個(gè)高斯連接層放椰。第一個(gè)卷積層C1有6個(gè)卷積核作烟，卷積核尺寸為5x5,共(5x5+1)x6=156個(gè)參數(shù)。1個(gè)bias庄敛。2x2平均池化層S2降采樣俗壹。Sigmoid激活函數(shù)非線(xiàn)性處理。第二個(gè)卷積層C3,卷積核尺寸5x5,16個(gè)卷積核藻烤，16個(gè)Feature Map绷雏。第二個(gè)池化層S4,2x2降采樣。第三個(gè)卷積層C5,120個(gè)卷積核怖亭，卷積大小5x5,輸入5x5,構(gòu)成全連接涎显，可以算全連接層。F6全連接層兴猩，84個(gè)隱含節(jié)點(diǎn)期吓，激活函數(shù)Sigmoid。最后一層倾芝，歐式徑向基函數(shù)(Euclidean Radial Basis Function)單元組成讨勤，輸出最后分類(lèi)結(jié)果。

參考資料：
《TensorFlow實(shí)戰(zhàn)》

歡迎付費(fèi)咨詢(xún)(150元每小時(shí))晨另，我的微信：qingxingfengzi