一匙隔、前言
深度學(xué)習(xí)
深度學(xué)習(xí)是通過構(gòu)造一個多層的表示學(xué)習(xí)結(jié)構(gòu)（表示學(xué)習(xí)結(jié)構(gòu)指算法在少量人為先驗(yàn)經(jīng)驗(yàn)的情況下自動從數(shù)據(jù)中抽取合適的特征）爽锥，使用一系列非線性變換操作從原始數(shù)據(jù)中提取簡單的特征進(jìn)行組合涌韩，從而得到更高層、更抽象的表示氯夷。
人工神經(jīng)網(wǎng)絡(luò)
多項(xiàng)式分類器可以對任何形狀（線性或者非線性）的決策面進(jìn)行建模臣樱，但其實(shí)際有效性是有限的，因其容易過擬合帶噪聲的訓(xùn)練數(shù)據(jù)腮考，而且有時(shí)候包含很多的訓(xùn)練參數(shù)雇毫。因此，在這種情況下踩蔚，人工神經(jīng)網(wǎng)絡(luò)的使用更為普遍棚放，人工神經(jīng)網(wǎng)絡(luò)是由簡單神經(jīng)單元加權(quán)連接而成的高性能的一種結(jié)構(gòu)。
神經(jīng)網(wǎng)絡(luò)模擬人類視覺原理馅闽，構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)飘蚯，較低層的識別初級的圖像特征，若干底層特征組成更上一層特征福也，最終通過多個層級的組合局骤，最終在頂層做出分類。
二暴凑、卷積神經(jīng)網(wǎng)絡(luò)（CNN）基本概念
卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)峦甩，擅長處理圖像特別是大圖像的相關(guān)機(jī)器學(xué)習(xí)問題。卷積網(wǎng)絡(luò)通過一系列方法搬设，成功將數(shù)據(jù)量龐大的圖像識別問題不斷降維穴店，最終使其能夠被訓(xùn)練撕捍。
卷積(Convolution)
可以看到，現(xiàn)在有一張 5x5 的圖片泣洞，利用 3x3 的卷積核忧风，步長為 1（即每次滑動一個維度）
1 0 1
0 1 0
1 0 1
得到 3x3 的卷積結(jié)果（圖中的橙色部分可以理解為一個滑動窗口）。
這個過程我們可以理解為我們使用一個過濾器（卷積核）來過濾圖像的各個小區(qū)域球凰，從而得到這些小區(qū)域的特征值狮腿。在實(shí)際訓(xùn)練過程中，卷積核的值是在學(xué)習(xí)過程中學(xué)到的呕诉。
池化（Pooling）
池化聽起來很高深缘厢，其實(shí)簡單的說就是下采樣。池化的過程如下圖所示：
可以看到甩挫，原始圖片是 20x20 的贴硫，采樣窗口是 10x10 的，最終將其下采樣為一個 2x2 的特征圖伊者。
之所以要進(jìn)行下采樣英遭，是因?yàn)榫矸e之后的圖片仍然很大（因?yàn)榫矸e核比較小）亦渗。
卷積與池化的區(qū)別就是卷積是一行一行掃過去的挖诸，而池化中橙色矩陣時(shí)紅色矩陣的整數(shù)倍。
注：最后的卷積（池化）結(jié)果維度 = （原始圖像維度 - 卷積核維度） / 步長 + 1
三法精、Alexnet 網(wǎng)絡(luò)結(jié)構(gòu)
全連接6
第六層輸入數(shù)據(jù)的維度是 6 x 6 x 256多律，采用4096 個 66256 尺寸的濾波器對第六層的輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算；每個66256尺寸的濾波器對第六層的輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算生成一個運(yùn)算結(jié)果搂蜓。
由于第六層的運(yùn)算過程中狼荞，采用的濾波器的尺寸(66256)與待處理的feature map的尺寸(66256)相同，即濾波器中的每個系數(shù)只與feature map中的一個像素值相乘洛勉；而其它卷積層中粘秆，每個濾波器的系數(shù)都會與多個feature map中像素值相乘；因此收毫，將第六層稱為全連接層。
第五層輸出的66256規(guī)模的像素層數(shù)據(jù)與第六層的4096個神經(jīng)元進(jìn)行全連接殷勘，然后經(jīng)由relu6進(jìn)行處理后生成4096個數(shù)據(jù)此再，再經(jīng)過dropout6處理后輸出4096個數(shù)據(jù)。
全連接7
第六層輸出的4096個數(shù)據(jù)與第七層的4096個神經(jīng)元進(jìn)行全連接玲销，然后經(jīng)由relu7進(jìn)行處理后生成4096個數(shù)據(jù)输拇，再經(jīng)過dropout7處理后輸出4096個數(shù)據(jù)。
全連接8
第七層輸出的4096個數(shù)據(jù)與第八層的1000個神經(jīng)元進(jìn)行全連接贤斜，經(jīng)過訓(xùn)練后輸出被訓(xùn)練的數(shù)值策吠。
四逛裤、VGG16 網(wǎng)絡(luò)結(jié)構(gòu)
vgg16 是在Alexnet 網(wǎng)絡(luò)基礎(chǔ)上做了改進(jìn)，具體結(jié)構(gòu)如圖所示：
