LeNet-5 ，用于實(shí)現(xiàn)手寫識(shí)別的7層CNN（不包含輸入層）挠乳，以下為L(zhǎng)eNet-5的示意圖：

LeNet-5示意圖.png

輸入原始圖像的大小是32×32寝蹈，卷積層用 Cx 表示榆骚，子采樣層（pooling）用Sx表示，全連接層用Fx表示浪读，x 代表層數(shù)昔榴。

C1層是Conv層，單通道下用了6個(gè)filter碘橘，這樣就得到了6個(gè)feature map互订，其中每個(gè)卷積核的大小為5*5（因?yàn)槭菃瓮ǖ溃跃鸵粚樱┒徊穑妹總€(gè)卷積核與原始的輸入圖像進(jìn)行卷積仰禽，這樣每個(gè)filter對(duì)應(yīng)的feature map的大小為(32-5+1)×(32-5+1)= 28×28，所需要的參數(shù)的個(gè)數(shù)為(5×5+1)×6= 156(其中5×5為卷積模板參數(shù)纺蛆，1為偏置參數(shù))吐葵，連接數(shù)為(5×5+1)×28×28×6=122304(其中28×28為卷積后圖像的大小)。

S2層為 pooling 層桥氏，也可以說(shuō)是池化或者特征映射的過(guò)程温峭。6個(gè) feature map，每個(gè)feature map的大小為1414字支，每個(gè)feature map的隱單元與上一層C1相對(duì)應(yīng)的feature map的 2×2 單元相連接凤藏，這里沒(méi)有重疊。計(jì)算過(guò)程是：2×2 單元里的值相加然后再乘以訓(xùn)練參數(shù)w堕伪，再加上一個(gè)偏置參數(shù)b(每一個(gè)feature map共享相同w和b)揖庄，然后取sigmoid （S函數(shù)：0-1區(qū)間）值，作為對(duì)應(yīng)的該單元的值欠雌。（和max-polling蹄梢，average-pooling有點(diǎn)區(qū)別）所以S2層中每 feature map 的長(zhǎng)寬都是上一層C1的一半。S2層需要2×6=12個(gè)參數(shù)桨昙，連接數(shù)為(4+1)×14×14×6 = 5880检号。注：這里池化的過(guò)程與ufldl教程中略有不同腌歉。下面為卷積操作與池化的示意圖：

卷積操作與池化的示意圖.png

C3層也是一個(gè)Conv層（14個(gè)通道），16核卷積齐苛，注意此處C3并不是與S2全連接而是部分連接翘盖，見下圖），有16個(gè)卷積核凹蜂，卷積模板的大小為55馍驯，因此具有16個(gè)feature maps，每個(gè)feature map的大小為(14-5+1)×(14-5+1）= 10×10玛痊。每個(gè)feature map只與上一層S2中部分feature maps相連接汰瘫，下表給出了16個(gè)feature maps與上一層S2的連接方式(行為S2層feature map的標(biāo)號(hào)，列為C3層feature map的標(biāo)號(hào)擂煞，第一列表示C3層的第0個(gè)feature map只有S2層的第0混弥、1和2這三個(gè)feature maps相連接，其它解釋類似)对省。為什么要采用部分連接蝗拿，而不采用全連接呢？首先就是部分連接蒿涎，可計(jì)算的參數(shù)就會(huì)比較少哀托，其次更重要的是它能打破對(duì)稱性，這樣就能得到輸入的不同特征集合劳秋。以第0個(gè)feature map描述計(jì)算過(guò)程：用1個(gè)卷積核(對(duì)應(yīng)3個(gè)卷積模板仓手，但仍稱為一個(gè)卷積核，可以認(rèn)為是三維卷積核)分別與S2層的3個(gè)feature maps進(jìn)行卷積玻淑，然后將卷積的結(jié)果相加嗽冒，再加上一個(gè)偏置，再取sigmoid就可以得出對(duì)應(yīng)的feature map了岁忘。所需要的參數(shù)數(shù)目為（5×5×3+1)×6 +(5×5×4+1)×9 +5×5×6+1 = 1516(5×5為卷積參數(shù)辛慰，卷積核分別有 3 4 6 個(gè)卷積模板)，連接數(shù)為151610*10= 151600干像。

image.png

S4層也是采樣層帅腌，有16個(gè)feature maps，每個(gè)feature map的大小為5×5麻汰，計(jì)算過(guò)程和S2類似速客，需要參數(shù)個(gè)數(shù)為16×2 = 32個(gè)，連接數(shù)為(4+1)×5×5×16 = 2000.

C5為卷積層五鲫，有120個(gè)卷積核溺职，卷積核的大小仍然為5×5，因此有120個(gè)feature maps，每個(gè)feature map的大小都與上一層S4的所有feature maps進(jìn)行連接浪耘，這樣一個(gè)卷積核就有16個(gè)卷積模板乱灵。Feature map的大小為1×1，這樣剛好變成了全連接七冲，但是我們不把它寫成F5痛倚，因?yàn)檫@只是巧合。C5層有120(5516+1) = 48120(16為上一層所有的feature maps個(gè)數(shù))參數(shù)（自己的理解：和C3的不同澜躺，這一層一共有120個(gè)16維的55大小的卷積核蝉稳，且每一個(gè)核中的16維模板都一樣），連接數(shù)也是這么多掘鄙。

F6層有86個(gè)神經(jīng)單元耘戚，每個(gè)神經(jīng)單元與C5進(jìn)行全連接。它的連接數(shù)和參數(shù)均為 86 × 120 = 10164 操漠。這樣F6層就可以得到一個(gè)86維特征了收津。后面可以使用該86維特征進(jìn)行做分類預(yù)測(cè)等內(nèi)容了。注意：這里卷積和池化的計(jì)算過(guò)程和ufldl教程中的計(jì)算略有不同颅夺。