學(xué)號(hào)：20021110085 ? ? ? ? ? ? ?姓名：鄭佳?
轉(zhuǎn)載自：https://zhuanlan.zhihu.com/p/273247515 （這是我個(gè)人的知乎文章）
嵌牛導(dǎo)讀】LeNet-5：是Yann LeCun在1998年設(shè)計(jì)的用于手寫(xiě)數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)鸭津，當(dāng)年美國(guó)大多數(shù)銀行就是用它來(lái)識(shí)別支票上面的手寫(xiě)數(shù)字的蛹头，它是早期卷積神經(jīng)網(wǎng)絡(luò)中最有代表性的實(shí)驗(yàn)系統(tǒng)之一扎运。
【嵌牛鼻子】Lenet-5經(jīng)典論文解讀
【嵌牛正文】
一 論文基本信息?
論文題目：Gradient-Based Learning Applied to Document Recognition?
代碼：Pytorch 搭建 LeNet-5 網(wǎng)絡(luò)
該論文是圖靈獎(jiǎng)獲得者Yann Lecun的一篇關(guān)于CNN的開(kāi)山之作缘回，他也因此被稱(chēng)為“卷積神經(jīng)網(wǎng)絡(luò)之父”，這當(dāng)然也離不開(kāi)Hinton等人的反向傳播算法警绩。
【AI大咖】再認(rèn)識(shí)Yann LeCun往扔，一個(gè)可能是擁有最多中文名的男人?（詳細(xì)了解）
2 簡(jiǎn)要了解深度學(xué)習(xí)三巨頭
ACM 宣布，2018 年圖靈獎(jiǎng)獲得者是號(hào)稱(chēng)深度學(xué)習(xí)三巨頭的 Yoshua Bengio, Yann LeCun 和 Geoffrey Hinton收夸，得獎(jiǎng)理由是：他們?cè)诟拍詈凸こ躺先〉玫木薮笸黄疲沟蒙疃壬窠?jīng)網(wǎng)絡(luò)成為計(jì)算的關(guān)鍵元素（For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.）血崭。
詳情參考：Yoshua Bengio, Yann LeCun, Geoffrey Hinton 獲 2018 年圖靈獎(jiǎng)
3 論文詳解
3.1 相關(guān)背景?
反向傳播算法最早于上世紀(jì)70年代被提出卧惜，但是直到1986年厘灼，由David Rumelhart, Geoffrey Hinton, 和Ronald Williams聯(lián)合發(fā)表了一篇著名論文（Learning representations by back-propagating errors）[也即BP算法]之后，人們才完全認(rèn)識(shí)到這個(gè)算法的重要性咽瓷。BP解決了神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性分類(lèi)學(xué)習(xí)的問(wèn)題设凹，然而梯度消失的問(wèn)題沒(méi)有得到很好的解決。1998年茅姜，Yann Lecun等人成功將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到手寫(xiě)字識(shí)別方面围来，取得了非常不多效果。
90年代匈睁，支持向量機(jī)（Support Vector Machine, SVM）當(dāng)時(shí)在人像識(shí)別、文本分類(lèi)等模式識(shí)別（pattern recognition）問(wèn)題中有得到了廣泛的應(yīng)用桶错。研究者也發(fā)現(xiàn)航唆，網(wǎng)絡(luò)層數(shù)越多，網(wǎng)絡(luò)的表達(dá)能力越強(qiáng)院刁，進(jìn)而可處理更復(fù)雜的問(wèn)題糯钙。但網(wǎng)絡(luò)層數(shù)的增加，參數(shù)也隨之增加退腥，計(jì)算復(fù)雜度也在增大任岸，當(dāng)時(shí)的計(jì)算機(jī)的運(yùn)算能力和存儲(chǔ)不足以支撐。
3.2 介紹?
早期模式識(shí)別的時(shí)代狡刘，研究學(xué)者深知自然數(shù)據(jù)的多樣性和豐富性享潜，無(wú)論是語(yǔ)音、字形還是其他類(lèi)型的模式嗅蔬，幾乎不可能完全靠手工來(lái)建立一個(gè)精確的識(shí)別系統(tǒng)剑按。因此，大多數(shù)模式識(shí)別系統(tǒng)是使用自動(dòng)學(xué)習(xí)技術(shù)和手工制作的算法相結(jié)合的澜术。Lecun認(rèn)為艺蝴，使用機(jī)器學(xué)習(xí)的技術(shù)解決模式識(shí)別問(wèn)題變得越發(fā)重要盹舞，同時(shí)也想證明模式識(shí)別的系統(tǒng)可以依賴(lài)自動(dòng)學(xué)習(xí)的技術(shù)乡小，而不是手工設(shè)計(jì)的啟發(fā)式方法。以字符識(shí)別為例耐量，LeCun證明人工設(shè)計(jì)特征抽取的工作可以通過(guò)特別設(shè)計(jì)的機(jī)器學(xué)習(xí)方法替代盒延，并直接應(yīng)用在原始的像素圖像上缩擂。這里字符識(shí)別任務(wù)是指從識(shí)別圖像上的字符。當(dāng)然兰英，LeCun這里想要證明的就是使用神經(jīng)網(wǎng)絡(luò)可以較好地做字符識(shí)別任務(wù)撇叁。
人工設(shè)計(jì)的特征抽取結(jié)果做字符識(shí)別的過(guò)程如下圖所示：
第一個(gè)模塊稱(chēng)為特征提取器，可轉(zhuǎn)換輸入模式畦贸，以便可以用低維表示向量或符號(hào)的短字符串：1陨闹、可以很容易匹配或比較楞捂；2、關(guān)于輸入模式的變換和失真不會(huì)改變他們的本性趋厉。特征提取器包含大多數(shù)先驗(yàn)知識(shí)寨闹，并且非常特定于任務(wù)。 它也是大多數(shù)設(shè)計(jì)工作的重點(diǎn)君账，因?yàn)樗ǔＪ峭耆止ぶ谱鞯摹?/p>
第二個(gè)模塊稱(chēng)為分類(lèi)器繁堡，通常是通用的并且可以訓(xùn)練。這種方法的主要問(wèn)題之一是識(shí)別準(zhǔn)確度在很大程度上取決于設(shè)計(jì)人員提出適當(dāng)?shù)墓δ芗缡Ｊ聦?shí)證明椭蹄，這是一項(xiàng)艱巨的任務(wù)，必須為每個(gè)新問(wèn)題重新設(shè)計(jì)特征净赴。 大量的模式識(shí)別文獻(xiàn)致力于描述并比較不同功能集的相對(duì)優(yōu)點(diǎn)用于特定任務(wù)绳矩。
這樣做的原因是當(dāng)時(shí)的分類(lèi)器只能處理低維空間且容易分類(lèi)的問(wèn)題。這種方法最核心的步驟就是設(shè)計(jì)能力玖翅，這是完全手工工作翼馆，并且結(jié)果主要取決于特征設(shè)計(jì)能力。
在當(dāng)時(shí)金度，研究學(xué)者已經(jīng)有以下三方面的認(rèn)識(shí)：
帶有快速運(yùn)算的低成本機(jī)器的可用允許我們更多地依賴(lài)“蠻力”的數(shù)值運(yùn)算而不是算法的改進(jìn)应媚。
與問(wèn)題相關(guān)的大的數(shù)據(jù)庫(kù)的可用性使得研究者更加依賴(lài)真實(shí)數(shù)據(jù)而不是人工設(shè)計(jì)的特征來(lái)構(gòu)造模式識(shí)別系統(tǒng)。
更加強(qiáng)大的算法的出現(xiàn)使得可以處理更高維度的數(shù)據(jù)并產(chǎn)生更復(fù)雜的決策功能猜极。
在介紹算法之前中姜，LeCun還描述了五個(gè)方面的基礎(chǔ)知識(shí)：
A Learning from Data（從數(shù)據(jù)中學(xué)習(xí)）
當(dāng)訓(xùn)練集數(shù)量增長(zhǎng)的時(shí)候，測(cè)試集的誤差和訓(xùn)練集誤差之間的gap會(huì)減小跟伏。
B Gradient-Based Learning（基于梯度的學(xué)習(xí)）
最小化問(wèn)題是很多計(jì)算機(jī)領(lǐng)域問(wèn)題的核心問(wèn)題扎筒。基于梯度的學(xué)習(xí)證明最小化連續(xù)的函數(shù)要比最小化離散函數(shù)更容易酬姆。在本文中嗜桌，大多數(shù)未知數(shù)的梯度求解都是很容易的。也就是我們只要循環(huán)求解下式即可：
這里辞色，隨機(jī)梯度下降（Stochastic Gradient Descent）方法是很有效的骨宠。在較大數(shù)據(jù)規(guī)模下，這個(gè)方法在很多時(shí)候都比常規(guī)的梯度下降方法或者二階方法更快地收斂相满。
C Gradient Back Propagation(梯度后向傳播)
基于梯度的學(xué)習(xí)在20世紀(jì)50年代末期開(kāi)始被使用层亿，但主要是應(yīng)用在線(xiàn)性系統(tǒng)中。LeCun認(rèn)為這種簡(jiǎn)單的方法現(xiàn)在可以用在復(fù)雜系統(tǒng)中主要是由于三個(gè)方面的原因立美。我們分別看一下匿又。
1)是之前認(rèn)為的局部最優(yōu)問(wèn)題并不是主要的問(wèn)題。在非線(xiàn)性基于梯度的學(xué)習(xí)技術(shù)建蹄，如玻爾茲曼機(jī)（Boltzmann machines）的成功之后碌更，局部最優(yōu)并不是一個(gè)主要的障礙變得很明顯（apparent）裕偿。
2)是Rummelhart等人提出的一個(gè)簡(jiǎn)單的但卻很有效的梯度計(jì)算方法的流行，該方法可以用來(lái)處理多個(gè)層組成的復(fù)雜系統(tǒng)痛单，即反向傳播算法（back-propagation）嘿棘。
3)是反向傳播方法和sigmoid單元在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用可以用來(lái)解決復(fù)雜的學(xué)習(xí)任務(wù)。
反向傳播算法的基本思想是梯度可以通過(guò)從輸出到輸入的計(jì)算得到旭绒。這個(gè)思想在20世紀(jì)60年代在控制論論文中提出鸟妙，直到最近才運(yùn)用到機(jī)器學(xué)習(xí)中。有意思的是挥吵，之前在神經(jīng)網(wǎng)絡(luò)中反向傳播的推導(dǎo)并不是用的“梯度”重父，用的是中間層單元的虛擬目標(biāo)（vertual targets）或者是最小干擾參數(shù)（minimal disturbance arguments）。
多層神經(jīng)網(wǎng)絡(luò)中局部最優(yōu)問(wèn)題似乎不是一個(gè)問(wèn)題忽匈，這一點(diǎn)在理論上是有點(diǎn)“神秘”的坪郭。如果網(wǎng)絡(luò)的大小相對(duì)于任務(wù)來(lái)說(shuō)過(guò)大的話(huà)，那么參數(shù)空間中“多余的維度（extra dimensions）”將會(huì)降低無(wú)法觸及區(qū)域的風(fēng)險(xiǎn)脉幢。反向傳播是目前最廣泛的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，也許是任何形式的最廣泛的學(xué)習(xí)方法嗦锐。
D Learning in Real Handwriting Recognition Systems(手寫(xiě)識(shí)別系統(tǒng)的學(xué)習(xí))
實(shí)驗(yàn)表明嫌松，基于梯度的學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)比在同一數(shù)據(jù)上測(cè)試的所有其他方法性能更好。最好的神經(jīng)網(wǎng)絡(luò)被稱(chēng)為卷積網(wǎng)絡(luò)奕污，旨在學(xué)習(xí)如何直接從像素圖像中提取相關(guān)特征萎羔。
然而，手寫(xiě)識(shí)別中最困難的問(wèn)題之一是不僅要識(shí)別單個(gè)字符碳默，還要將字符從其鄰域中分離出來(lái)單詞或句子贾陷，一個(gè)被稱(chēng)為分段的過(guò)程。主要是先用啟發(fā)式方法產(chǎn)生大量可能的分割結(jié)果嘱根，然后基于得分找出最好的一個(gè)髓废。這種情況，分割的質(zhì)量主要取決于生成分割的啟發(fā)式方法以及如何找出最匹配的分割結(jié)果该抒。這里慌洪，使用人工標(biāo)出不正確的分割非常重要。顯然這種方式不僅非常耗時(shí)費(fèi)力凑保，而且非常困難冈爹。比如8的右邊分出來(lái)之后應(yīng)該標(biāo)注為3還是8呢？
在這篇文章中欧引，LeCun提出了兩個(gè)方法解決這個(gè)問(wèn)題频伤。一個(gè)是優(yōu)化全局的損失函數(shù)，第二個(gè)方法是識(shí)別出每一個(gè)可能的分割結(jié)果芝此，并選出最中心的字符憋肖。
E Globally Trainable Systems （全局訓(xùn)練系統(tǒng)）
如前所述因痛，大多數(shù)的識(shí)別系統(tǒng)都是多個(gè)模塊的。例如瞬哼，文檔識(shí)別系統(tǒng)由field定位器婚肆、field分割器和識(shí)別器組成，還包括一個(gè)情景后處理器坐慰。一般情況下较性，模塊之間的通信都是數(shù)字信息。最好的方式應(yīng)該是全局系統(tǒng)都是最小化一個(gè)目標(biāo)來(lái)獲得文檔級(jí)別的識(shí)別準(zhǔn)確性结胀。LeCun據(jù)此提出了一個(gè)由多個(gè)可微的神經(jīng)網(wǎng)絡(luò)組成的前饋網(wǎng)絡(luò)赞咙。每一個(gè)模塊都是連續(xù)且可微的。這樣就使得我們可以通過(guò)反向傳播算法優(yōu)化整個(gè)系統(tǒng)了糟港。
3.3 用于字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)
使用梯度下降法的多層網(wǎng)絡(luò)可以從大量的數(shù)據(jù)中學(xué)習(xí)復(fù)雜的攀操，高緯，非線(xiàn)性的映射秸抚，這使得他們成為圖像識(shí)別任務(wù)的首選速和。在傳統(tǒng)的模式識(shí)別的模型中，手工設(shè)計(jì)的特征提取器從圖像中提取相關(guān)特征清除不相關(guān)的信息剥汤。分類(lèi)器可以將這些特征進(jìn)行分類(lèi)颠放。全連接的多層網(wǎng)絡(luò)可以作為分類(lèi)器。一個(gè)更有意思的模式就是盡量依賴(lài)特征提取器本身進(jìn)行學(xué)習(xí)吭敢。對(duì)于字符識(shí)別碰凶，可以將圖像作為行向量作為輸入輸入到網(wǎng)絡(luò)中。雖然這些任務(wù)(比如字符識(shí)別)可以使用傳統(tǒng)的前向全連接網(wǎng)絡(luò)完成鹿驼。但是還存在一些問(wèn)題欲低。
首先，圖像是非常大的畜晰，由很多像素組成砾莱。具有100個(gè)隱藏單元的全連接網(wǎng)絡(luò)包含成千上萬(wàn)的權(quán)重，這么多參數(shù)提高了系統(tǒng)的消耗和內(nèi)存占用凄鼻，因此需要更大的訓(xùn)練集恤磷。但是沒(méi)有結(jié)構(gòu)的網(wǎng)絡(luò)的主要缺點(diǎn)是，多于圖像或者音頻這些應(yīng)用來(lái)說(shuō)野宜，不具備平移扫步，形變扭曲的不變性。在輸入到固定大小輸入的網(wǎng)絡(luò)錢(qián)匈子，字符圖像的大小必須歸一化河胎，并且放在輸入的中間，不幸的是虎敦，沒(méi)有哪種預(yù)處理能夠達(dá)到如此完美：由于手寫(xiě)體以字符為歸一化單位游岳，會(huì)導(dǎo)致每個(gè)字符的大小政敢，傾斜，位置存在變化胚迫，再加上書(shū)寫(xiě)風(fēng)格的差異喷户，將會(huì)導(dǎo)致特征位置的變化，原則上访锻，足夠大小的全連接網(wǎng)絡(luò)可以對(duì)這些變化魯棒褪尝，但是，要達(dá)到這種目的需要更多的在輸入圖像不同位置的神經(jīng)元期犬，這樣可以檢測(cè)到不同的特征河哑，不論他們出現(xiàn)在圖像的什么位置。學(xué)習(xí)這些權(quán)值參數(shù)需要大量的訓(xùn)練樣本去覆蓋可能的樣本空間龟虎，在下面描述的卷積神經(jīng)網(wǎng)絡(luò)中璃谨，位移不變性(shift invariance)可以通過(guò)權(quán)值共享實(shí)現(xiàn)。
其次鲤妥，全連接的網(wǎng)絡(luò)的另一個(gè)缺點(diǎn)就是完全忽略了輸入的拓?fù)浣Y(jié)構(gòu)佳吞。在不影響訓(xùn)練的結(jié)果的情況下，輸入圖像可以是任意的順序棉安。然而底扳，圖像具有很強(qiáng)的二維局部結(jié)構(gòu)：空間相鄰的像素具有高度相關(guān)性。局部相關(guān)性對(duì)于提取局部特征來(lái)說(shuō)具有巨大優(yōu)勢(shì)垂券，因?yàn)橄噜徬袼氐臋?quán)值可以分成幾類(lèi)。CNN通過(guò)將隱藏結(jié)點(diǎn)的感受野限制在局部來(lái)提取特征羡滑。
3.3.1 卷積神經(jīng)網(wǎng)絡(luò)
卷積網(wǎng)絡(luò)聯(lián)合了三個(gè)架構(gòu)特征導(dǎo)致了轉(zhuǎn)換菇爪、拉伸和扭曲的不變形：1）局部感受野（Local Receptive Fields）；2）共享權(quán)重（Shared Weights）柒昏；3）時(shí)間和空間的二次抽樣（Spatial or Temporal Subsampling）凳宙。
局部感受野就是接受輸入的幾個(gè)相鄰的單元來(lái)操作。它可以追溯到20世紀(jì)60年代早期的感知機(jī)時(shí)代职祷。局部連接在神經(jīng)網(wǎng)絡(luò)處理視覺(jué)問(wèn)題中很常見(jiàn)氏涩。局部感受野可以抽取圖像初級(jí)的特征，如邊有梆、轉(zhuǎn)角等是尖。這些特征會(huì)在后來(lái)的層中通過(guò)各種聯(lián)合的方式來(lái)檢測(cè)高級(jí)別特征。此外泥耀，局部初級(jí)的特征也能在全局圖像中發(fā)揮作用饺汹。這個(gè)知識(shí)可以用來(lái)強(qiáng)制某些單元，其感受野在圖像的不同位置痰催，但是擁有相同權(quán)重兜辞。
將局部感受野位于圖像不同位置的一組神經(jīng)元設(shè)置為相同的權(quán)值(這就是權(quán)值共享)迎瞧。?
在特征圖中降低特征位置的精度的方式是降低特征圖的空間分辨率，這個(gè)可以通過(guò)下采樣層達(dá)到逸吵，下采樣層通過(guò)求局部平均降低特征圖的分辨率凶硅，并且降低了輸出對(duì)平移和形變的敏感度。
3.4 Lenet-5?
LeNet-5共有7層扫皱，不包含輸入足绅，分別為卷積-池化-卷積-池化-全連接-全連接-全連接。
input：32*32的灰度圖像啸罢，也即一個(gè)二維矩陣编检，沒(méi)有RGB三通道。
卷積和池化的格式如下：
卷積核（size*size*n,stride）,size*size表示卷積核的大小扰才，n表示卷積核個(gè)數(shù)允懂，stride表示步長(zhǎng)●孟唬【Lenet-5中的卷積方式均為“valid”】
池化（size*size,stride）,size*size表示卷積核的大小蕾总，stride表示步長(zhǎng)。
C1層（卷積層）：
輸入圖片大小:32x32琅捏，通道數(shù)為1
卷積核（5*5*6生百，1），輸入經(jīng)過(guò)C1后變?yōu)榱?8x28x6柄延。
輸出featuremap大惺唇：28*28 （32-5+1）=28
神經(jīng)元數(shù)量（輸出）：28*28*6
可訓(xùn)練參數(shù)：（5*5+1) * 6=156（每個(gè)卷積核有5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器）
連接數(shù)：（5*5+1）*6*28*28=122304
S2層（池化層搜吧，也成下采樣層）：
池化（2*2市俊，2），池化方式為average pooling（平均池化）滤奈，下同
輸出featureMap大邪诿痢：14*14
神經(jīng)元數(shù)量（輸出）：14*14*6
連接數(shù)：（2*2+1）*6*14*14
C3層（卷積層）：
卷積核（5*5*16，1）蜒程，輸入經(jīng)過(guò)C1后變?yōu)榱?8x28x6绅你。
輸出featureMap大小：10*10 (14-5+1)=10?
可訓(xùn)練參數(shù)：6*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=1516
關(guān)于上述參數(shù)的計(jì)算昭躺，比如6*(3*5*5+1)是如何得到的忌锯？
首先，先看一個(gè)卷積核與上層的三個(gè)feature map 相連领炫，由于此時(shí)feature map是3通道的（通道數(shù)即為
feature map個(gè)數(shù)）汉规，所以卷積核也必須是3通道的，對(duì)其分別卷積（對(duì)應(yīng)相乘，相加）针史，再加上bias,
也即（3*5*5+1)晶伦，故6個(gè)卷積核即為：6*(3*5*5+1)?
連接數(shù)：10*10*1516=151600
這一層16個(gè)卷積核中只有10個(gè)和前面的6層相連接。也就是說(shuō)啄枕，這16個(gè)卷積核并不是掃描前一層所有的6個(gè)通道婚陪。如下圖，0 1 2 3 4 5這 6個(gè)卷積核是掃描3個(gè)相鄰频祝，然后是6 7 8 9 10 11 這6個(gè)卷積核是掃描4個(gè)相鄰泌参，12 13 14這3個(gè)是掃描4個(gè)非相鄰，最后一個(gè)15掃描6個(gè)常空。實(shí)際上前面的6通道每個(gè)都只有10個(gè)卷積核掃描到沽一。
S4層（池化層，也成下采樣層）：
池化（2*2漓糙，2）铣缠，池化方式為average pooling（平均池化）
輸出featureMap大小：5*5（10/2）
神經(jīng)元數(shù)量：5*5*16=400
連接數(shù)：16*（2*2+1）*5*5=2000
C5層（卷積層）：
卷積核（5*5*120昆禽，1）
輸出featureMap大谢韧堋：1*1（5-5+1）
可訓(xùn)練參數(shù)/連接：120*（16*5*5+1）=48120
C6層（全連接）：
輸入向量維度：[1,120]
權(quán)重參數(shù)的維度：[120,84]
計(jì)算方式：輸入的向量與權(quán)重參數(shù)之間用矩陣點(diǎn)積的方式進(jìn)行運(yùn)算，再加上一個(gè)偏置醉鳖，結(jié)果通過(guò)sigmoid函數(shù)輸出捡硅，最終得到一個(gè)輸出維度為[1,86]的向量。
可訓(xùn)練參數(shù):84*(120+1)=10164
output層：
輸入向量維度：[1,84]
權(quán)重參數(shù)的維度：[84,10]
同上計(jì)算方式盗棵，得到一個(gè)輸出維度為[1,10]的向量
Output層也是全連接層壮韭，共有10個(gè)節(jié)點(diǎn)，分別代表數(shù)字0到9纹因。
Lenet-5的網(wǎng)絡(luò)圖如下：
參考:
LeNet論文的翻譯與CNN三大核心思想的解讀_QQ哥的專(zhuān)欄-CSDN博客
