深度神經(jīng)網(wǎng)絡(luò)對于問題的抽象建立在我們可以通過合適的神經(jīng)網(wǎng)絡(luò)架構(gòu)構(gòu)造一個通用的函數(shù)逼近斩郎，使得我們可以從輸入樣本空間映射到目標(biāo)樣本空間。這一聽起來簡單的任務(wù)在實際構(gòu)建過程中需要耗費大量的計算和時間以完成模型試驗和迭代喻频。而由于遷移學(xué)習(xí)的可行性缩宜，使得我們可以借助已有的在特定分類任務(wù)中表現(xiàn)出色的架構(gòu)來完成類似甚至看起來完全不相關(guān)的任務(wù)。在學(xué)習(xí)的過程中，閱讀了一些這些經(jīng)典的網(wǎng)絡(luò)架構(gòu)的相關(guān)論文锻煌，在此做一個記錄妓布。
VGG Net
VGG Net 與之前的經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)相比最突出的特征是大量的使用 3x3 （部分架構(gòu)中還采用了 1x1 ）的小卷積核，并且采用 same padding 來維持卷積前后的 w 和 h宋梧，F(xiàn)eature map 的縮放完全交給 2x2 的 max pooling 層來完成匣沼，此后基本上所有的卷積神經(jīng)網(wǎng)絡(luò)的卷積核都采用 3x3 的尺寸。也正因為采用這個簡單的捂龄、小的卷積核結(jié)構(gòu)释涛，才使得 VGG 成為同時代網(wǎng)絡(luò)中最經(jīng)典的深度神經(jīng)網(wǎng)絡(luò)。
在深度神經(jīng)網(wǎng)絡(luò)中采用小卷積核的原因：小卷積核通過多層疊加后可以在輸入層取得與大卷積核同等規(guī)模的感受野倦沧，且由于網(wǎng)絡(luò)層次的增加會同步增加網(wǎng)絡(luò)的容量 model capacity 和復(fù)雜度 model complexity唇撬，進一步地，通過疊加多個層次的卷積核還可以減少模型的參數(shù)：例如對于通道數(shù)為 C 的輸入和輸出來說展融，采用 7x7 的卷積核需要的參數(shù)是 7x7xCxC = 49C2 個窖认，而通過疊加 3 層 3x3 的卷積核所需要的參數(shù)數(shù)量為 3 x [3x3xCxC] = 27C2 個。
在 VGG 的架構(gòu)中愈污，作者采用 1x1 卷積的主要目的在于增加網(wǎng)絡(luò)中的非線性耀态，采用與原有輸入特征相同通道數(shù)量的 1x1 的卷積結(jié)構(gòu)轮傍，執(zhí)行卷積前后不改變特征的表達的數(shù)量暂雹，但根據(jù)作者的經(jīng)驗在同等架構(gòu)下帶有 1x1 結(jié)構(gòu)的網(wǎng)絡(luò)表現(xiàn)不如 3x3 的網(wǎng)絡(luò)，因此在后續(xù)廣為沿用的 VGG 架構(gòu)都是單純的 3x3 網(wǎng)絡(luò)创夜。
一個值得注意的細節(jié)是杭跪，為了使得網(wǎng)絡(luò)具有縮放不變性，作者在訓(xùn)練時先將全部圖片縮放至 384x384 的尺寸驰吓，在此基礎(chǔ)上隨機裁剪 224x224 的圖片區(qū)域作為網(wǎng)絡(luò)的輸入涧尿，最后再用經(jīng)過在指定范圍內(nèi)進行尺寸縮放的圖片進行微調(diào)。
另一個細節(jié)是作者在測試時采用了很多比較高明的技巧如 Ensemble 和 multi-crop 等方法使得測試的結(jié)果得到了一定的提升檬贰，不過這些提升一般只在競賽中有意義姑廉，在真實的生產(chǎn)環(huán)境中應(yīng)用很少。
ResNet
ResNet 的提出是基于這樣一個發(fā)現(xiàn)：直覺上深度神經(jīng)網(wǎng)絡(luò)應(yīng)該的性能應(yīng)該優(yōu)于架構(gòu)類似但相對層數(shù)更少的網(wǎng)絡(luò)翁涤，但在實際情況中桥言，隨著網(wǎng)絡(luò)層次的加深，梯度消失 Vanishing gradient 的影響愈加明顯葵礼，網(wǎng)絡(luò)的訓(xùn)練變得異常困難号阿。這個現(xiàn)象在作者看來反應(yīng)出了通過非線性激活的神經(jīng)網(wǎng)絡(luò)來構(gòu)建近似恒等映射是困難的，那么我們可以反其道而行之鸳粉，我們希望神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)這個特定映射和恒等映射之間的差值扔涧，此時，由于給定了一個參考基準(zhǔn)，使得整個學(xué)習(xí)的過程更加的容易枯夜，這個想法實在是精妙弯汰！
Formally, denoting the desired underlying mapping as H(x), we let the stacked nonlinear layers fit another mapping of F(x) := H(x) - x. The original mapping is recast into F(x) + x. We hypothesize that it is easier to optimize the residual mapping than to optimize the original, unreferenced mapping.
The degradation problem suggests that the solvers
might have difficulties in approximating identity mappings
by multiple nonlinear layers.
在此基礎(chǔ)上 ResNet 網(wǎng)絡(luò)的構(gòu)建都是基于上圖中基本單元構(gòu)成的。
Inception Net
Inception 這個系列目前共有 5 篇文章湖雹，包括：
- Going Deeper with Convolutions
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
- Rethinking the Inception Architecture for Computer Vision
- Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
- Xception: Deep Learning with Depthwise Separable Convolutions
其中第一篇是對 Inception 架構(gòu)的一個簡單介紹蝙泼，第二篇則是在改進 Inception 網(wǎng)絡(luò)的過程中發(fā)現(xiàn)了 Batch Normalization 這一被后續(xù)廣泛使用的提高網(wǎng)絡(luò)穩(wěn)健性的方法，第三篇 Rethinking the Inception Architecture for Computer Vision 這一篇相比前兩篇論文信息量更大劝枣，作者給了很多構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)的建議汤踏，并且在這一篇中進一步改進了下圖中第一版的 Inception Module，將 5x5 的卷積核改為兩個 3x3 卷積層的疊加舔腾，這是一篇十分誠意的論文溪胶，值得反復(fù)閱讀。
相比于 VGG Net稳诚，Inception 網(wǎng)絡(luò)不再是基本的卷積神經(jīng)網(wǎng)絡(luò)的堆疊哗脖，取而代之的是對不同變體的 Inception Module 進行疊加。盡管從結(jié)構(gòu)上 Inception 網(wǎng)絡(luò)更加復(fù)雜扳还，但由于大量的使用了 1x1 的卷積核才避，使得參數(shù)量居然比 VGG 還要小。
在此我們除了盲目復(fù)雜化網(wǎng)絡(luò)以外氨距，一個不可避免的問題是：為什么 Inception 網(wǎng)絡(luò)會有更有的表現(xiàn)桑逝？
一種說法是我們在構(gòu)建網(wǎng)絡(luò)的過程中很難知道如何選擇合適的卷積核，而 Inception Module 使得我們可以嘗試多個不同的選擇俏让，讓網(wǎng)絡(luò)自己確定哪個方式更加合適楞遏。
另一種說法來自本系列的第 5 篇文章，keras 的作者 Francois Chollet 給出的解釋是首昔，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中寡喝，卷積核不僅需要在寬度和高度方向上建立特征識別能力，還要在深度（通道）方向上也構(gòu)建這一能力勒奇。再一次地预鬓，知識的表示形式?jīng)Q定了學(xué)習(xí)的難易程度，我們是否可以將這兩個方向的特征識別分離開來赊颠，而簡化這一任務(wù)格二？這就是 Inception 網(wǎng)路及后續(xù)在此基礎(chǔ)上衍生出的 Xception 網(wǎng)絡(luò)的核心思想。
In effect, the fundamental hypothesis behind Inception is that cross-channel correlations and spatial correlations are sufficiently decoupled that it is preferable not to map them jointly.
