論文筆記-Computing Receptive Fields of Convolutional Neural Networks計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的感受野

文章原文：Computing Receptive Fields of Convolutional Neural Networks
作者：André Araujo，Wade Norris廊敌，Jack Sim
open-source library: https://github.com/google-research/receptive_field

雖然深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多人工智能問(wèn)題上建立了壓倒性的最新成果斗锭，但它們?nèi)匀缓茈y開(kāi)發(fā)和調(diào)試沾谜。近年來(lái)關(guān)于深度學(xué)習(xí)理解的研究主要集中在特征可視化撤蟆、理論保證顷锰、模型可解釋性和泛化等方面局待。

在這項(xiàng)工作中叫胁，我們從一個(gè)互補(bǔ)的角度分析深層神經(jīng)網(wǎng)絡(luò)凰慈，集中在卷積模型上。我們感興趣的是了解輸入信號(hào)對(duì)輸出特性的影響程度驼鹅，并將網(wǎng)絡(luò)任何部分的特征映射到產(chǎn)生這些特性的輸入?yún)^(qū)域微谓。將輸出特征與輸入?yún)^(qū)域相關(guān)聯(lián)的關(guān)鍵參數(shù)是卷積網(wǎng)絡(luò)的感受野，它被定義為產(chǎn)生該特征的輸入?yún)^(qū)域的大小输钩。

作為我們的第一個(gè)貢獻(xiàn)豺型，我們提出了一個(gè)計(jì)算現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)感受野的數(shù)學(xué)推導(dǎo)和有效算法。以前的工作討論了簡(jiǎn)單卷積網(wǎng)絡(luò)中從輸入到輸出只有一條路徑的感受野計(jì)算张足，提供了適用于這種情況的遞推方程触创。在這項(xiàng)工作中，我們重溫這些推導(dǎo)为牍，以獲得在單路徑情況下接受場(chǎng)計(jì)算的閉合形式表達(dá)式哼绑。此外，我們將接受場(chǎng)計(jì)算擴(kuò)展到現(xiàn)代卷積網(wǎng)絡(luò)中碉咆，在那里從輸入到輸出可能有多條路徑抖韩。據(jù)我們所知，這是第一次對(duì)最近的卷積結(jié)構(gòu)的接收?qǐng)鲇?jì)算的闡述疫铜。

今天茂浮，在各種應(yīng)用中都需要感受野計(jì)算。例如，在目標(biāo)檢測(cè)的計(jì)算機(jī)視覺(jué)任務(wù)中席揽，為了識(shí)別小的和大的實(shí)例顽馋，在多個(gè)尺度上表示對(duì)象是很重要的；理解卷積特征的跨度通常需要達(dá)到這個(gè)目標(biāo)（例如幌羞，如果網(wǎng)絡(luò)的接收?qǐng)龊苄〈缑眨瑒t可能無(wú)法識(shí)別大對(duì)象）。然而属桦，這些計(jì)算通常是手工完成的熊痴，這既繁瑣又容易出錯(cuò)。這是因?yàn)闆](méi)有庫(kù)可以自動(dòng)計(jì)算這些參數(shù)聂宾。作為我們的第二個(gè)貢獻(xiàn)果善，我們通過(guò)引入一個(gè)開(kāi)源庫(kù)來(lái)填補(bǔ)這一空白，該庫(kù)可以方便地執(zhí)行這里描述的計(jì)算系谐。該庫(kù)集成到Tensorflow代碼庫(kù)中巾陕，可以輕松地用于分析各種模型，如本文所述纪他。
我們期望這些衍生工具和開(kāi)源代碼能夠提高對(duì)復(fù)雜深度學(xué)習(xí)模型的理解惜论，從而導(dǎo)致更具成效的機(jī)器學(xué)習(xí)研究。

文章概述

我們考慮了完全卷積神經(jīng)網(wǎng)絡(luò)止喷，并推導(dǎo)了它們的感受野大小和感受野位置對(duì)于輸出特征相對(duì)于輸入信號(hào)的影響。雖然這里給出的推導(dǎo)對(duì)于卷積神經(jīng)網(wǎng)絡(luò)輸入處使用的任何類(lèi)型的信號(hào)都足夠普遍混聊，但我們使用圖像作為一個(gè)運(yùn)行示例弹谁，適當(dāng)時(shí)參考現(xiàn)代計(jì)算機(jī)視覺(jué)體系結(jié)構(gòu)。
首先句喜，當(dāng)網(wǎng)絡(luò)只有一條從輸入到輸出的路徑時(shí)（如在AlexNet或VGG中）预愤，我們推導(dǎo)出閉式表達(dá)式。然后咳胃，我們討論了具有從輸入到輸出的多路徑的任意計(jì)算圖的更一般的情況（如ResNet或Inception）植康。我們考慮了在這種情況下可能出現(xiàn)的排列問(wèn)題，并解釋了一種計(jì)算感受野大小和位置的算法展懈。
最后销睁，我們分析了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的感受野，展示了使用我們的開(kāi)源庫(kù)獲得的結(jié)果存崖。

問(wèn)題設(shè)置

考慮一個(gè)有L層的全卷積網(wǎng)絡(luò)（fully-convolutional network, FCN）冻记。定義特征圖 $f_l \in R^{hl \times wl \times dl}$ 表示一個(gè)高 $h_l$ ，寬 $w_l$ 来惧，深 $d_l$ 的第l層的輸出冗栗。把輸入圖像記為 $f_0$ ，最終的輸出特征圖記為 $f_L$ 。
為了簡(jiǎn)化演示隅居，本文中介紹的衍生工具考慮一維輸入信號(hào)和特征圖钠至。對(duì)于高維信號(hào)（例如,2D圖像），這些推導(dǎo)可以獨(dú)立地應(yīng)用于每個(gè)維度胎源。同樣地棉钧，文中配圖中描繪了一維深度，因?yàn)檫@不影響感受野的計(jì)算乒融。
每層l的空間配置由4個(gè)變量參數(shù)化掰盘，如下圖所示：

$k_l$ ：卷積核大小（正整數(shù)）
$s_l$ ：步幅（正整數(shù)）
$p_l$ ：輸入特征圖左側(cè)的padding（非負(fù)整數(shù)）
$q_l$ ：輸入特征圖右側(cè)的padding（非負(fù)整數(shù)）

每層的空間配置

我們考慮其輸出特性局部依賴于輸入特性的層：例如卷積赞季、池化或元素操作愧捕，如非線性、加法和濾波器級(jí)聯(lián)申钩。這些通常用于最先進(jìn)的網(wǎng)絡(luò)次绘。我們定義elementwise操作的“內(nèi)核大小”為
1的卷積，因?yàn)槊總€(gè)輸出特性都依賴于輸入特性映射的單個(gè)位置撒遣。
下面的簡(jiǎn)單網(wǎng)絡(luò)進(jìn)一步說(shuō)明了我們的符號(hào)邮偎。在這種情況下，L=4义黎，模型包括一個(gè)卷積禾进，然后是ReLU，第二個(gè)卷積和max pooling廉涕。（強(qiáng)烈建議去原文網(wǎng)站看一下這張圖泻云，可以自己改變參數(shù)觀察變化的）

一個(gè)四層的簡(jiǎn)單卷積網(wǎng)絡(luò)

單路徑網(wǎng)絡(luò)

在這一節(jié)中，我們計(jì)算從輸入到輸出的單路徑全卷積網(wǎng)絡(luò)（例如AlexNet或VGG）的遞推和閉式表達(dá)式狐蜕。

計(jì)算感受野大小

定義最終輸出的特征圖 $f_L$ 對(duì)于特征圖 $f_l$ 的感受野大小為 $r_l$ 宠纯。也就是說(shuō)， $r_l$ 對(duì)應(yīng)的是從特征圖 $f_l$ 中向特征圖 $f_L$ 貢獻(xiàn)了一個(gè)特征的特征數(shù)量层释。記 $r_L=1$ 婆瓜。
作為一個(gè)簡(jiǎn)單的例子，對(duì)于 $L$ 層贡羔，以 $f_{L-1}$ 層的特征作為輸入廉白，生成了 $f_L$ 作為輸出，如下圖：

fL中的一個(gè)特征來(lái)自于fL-1層的兩個(gè)特征

很容易看到來(lái)自

f_{L-1}

的

k_L

個(gè)特征可以影響到

f_L

的一個(gè)特征治力，所以

r_{L-1}=k_L

蒙秒。
現(xiàn)在考慮一般的情況，我們知道

r_l

并且想要計(jì)算

r_{l-1}

宵统，每個(gè)特征

f_l

都連接著前一層

f_{l-1}

的個(gè)特征

k_l

晕讲。
首先单刁，考慮

k_l=1

的情況：這種情況下干跛，

f_l

中

r_l

個(gè)特征會(huì)涵蓋來(lái)自

f_{l-1}

的

r_{l-1}=s_l * r_l-(s_l-1)

個(gè)特征。就像下面圖片中紅線的部分，

r_l=2

昔瞧。綠色的部分

s_l*r_l

覆蓋了特征來(lái)自的整個(gè)區(qū)域淘菩，但是多出了

s_l-1

個(gè)特征（紫色）呛伴，所以需要減掉這部分臣疑。

計(jì)算rl-1

對(duì)于

k_l>1

的情況，我們只需要加上覆蓋該地區(qū)的左右的

k_l-1

個(gè)特征馒胆。舉個(gè)栗子缨称，如果我們用一個(gè)大小為5(

k_l=5

)的卷積核，那么兩邊會(huì)各有2個(gè)多出來(lái)的特征祝迂，加起來(lái)總共4個(gè)睦尽。如果是偶數(shù)，這同樣有效型雳，因?yàn)樽笥姨畛浼悠饋?lái)是

k_l-1

当凡。

卷積核為5

因此，我們得到了一般的遞推方程（一階非齊次變系數(shù)遞推方程）：

r_{l-1}=s_l * r_l+(k_l-s_l)

該方程可用于遞歸算法中計(jì)算網(wǎng)絡(luò)的感受野大小纠俭，r0沿量。然而，我們可以做得更好：我們可以求解遞推方程:

r_0=\sum^L_{l=1}((k_l-1)\prod^{l-1}_{i=1}s_i)+1

這種表達(dá)方式具有直觀的意義冤荆，這可以通過(guò)考慮一些特殊情況來(lái)看出朴则。例如，如果所有的卷積核都是1钓简，那么感受野自然也是1佛掖。如果所有的步幅都是1，那么感受野就是覆蓋所有層（kl?1）的和加上1涌庭，這很容易看到。如果特定層的步幅大于1欧宜，則該區(qū)域?qū)τ谠搶右韵碌乃袑影幢壤黾幼堋Ｗ詈螅⒁庠谶@個(gè)推導(dǎo)過(guò)程中不需要考慮填充冗茸。

輸入圖像感受野區(qū)域的計(jì)算

雖然知道在輸出特征映射中生成一個(gè)特征的區(qū)域的大小很重要席镀，但在許多情況下，精確地定位生成特征的區(qū)域也是至關(guān)重要的夏漱。例如豪诲，給定的特征 $f_L(i，j)$ 挂绰，在輸入圖像中生成它的區(qū)域是什么屎篱？
定義作為用于計(jì)算在 $f_L$ 中所需特征的區(qū)域（在 $f_l$ 中）最左和最右坐標(biāo)。在推導(dǎo)中，坐標(biāo)是零索引的（即交播，每個(gè)圖中的第一個(gè)特征是在坐標(biāo)0處）重虑。記 $u_L=v_L$ 對(duì)應(yīng)于 $f_L$ 中所需特征在的位置。下圖展示了一個(gè)簡(jiǎn)單的2層網(wǎng)絡(luò)秦士，在其中突出顯示了f0缺厉，用于計(jì)算來(lái)自f2的第一個(gè)特征。注意隧土，在本例中提针，區(qū)域包含一些填充。在這個(gè)例子中曹傀， $u_2=v_2=0, u_1=0,v_1=0,v_1=1,u_0=-1,v_0=4$ 辐脖。

u0,v0

接下來(lái)我們要問(wèn)的是，給定

u_l,v_l

卖毁，我們能計(jì)算出

u_{l-1},v_{l-1}

嗎揖曾？
從簡(jiǎn)單的例子開(kāi)始，假設(shè)

u_l=0

亥啦。在這個(gè)情況下最左邊的特征

u_{l-1}

將會(huì)很明顯位于

-p_l

炭剪，因?yàn)榈谝粋€(gè)特征是通過(guò)將內(nèi)核的左端放在這個(gè)位置上來(lái)生成的。如果

u_l=1

翔脱，我們對(duì)第二個(gè)特征感興趣奴拦，它的最左邊

u_{l-1}=-p_l+s_l

，對(duì)于

u_l=2, u_{l-1}=-p_l+2*s_l

届吁。更一般的情況错妖，

u_{l-1}=-p_l+u_l+s_l

v_{l-1}=-p_l+v_l*s_l+k_l-1

其中

v_l

的計(jì)算的不同之處只在于加了

k_l-1

，這是必要的疚沐，因?yàn)樵谶@種情況下暂氯，我們想找到最右的位置。
注意到這些表達(dá)式與為接收野大小導(dǎo)出的遞歸非常相似亮蛔。同樣痴施，我們可以在網(wǎng)絡(luò)上實(shí)現(xiàn)遞歸以獲得

u_l，v_l

為每層究流；但我們也可以解

u_0辣吃，v_0

，得到網(wǎng)絡(luò)參數(shù)的閉式表達(dá)式：

u_0=u_L \prod^L_{i=1}s_i-\sum^L_{i=1}p_l \prod^{l-1}_{i=1}s_i

這給了我們輸入圖像中最左邊的特征位置作為填充的函數(shù)(pl）和步幅(sl）應(yīng)用于網(wǎng)絡(luò)的每一層芬探，以及輸出特征映射中的特征位置(uL）神得。
最右特征的位置：

v_0=v_L\prod^L_{i=1}s_i-\sum^L_{l=1}(1+p_l-k_l)\prod^{l-1}_{i=1}s_i

與上面一個(gè)公式的區(qū)別是這個(gè)表達(dá)式也與每層的卷積核大小有關(guān)。
感受野大小與面積的關(guān)系偷仿。很容易證明這一點(diǎn)哩簿，

r_0=v_0-u_0+1

宵蕉。
有效步幅和有效填充。為了計(jì)算

u_0,v_0

卡骂，實(shí)際上国裳，定義另外兩個(gè)只取決于不同層的填充和步幅的變量會(huì)更容易一些：

有效步幅 effective stride
$S_l=\prod^L_{i=l+1}s_i$
有效填充 effective padding
$P_l=\sum_{m=l+1}^Lp_m\prod_{i=l+1}^{m-1}s_i$

有了這些定義之后，我們重寫(xiě)上面的公式：
$u_0=-P_0+u_L*S_0$
通過(guò)使用 $Sl$ 和 $Pl$ 我們可以計(jì)算 $u_l$ 全跨、 $v_l$ 在特征圖 $f_l$ 的位置缝左，給出輸出特性圖的位置 $u_L$ 。當(dāng)對(duì)計(jì)算給定網(wǎng)絡(luò)的特征位置感興趣時(shí)浓若，可以方便地預(yù)先計(jì)算三個(gè)變量： $P_0渺杉，S_0，r_0$ 挪钓。這使得我們可以獲得從任何輸出特征位置到影響它的輸入?yún)^(qū)域的映射是越。
還可以導(dǎo)出有效步幅和有效填充的遞推方程。很容易看出：
$S_{l-1}=s_l*S_l$
$P_{l-1}=s_l*P_l+p_l$
感受野中心區(qū)碌上。同樣有趣的是推導(dǎo)出一個(gè)影響特定輸出特征的感受野區(qū)域中心的表達(dá)式倚评。這可以用作特征在輸入圖像中的位置（例如，對(duì)于最近基于深度學(xué)習(xí)的局部特征）馏予。
定義了每層感受野區(qū)域的中心為 $c_l= \frac{u_l+v_l}{2}$ 天梧。根據(jù)上面的公式，很容易推導(dǎo)出來(lái)：
$c_0=-P0+u_L*S_0+(\frac{r_0-1}{2})$
與之前 $u_0$ 的表達(dá)式相比霞丧，中心從最左的點(diǎn)移動(dòng)了 $\frac{r_0-1}{2}$ 呢岗。注意，不同輸出特征的感受野中心由有效步幅隔開(kāi)蛹尝。同樣值得注意的是 $p_l=\frac{k_l-1}{2}$ 后豫，輸出特征的感受野區(qū)域的中心將與第一圖像像素對(duì)齊并位于 $0,S_0,2S_0,3S_0,...$ （卷積核必須都是奇數(shù)）。

任意計(jì)算圖

目前突那，大多數(shù)最先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)（如ResNet或Inception）都依賴于模型挫酿，其中每個(gè)層可能有多個(gè)輸入，這意味著從輸入圖像到最終輸出特征映射可能有幾個(gè)不同的路徑愕难。這些體系結(jié)構(gòu)通常使用有向無(wú)環(huán)計(jì)算圖來(lái)表示饭豹，其中節(jié)點(diǎn)集L表示層和邊集E對(duì)它們之間的連接進(jìn)行編碼（特征映射通過(guò)邊緣流動(dòng)）。
上一節(jié)介紹的計(jì)算可以獨(dú)立地用于從輸入到輸出的每個(gè)可能的路徑务漩。當(dāng)一個(gè)人想要考慮所有不同的路徑來(lái)找到網(wǎng)絡(luò)的感受野大小和對(duì)應(yīng)于每一個(gè)輸出特征的接受野區(qū)域時(shí)，情況變得更加棘手它褪。
對(duì)齊問(wèn)題饵骨。第一個(gè)潛在的問(wèn)題是，根據(jù)從輸入到輸出的路徑茫打，可以使用輸入圖像的未對(duì)準(zhǔn)區(qū)域來(lái)計(jì)算一個(gè)輸出特征居触。此外妖混，用于計(jì)算每個(gè)輸出特征的圖像區(qū)域之間的相對(duì)位置可以改變。因此轮洋，感受野大小可能不是移位不變的制市。下圖用一個(gè)玩具例子說(shuō)明了這一點(diǎn)，在這種情況下弊予，輸入圖像中使用的區(qū)域中心對(duì)于從輸入到輸出的兩條路徑是不同的祥楣。

在本例中，填充僅用于左分支汉柒。前三層是卷積的误褪，而最后一層執(zhí)行簡(jiǎn)單的加法。對(duì)于不同的輸出特征碾褂，左右路徑的感受野區(qū)域之間的相對(duì)位置不一致兽间，這導(dǎo)致缺乏對(duì)齊。另外正塌，請(qǐng)注意嘀略，每個(gè)輸出特征的感受野大小可能不同。左邊的第二個(gè)特征是乓诽，僅使用6個(gè)輸入樣本帜羊，5個(gè)用于第三個(gè)特征。這意味著當(dāng)網(wǎng)絡(luò)未對(duì)齊時(shí)问裕，感受野大小可能不是移位不變的逮壁。
對(duì)于許多計(jì)算機(jī)視覺(jué)任務(wù)，輸出特征的對(duì)齊是非常理想的：“圖像到圖像的翻譯”任務(wù)（例如粮宛，語(yǔ)義分割窥淆、邊緣檢測(cè)、表面法線估計(jì)巍杈、著色等）忧饭、局部特征匹配和檢索等。
當(dāng)網(wǎng)絡(luò)對(duì)齊時(shí)筷畦，所有不同的路徑都會(huì)導(dǎo)致輸出特征始終集中在相同的位置词裤。所有不同的道路必須有相同的有效步幅。很容易看出鳖宾，在所有可能的路徑中吼砂，感受野的大小將是最大的感受野。另外鼎文，網(wǎng)絡(luò)的有效填充對(duì)應(yīng)于感受野大小最大的路徑的有效填充，以便可以應(yīng)用于定位生成輸出特征的區(qū)域抹剩。
下圖給出了一個(gè)簡(jiǎn)單的對(duì)齊網(wǎng)絡(luò)示例钳踊。在這種情況下，這兩個(gè)不同的路徑導(dǎo)致特征被集中在相同的位置。感受野大小為3，有效的步幅是4航罗，有效填充量為1复亏。

對(duì)齊標(biāo)準(zhǔn)耕突。更準(zhǔn)確地說(shuō)纵诞，為了使網(wǎng)絡(luò)在每一層都對(duì)齊茁裙，我們需要任何層

l

和輸出特征

u_L

,每一對(duì)可能的路徑i,j都有

c_l^{(i)}=c_l^{(j)}

矾瘾。為此，必須滿足兩個(gè)條件：

S_l^{i}=S_l^{j}

-P_L^{i}+(\frac{r_l^{(i)}-1}{2})=-P_L^{j}+(\frac{r_l^{(j)}-1}{2})

感受野參數(shù)的計(jì)算算法：草圖。開(kāi)發(fā)一個(gè)有效的算法來(lái)計(jì)算這些計(jì)算圖的感受野大小和相關(guān)參數(shù)是很簡(jiǎn)單的宅倒。自然，一種強(qiáng)力方法是使用上述表達(dá)式獨(dú)立地計(jì)算從輸入到輸出的每條路由的感受野參數(shù)灶搜，再加上一些簿記，以便計(jì)算整個(gè)網(wǎng)絡(luò)的參數(shù)鹏溯。此方法的最壞情況復(fù)雜度為O（| E | | | L |）罢维。
但我們可以做得更好。首先對(duì)計(jì)算圖進(jìn)行拓?fù)渑判虮臁Ｒ雅判虻谋硎景匆蕾囆缘捻樞蚺帕袑樱好總€(gè)層的輸出僅依賴于出現(xiàn)在它前面的層肺孵。通過(guò)反向拓?fù)漤樞蛟L問(wèn)層匀借，我們確保來(lái)自給定層的所有路徑l到輸出層L都被考慮當(dāng)l被訪問(wèn)的時(shí)候。一旦輸入層l=0平窘，考慮了所有路徑吓肋，得到了整個(gè)模型的感受野參數(shù)。這個(gè)算法的復(fù)雜性是O（| E |+| L |）瑰艘，這比暴力替代方案好得多是鬼。
當(dāng)訪問(wèn)每一層時(shí)，必須進(jìn)行一些記賬紫新，以便跟蹤網(wǎng)絡(luò)的接收?qǐng)鰠?shù)均蜜。特別要注意的是，可能有幾個(gè)不同的路徑來(lái)自層l到輸出層L芒率。為了處理這種情況囤耳，我們跟蹤l并更新它們，如果發(fā)現(xiàn)一個(gè)新的路徑具有更大的感受野敲董，使用表達(dá)式計(jì)算紫皇。類(lèi)似地，在遍歷圖時(shí)腋寨，檢查網(wǎng)絡(luò)是否對(duì)齊是很重要的聪铺。這可以通過(guò)確保不同路徑的感受野參數(shù)滿足上面的條件。

討論：現(xiàn)代網(wǎng)絡(luò)的感受野

下表列出了AlexNet萄窜、VGG铃剔、ResNet、Inception和MobileNet的預(yù)計(jì)算參數(shù)查刻。有關(guān)更全面的列表键兜，包括中間網(wǎng)絡(luò)端點(diǎn)，請(qǐng)參閱下表穗泵。

各個(gè)模型的感受野

隨著模型的發(fā)展普气，從AlexNet到VGG，再到ResNet和Inception佃延，感受野增加（這是層數(shù)增加的自然結(jié)果）现诀。在最近的網(wǎng)絡(luò)中，感受域通常覆蓋整個(gè)輸入圖像：這意味著最終輸出特征映射中每個(gè)特征使用的上下文包括所有輸入像素履肃。

我們也可以將感受野的增長(zhǎng)與分類(lèi)的準(zhǔn)確性聯(lián)系起來(lái)仔沿。下圖顯示了ImageNet top-1精度與網(wǎng)絡(luò)接收字段大小的函數(shù)關(guān)系，適用于上面列出的相同網(wǎng)絡(luò)尺棋。每個(gè)數(shù)據(jù)點(diǎn)的圓圈大小與每個(gè)體系結(jié)構(gòu)的浮點(diǎn)運(yùn)算（flop）數(shù)量成正比封锉。

感受野與準(zhǔn)確性的關(guān)系

我們觀察到分類(lèi)準(zhǔn)確率和感受野大小之間的對(duì)數(shù)關(guān)系，這表明大的感受野對(duì)于高水平的識(shí)別任務(wù)是必要的，但是回報(bào)會(huì)減少成福。例如碾局，請(qǐng)注意mobilenet是如何在使用非常緊湊的架構(gòu)的情況下實(shí)現(xiàn)高識(shí)別性能的：使用深度卷積技術(shù)，通過(guò)較小的計(jì)算占用空間來(lái)增加接收?qǐng)雠Ｏ啾戎虏晾琕GG-16需要比MobileNet多27倍的浮點(diǎn)運(yùn)算，但產(chǎn)生的接收野更形詹唷；即使更復(fù)雜嘿期，VGG的準(zhǔn)確度也僅略高于MobileNet品擎。這表明，能夠有效生成大感受野的網(wǎng)絡(luò)可能會(huì)獲得更高的識(shí)別性能备徐。

不過(guò)萄传，讓我們強(qiáng)調(diào)，感受野的大小并不是導(dǎo)致上述性能提高的唯一因素蜜猾。其他因素也起著非常重要的作用：網(wǎng)絡(luò)深度（即層數(shù)）和寬度（即每層過(guò)濾器的數(shù)量）秀菱、剩余連接、批量規(guī)范化等等蹭睡。換言之衍菱，雖然我們推測(cè)一個(gè)大的感受野是必要的，但決不是足夠的肩豁。

最后脊串，請(qǐng)注意，給定的特征并不受其感受野區(qū)域內(nèi)所有輸入像素的同等影響：靠近感受野中心的輸入像素有更多的“路徑”來(lái)影響該特征清钥，從而承載更多的權(quán)重琼锋。每個(gè)輸入像素的相對(duì)重要性定義了特征的有效接收野。最近的工作提供了一個(gè)數(shù)學(xué)公式和程序來(lái)測(cè)量有效感受野祟昭，實(shí)驗(yàn)觀察到高斯形狀缕坎，峰值在感受野中心。更好地理解卷積神經(jīng)網(wǎng)絡(luò)中輸入像素的相對(duì)重要性是一個(gè)活躍的研究課題篡悟。

最后編輯于：2020.11.07 07:20:26

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末谜叹，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子恰力，更是在濱河造成了極大的恐慌叉谜，老刑警劉巖，帶你破解...
沈念sama閱讀 212,816評(píng)論 6贊 492
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件踩萎，死亡現(xiàn)場(chǎng)離奇詭異停局，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,729評(píng)論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)董栽，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)码倦，“玉大人，你說(shuō)我怎么就攤上這事锭碳≡” “怎么了？”我有些...
開(kāi)封第一講書(shū)人閱讀 158,300評(píng)論 0贊 348
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵擒抛，是天一觀的道長(zhǎng)推汽。經(jīng)常有香客問(wèn)我，道長(zhǎng)歧沪，這世上最難降的妖魔是什么歹撒？我笑而不...
開(kāi)封第一講書(shū)人閱讀 56,780評(píng)論 1贊 285
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮诊胞，結(jié)果婚禮上暖夭，老公的妹妹穿的比我還像新娘。我一直安慰自己撵孤，他們只是感情好迈着，可當(dāng)我...
茶點(diǎn)故事閱讀 65,890評(píng)論 6贊 385
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布。她就那樣靜靜地躺著邪码，像睡著了一般裕菠。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上闭专，一...
開(kāi)封第一講書(shū)人閱讀 50,084評(píng)論 1贊 291
城市分裂傳說(shuō)
那天糕韧，我揣著相機(jī)與錄音，去河邊找鬼喻圃。笑死萤彩，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的斧拍。我是一名探鬼主播雀扶，決...
沈念sama閱讀 39,151評(píng)論 3贊 410
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼肆汹！你這毒婦竟也來(lái)了愚墓？” 一聲冷哼從身側(cè)響起，我...
開(kāi)封第一講書(shū)人閱讀 37,912評(píng)論 0贊 268
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤昂勉，失蹤者是張志新（化名）和其女友劉穎浪册，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體岗照，經(jīng)...
沈念sama閱讀 44,355評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡村象，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,666評(píng)論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年笆环，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片厚者。...
茶點(diǎn)故事閱讀 38,809評(píng)論 1贊 341
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡躁劣，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出库菲，到底是詐尸還是另有隱情账忘，我是刑警寧澤，帶...
沈念sama閱讀 34,504評(píng)論 4贊 334
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布熙宇，位于F島的核電站鳖擒，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏烫止。R本人自食惡果不足惜败去，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 40,150評(píng)論 3贊 317
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望烈拒。院中可真熱鬧，春花似錦广鳍、人聲如沸荆几。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 30,882評(píng)論 0贊 21
一樁弒父案赊时，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)吨铸。三九已至，卻和暖如春祖秒，著一層夾襖步出監(jiān)牢的瞬間诞吱，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 32,121評(píng)論 1贊 267
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工竭缝，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留房维，地道東北人。一個(gè)月前我還...
沈念sama閱讀 46,628評(píng)論 2贊 362
代替公主和親
正文我出身青樓抬纸，卻偏偏與公主長(zhǎng)得像咙俩，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子湿故，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,724評(píng)論 2贊 351