[動(dòng)手學(xué)深度學(xué)習(xí)-PyTorch版]-5.2卷積神經(jīng)網(wǎng)絡(luò)-填充和步幅

5.2 填充和步幅

image.png

所以卷積層的輸出形狀由輸入形狀和卷積核窗口形狀決定糜值。本節(jié)我們將介紹卷積層的兩個(gè)超參數(shù),即填充和步幅赊抖。它們可以對(duì)給定形狀的輸入和卷積核改變輸出形狀页衙。

5.2.1 填充

填充(padding)是指在輸入高和寬的兩側(cè)填充元素(通常是0元素)爹凹。圖5.2里我們?cè)谠斎敫吆蛯挼膬蓚?cè)分別添加了值為0的元素竖般,使得輸入高和寬從3變成了5零酪,并導(dǎo)致輸出高和寬由2增加到4。圖5.2中的陰影部分為第一個(gè)輸出元素及其計(jì)算所使用的輸入和核數(shù)組元素:

0×0+0×1+0×2+0×3=0驮肉。

圖5.2 在輸入的高和寬兩側(cè)分別填充了0元素的二維互相關(guān)計(jì)算

image.png

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)常使用奇數(shù)高寬的卷積核熏矿,如1、3离钝、5和7票编,所以兩端上的填充個(gè)數(shù)相等。對(duì)任意的二維數(shù)組X卵渴,設(shè)它的第i行第j列的元素為X[i,j]慧域。當(dāng)兩端上的填充個(gè)數(shù)相等,并使輸入和輸出具有相同的高和寬時(shí)浪读,我們就知道輸出Y[i,j]是由輸入以X[i,j]為中心的窗口同卷積核進(jìn)行互相關(guān)計(jì)算得到的昔榴。

下面的例子里我們創(chuàng)建一個(gè)高和寬為3的二維卷積層,然后設(shè)輸入高和寬兩側(cè)的填充數(shù)分別為1瑟啃。給定一個(gè)高和寬為8的輸入论泛,我們發(fā)現(xiàn)輸出的高和寬也是8揩尸。

import torch
from torch import nn

# 定義一個(gè)函數(shù)來(lái)計(jì)算卷積層蛹屿。它對(duì)輸入和輸出做相應(yīng)的升維和降維
def comp_conv2d(conv2d, X):
    # (1, 1)代表批量大小和通道數(shù)(“多輸入通道和多輸出通道”一節(jié)將介紹)均為1
    X = X.view((1, 1) + X.shape)
    Y = conv2d(X)
    return Y.view(Y.shape[2:])  # 排除不關(guān)心的前兩維:批量和通道

# 注意這里是兩側(cè)分別填充1行或列,所以在兩側(cè)一共填充2行或列
conv2d = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=3, padding=1)

X = torch.rand(8, 8)
comp_conv2d(conv2d, X).shape

輸出:

torch.Size([8, 8])

當(dāng)卷積核的高和寬不同時(shí)岩榆,我們也可以通過(guò)設(shè)置高和寬上不同的填充數(shù)使輸出和輸入具有相同的高和寬错负。

# 使用高為5、寬為3的卷積核勇边。在高和寬兩側(cè)的填充數(shù)分別為2和1
conv2d = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=(5, 3), padding=(2, 1))
comp_conv2d(conv2d, X).shape

輸出:

torch.Size([8, 8])

5.2.2 步幅

在上一節(jié)里我們介紹了二維互相關(guān)運(yùn)算犹撒。卷積窗口從輸入數(shù)組的最左上方開(kāi)始,按從左往右粒褒、從上往下的順序识颊,依次在輸入數(shù)組上滑動(dòng)。我們將每次滑動(dòng)的行數(shù)和列數(shù)稱為步幅(stride)奕坟。

目前我們看到的例子里祥款,在高和寬兩個(gè)方向上步幅均為1。我們也可以使用更大步幅月杉。圖5.3展示了在高上步幅為3刃跛、在寬上步幅為2的二維互相關(guān)運(yùn)算】廖可以看到桨昙,輸出第一列第二個(gè)元素時(shí)检号,卷積窗口向下滑動(dòng)了3行,而在輸出第一行第二個(gè)元素時(shí)卷積窗口向右滑動(dòng)了2列蛙酪。當(dāng)卷積窗口在輸入上再向右滑動(dòng)2列時(shí)齐苛,由于輸入元素?zé)o法填滿窗口,無(wú)結(jié)果輸出滤否。圖5.3中的陰影部分為輸出元素及其計(jì)算所使用的輸入和核數(shù)組元素:

0×0+0×1+1×2+2×3=8
0×0+6×1+0×2+0×3=6
0×0+6×1+0×2+0×3=6

圖5.3 高和寬上步幅分別為3和2的二維互相關(guān)運(yùn)算

image.png

下面我們令高和寬上的步幅均為2脸狸,從而使輸入的高和寬減半。

conv2d = nn.Conv2d(1, 1, kernel_size=3, padding=1, stride=2)
comp_conv2d(conv2d, X).shape

輸出:

torch.Size([4, 4])

接下來(lái)是一個(gè)稍微復(fù)雜點(diǎn)兒的例子藐俺。

conv2d = nn.Conv2d(1, 1, kernel_size=(3, 5), padding=(0, 1), stride=(3, 4))
comp_conv2d(conv2d, X).shape

輸出:

torch.Size([2, 2])
image.png

小結(jié)

  • 填充可以增加輸出的高和寬炊甲。這常用來(lái)使輸出與輸入具有相同的高和寬。
  • 步幅可以減小輸出的高和寬欲芹,例如輸出的高和寬僅為輸入的高和寬的1/n(n為大于1的整數(shù))

注:除代碼外本節(jié)與原書(shū)此節(jié)基本相同卿啡,原書(shū)傳送門(mén)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市菱父,隨后出現(xiàn)的幾起案子颈娜,更是在濱河造成了極大的恐慌,老刑警劉巖浙宜,帶你破解...
    沈念sama閱讀 212,599評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件官辽,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡粟瞬,警方通過(guò)查閱死者的電腦和手機(jī)同仆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,629評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)裙品,“玉大人俗批,你說(shuō)我怎么就攤上這事∈性酰” “怎么了岁忘?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,084評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)区匠。 經(jīng)常有香客問(wèn)我干像,道長(zhǎng),這世上最難降的妖魔是什么驰弄? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,708評(píng)論 1 284
  • 正文 為了忘掉前任麻汰,我火速辦了婚禮,結(jié)果婚禮上揩懒,老公的妹妹穿的比我還像新娘什乙。我一直安慰自己,他們只是感情好已球,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,813評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布臣镣。 她就那樣靜靜地躺著辅愿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪忆某。 梳的紋絲不亂的頭發(fā)上点待,一...
    開(kāi)封第一講書(shū)人閱讀 50,021評(píng)論 1 291
  • 那天,我揣著相機(jī)與錄音弃舒,去河邊找鬼癞埠。 笑死,一個(gè)胖子當(dāng)著我的面吹牛聋呢,可吹牛的內(nèi)容都是我干的苗踪。 我是一名探鬼主播,決...
    沈念sama閱讀 39,120評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼削锰,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼通铲!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起器贩,我...
    開(kāi)封第一講書(shū)人閱讀 37,866評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤颅夺,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后蛹稍,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體吧黄,經(jīng)...
    沈念sama閱讀 44,308評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,633評(píng)論 2 327
  • 正文 我和宋清朗相戀三年唆姐,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了拗慨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,768評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡厦酬,死狀恐怖胆描,靈堂內(nèi)的尸體忽然破棺而出瘫想,到底是詐尸還是另有隱情仗阅,我是刑警寧澤,帶...
    沈念sama閱讀 34,461評(píng)論 4 333
  • 正文 年R本政府宣布国夜,位于F島的核電站减噪,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏车吹。R本人自食惡果不足惜筹裕,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,094評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望窄驹。 院中可真熱鬧朝卒,春花似錦、人聲如沸乐埠。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,850評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至瑞眼,卻和暖如春龙宏,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背伤疙。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,082評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工银酗, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人徒像。 一個(gè)月前我還...
    沈念sama閱讀 46,571評(píng)論 2 362
  • 正文 我出身青樓黍特,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親锯蛀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子衅澈,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,666評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容