深度學習中的卷積相關(guān)知識匯總

參考鏈接:
第一個鏈接:
https://towardsdatascience.com/types-of-convolutions-in-deep-learning-717013397f4d
第二個鏈接:
https://towardsdatascience.com/intuitively-understanding-convolutions-for-deep-learning-1f6f42faee1
其他不錯的幫助理解的鏈接:(算是第二個鏈接的中文版)
https://www.yanxishe.com/blogDetail/10032

下面以2維卷積為例。

一算行、卷積定義相關(guān)參數(shù)

  1. 核的大斜霞觥(kernel size): 卷積的可視域(the field of view of the convolution)2D卷積核的大小通常為3:即3*3像素
  2. 步長(stride): 核在遍歷圖片時的步長。默認值通常為1振湾。在降采樣或者最大池化(maxpooling)時候,步長可以取為2千贯。
  3. 填充(padding):填充是對樣本進行邊界填充孕似。有填充的卷積會保持輸出和出入的維度一致竞思。無填充的核大于1的卷積會切掉一些邊界表谊。
  4. 輸入和出入通道(Input & Output Channels):一個卷積層需要有特定數(shù)目的輸入通道(I)并且計算產(chǎn)出特定數(shù)目的輸出通道(O)。對于這樣的層盖喷,所需參數(shù)的數(shù)目為 IOK爆办。K為核內(nèi)包含的值的數(shù)目。
    2維卷積: kernel size = 3, stride = 1 , padding

    這個圖可以這么理解课梳,藍色部分為原圖距辆,綠色部分為結(jié)果,白色虛線部分為padding暮刃。經(jīng)過padding跨算,藍色部分和綠色部分的size保持了一致

二、 卷積的常見類型

1. 膨脹卷積(Dilated Convolutions)

膨脹卷積引入了膨脹率(dilation rate)椭懊。膨脹率是核中每個值之間的距離诸蚕。一個膨脹率為2的33的核與一個55的核有相同的視野,唯一的區(qū)別就是3*3的核只有9個參數(shù)氧猬。
膨脹卷積的好處是在相同的計算成本下背犯,提供了更寬的可視域。膨脹卷積在實時分割領(lǐng)域非常流行盅抚。當你需要比較寬闊的可視域(field of view)同時又沒有多卷積或者更大核的條件時漠魏,可以采用膨脹卷積。

2維卷積: kernel size = 3, stride = 1 , no padding, dilation rate = 2

藍色部分是原圖泉哈,綠色部分是卷積結(jié)果蛉幸。
卷積結(jié)果要比原圖小

2. 轉(zhuǎn)置卷積(Transposed Convolutions)

有的文章把它稱為解卷積(deconvolutions),這并不合適因為它并不是解卷積丛晦。
舉個例子奕纫,一個卷積層的輸入是55的一張圖,步長為2烫沙,沒有padding匹层,kernel的尺寸是33。最終我們會得到2*2的一張圖锌蓄,如下圖所示:

image.png

如果我們需要把這個過程倒過來升筏,我們需要逆向的數(shù)學操作,即對每一個輸入像素瘸爽,我們都需要產(chǎn)生一個3*3的矩陣您访。再之后,我們用步長為2穿過整個輸出圖片剪决。但是這個過程稱為解卷積(deconvolution)

image.png

轉(zhuǎn)置卷積并不是這么做的灵汪。轉(zhuǎn)置卷積和解卷積的相同點是檀训,輸出圖片的尺寸都是5*5,但是他用了一個正常的卷積操作來達到目的享言。我們需要對輸入進行一些技巧性的padding峻凫,再旋轉(zhuǎn)卷積核,再進行正向卷積览露。
參考鏈接
對稱padding和不對稱padding下的轉(zhuǎn)置卷積:
情況1:

image.png

情況2:

image.png

3. 可分割卷積(Separable Convolutions)

暫時用不到

三荧琼、多通道卷積

多通道的例子:

  • RGB三通道圖像
  • 卷積神經(jīng)網(wǎng)絡(luò)中的層,每一層由多個通道組成差牛,每一個通道描述前一層的不同方面命锄。
    問題:如何實現(xiàn)不同深度的層之間的過渡?如何將深度為N的層轉(zhuǎn)化為深度為M的層多糠?
    名詞理解:
    層(layer)累舷,過濾器(filter):同一層級
    通道(channel),卷積核(kernel):下個層級
    特征映射(feature map)夹孔,通道(channel):同一個概念。一層可以有多個通道/特征映射析孽。
    通道用來形容層的架構(gòu)搭伤,卷積核用來形容過濾器的架構(gòu)。
    卷積核和過濾器常惩嗨玻可以交替使用怜俐,但是還是有一些細微差別:卷積核是指由權(quán)重組成的二維數(shù)組,過濾器是由多個卷積核堆疊形成為3維架構(gòu)邓尤,每個卷積核都是獨一無二的拍鲤,強調(diào)了輸入通道的不同方面。下圖展示了兩者的區(qū)別:
    過濾器是卷積核的集合

    注意:在一個卷積層中的每一個過濾器產(chǎn)生且僅產(chǎn)生一個通道汞扎。
    如下圖季稳,輸入層有3個通道,過濾器的每一個核掃過他們對應(yīng)的輸入通道澈魄,得到了對應(yīng)的執(zhí)行卷積后的3個通道景鼠。

    之后這3個通道通過元素級別的加法合并在了一起變成了單通道。

    以上是權(quán)重(weights)進行卷積的結(jié)果痹扇。下面我們來看偏差(bias)如何進行卷積铛漓。每一個output filter 有一個偏差(bias)項。偏差加在輸出通道上形成最終的輸出鲫构。

    同樣浓恶,我們可以將這個過程視為一個3D過濾器滑動通過輸入層。這個3D過濾器的深度和輸入層的深度是相同的(通道數(shù)=卷積核數(shù))结笨。但是這個3D過濾器僅沿著兩個方向移動包晰。在每一個滑過的位置湿镀,都執(zhí)行元素級別的加法和乘法,最終得出一個數(shù)值杜窄。
    示意圖.png

    總結(jié):如何在不同深度的層之間實現(xiàn)過渡肠骆?
    假設(shè)輸入層有Din個通道,輸出層的通道數(shù)量目標為Dout塞耕。我們需要將Dout個過濾器應(yīng)用到輸入層中蚀腿,每個過濾器都有Din個卷積核,提供1個輸出通道扫外。在應(yīng)用了Dout個過濾器后莉钙,Dout個通道可以共同組成一個輸出層。
    示意圖.png

四筛谚、1*1卷積

示意圖.png

暫時用不到及老,不深入探究

[圖片上傳失敗...(image-ee895d-1595472486778)]

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市胯究,隨后出現(xiàn)的幾起案子沿癞,更是在濱河造成了極大的恐慌,老刑警劉巖吮铭,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件时迫,死亡現(xiàn)場離奇詭異,居然都是意外死亡谓晌,警方通過查閱死者的電腦和手機掠拳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來纸肉,“玉大人溺欧,你說我怎么就攤上這事“胤荆” “怎么了姐刁?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長预吆。 經(jīng)常有香客問我龙填,道長,這世上最難降的妖魔是什么拐叉? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任岩遗,我火速辦了婚禮,結(jié)果婚禮上凤瘦,老公的妹妹穿的比我還像新娘宿礁。我一直安慰自己,他們只是感情好蔬芥,可當我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布梆靖。 她就那樣靜靜地躺著控汉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪返吻。 梳的紋絲不亂的頭發(fā)上姑子,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天,我揣著相機與錄音测僵,去河邊找鬼街佑。 笑死,一個胖子當著我的面吹牛捍靠,可吹牛的內(nèi)容都是我干的沐旨。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼榨婆,長吁一口氣:“原來是場噩夢啊……” “哼磁携!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起良风,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤谊迄,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后烟央,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鳞上,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年吊档,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片唾糯。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡怠硼,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出移怯,到底是詐尸還是另有隱情香璃,我是刑警寧澤,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布舟误,位于F島的核電站葡秒,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏嵌溢。R本人自食惡果不足惜眯牧,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望赖草。 院中可真熱鬧学少,春花似錦、人聲如沸秧骑。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至绒疗,卻和暖如春侵歇,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背吓蘑。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工惕虑, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人士修。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓枷遂,卻偏偏與公主長得像,于是被迫代替她去往敵國和親棋嘲。 傳聞我的和親對象是個殘疾皇子酒唉,可洞房花燭夜當晚...
    茶點故事閱讀 45,092評論 2 355