吳恩達(dá):卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)

@[toc]

1.1 計(jì)算機(jī)視覺

1.2 邊緣檢測(cè)示例

卷積的乘法(對(duì)應(yīng)元素相乘,不同于矩陣乘法)fliter過濾器
\left[\begin{array}{cc}3&0&1&2&7&4\\1&5&8&9&3&1\\2&7&2&5&1&3\\0&1&3&1&7&8\\4&2&1&6&2&8\\2&4&5&2&3&9\end{array}\right]*\left[\begin{array}{cc}1&0&-1\\1&0&-1\\1&0&-1\end{array}\right] =\left[\begin{array}{cc}-5&-4&0&8\\-10&-2&2&3\\0&01&-4&-7\\-3&-2&-3&-16\end{array}\right]

1.3 更多的邊緣檢測(cè)內(nèi)容

在這里插入圖片描述

\left[\begin{array}{cc}1&0&-1\\1&0&-1\\1&0&-1\end{array}\right]\quad \left[\begin{array}{cc}1&1&1\\0&0&0\\-1&-1&-1\end{array}\right] \\ vertical \quad \quad \quad horizontal\\ \left[\begin{array}{cc}1&0&-1\\2&0&-2\\1&0&-1\end{array}\right] \quad \quad \left[\begin{array}{cc}3&0&-3\\10&0&-10\\3&0&-3\end{array}\right] \\ sober \quad filter \quad \quad scharr\quad filter
還有將filter過濾器設(shè)置成參數(shù)握侧,通過反向傳播進(jìn)行學(xué)習(xí)品擎。

1.4 padding

之前的卷積操作會(huì)降低圖片的維度备徐,可能會(huì)使圖片維度越來越低,同時(shí)邊緣的像素只被過濾器利用一次秀菱。

習(xí)慣上用0來填充,維度變成(n+2p-f+1)*(n+2p-f+1)

valid convolutions:no padding

same convolutions: padding so that output size is the same as the input size.
(n+2p-f+1)\times(n+2p-f+1)\\ if \quad n+2p-f+1 = n\\ p = \frac{f-1}{2}
所以f一般為奇數(shù)赶么,此時(shí)首先能保證p是整數(shù)脊串,其次奇數(shù)的卷積核(kernel)有中心,便于指出過濾器的位置放闺。

1.5 卷積步長 strided convolution

n\times n\quad image \quad \quad f\times f \quad filter\\ padding\quad p \quad \quad \quad stride\quad s\\ \llcorner\frac{n+2p-f}{s}+1\lrcorner \times \llcorner\frac{n+2p-f}{s}+1\lrcorner

1.6 三維卷積

通過設(shè)置立體過濾器(卷積核)的不同通道的數(shù)值怖侦,可以提取不同層的特征础钠。
summary:(n\times n\times n_c)*(f\times f \times n_c)\rightarrow(n-f+1)\times(n-f+1)\times n_c'

1.7 單層神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò):避免過擬合叉谜。無論應(yīng)用到大小圖片中停局,參數(shù)數(shù)量不變


[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-DmWLpa4O-1627111410677)(../AppData/Roaming/Typora/typora-user-images/image-20210719161338274.png)]

if you have 10 filters that are 3x3x3 in one layer of a neural network, how many parameters does that layers have?

(3x3x3+1) x 10 = 280


在這里插入圖片描述

1.8 簡單卷積網(wǎng)絡(luò)示例

卷積核是特征提取器董栽,卷積核越多企孩,提取的信息越多。

Types of layers in a convolutional network?

  • Convolution (CONV)
  • Pooling (POOL)
  • Fully connected (FC)

1.9 池化層

池化層:縮減模型的大小擒抛,提高計(jì)算速度补疑,同時(shí)提高所提取特征的魯棒性。

目前來說诊胞,最大池化比平均池化更常用锹杈,但也有例外迈着,就是深度很深的神經(jīng)網(wǎng)絡(luò)邪码。

summary of pooling

hyperparameters:

f: filter size

s: stride

Max(f=2,s=2) or average(f=3,s=2) pooling

1.10 卷積神經(jīng)網(wǎng)絡(luò)示例

隨著層數(shù)的增加,高度和寬度都會(huì)減小糕韧,而通道數(shù)量會(huì)增加喻圃。

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-bH8R1efm-1627111410679)(../AppData/Roaming/Typora/typora-user-images/image-20210719172447466.png)]
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-iTGNIhO3-1627111410681)(../AppData/Roaming/Typora/typora-user-images/image-20210719172527871.png)]

1.11 為什么使用卷積斧拍?

卷積神經(jīng)網(wǎng)絡(luò)可以用兩種方式減少參數(shù),以便于我們用更小的訓(xùn)練集訓(xùn)練它愚墓,從而預(yù)防過度擬合昂勉。

為什么使用卷積:參數(shù)共享和稀疏連接

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-v0i7VMQf-1627111410682)(../AppData/Roaming/Typora/typora-user-images/image-20210719194630040.png)]

2.1 為什么要進(jìn)行實(shí)例研究岗照?

classic networks:LeNet-5、AlexNet攒至、VGG

ResNet、Inception.

2.2 經(jīng)典網(wǎng)絡(luò)

#### [外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-xyayRYpX-1627111410683)(../AppData/Roaming/Typora/typora-user-images/image-20210720133948106.png)]
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-HOzrWTeu-1627111410684)(../AppData/Roaming/Typora/typora-user-images/image-20210720134111562.png)]
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-TgbTeiZw-1627111410684)(../AppData/Roaming/Typora/typora-user-images/image-20210720134157993.png)]

2.3 殘差網(wǎng)絡(luò)

skip connect(遠(yuǎn)跳連接):a^{[l]}跳過一層或好幾層,從而將信息傳遞到神經(jīng)網(wǎng)絡(luò)的更深層志膀。

residual network 能夠達(dá)到網(wǎng)絡(luò)的更深層,這種方式確實(shí)有助于解決梯度消失和梯度爆炸問題奇颠。讓我們?cè)谟?xùn)練更深網(wǎng)絡(luò)的同時(shí)放航,又能保證良好的性能。

2.4 殘差網(wǎng)絡(luò)為什么有用?

網(wǎng)絡(luò)深度越深吓妆,它在訓(xùn)練集上訓(xùn)練網(wǎng)絡(luò)的效率會(huì)有所減弱吨铸,這也是有時(shí)候我們不希望加深網(wǎng)絡(luò)的原因。

殘差網(wǎng)絡(luò)有用的主要原因是這些殘差層學(xué)習(xí)恒等函數(shù)很容易舟奠,至少網(wǎng)絡(luò)性能不會(huì)受到影響房维,很多時(shí)候甚至可以提高效率,或者說至少不會(huì)降低效率咙俩。
a^{[l+2]} = g(z^{[l+2]}+a^{[l]})\\ = g(w^{[l+2]}a^{[l+1]}+b^{[l+2]}+a^{[l]})\\ 假設(shè)w^{[l+2]}耿戚、b^{[l+2]}均為0膜蛔,則有\(zhòng)\ = g(a^{[l]}) = a^{[l]} (ReLU函數(shù))

2.5 網(wǎng)絡(luò)中的網(wǎng)絡(luò)以及1x1卷積

1x1卷積可以在保證高度寬度不變的情況下壓縮信道數(shù)量并減少計(jì)算脖阵。

2.6 谷歌inception網(wǎng)絡(luò)簡介

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-9ZKf5Mj7-1627111410685)(../AppData/Roaming/Typora/typora-user-images/image-20210722103918503.png)]
[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-gDXG68BL-1627111410686)(../AppData/Roaming/Typora/typora-user-images/image-20210722104019550.png)]

2.7 inception網(wǎng)絡(luò)

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-rMVcHgZA-1627111410686)(../AppData/Roaming/Typora/typora-user-images/image-20210722104057652.png)]

2.8 使用開源的實(shí)現(xiàn)方案

2.9 遷移學(xué)習(xí)

凍結(jié)前面所有的層命黔,只把softmax層改動(dòng)以適應(yīng)自己的實(shí)現(xiàn)。

2.10 數(shù)據(jù)擴(kuò)充

mirroring鏡像對(duì)稱、random cropping隨機(jī)修剪战转、rotation、shearing啄踊、local warping

color shifting(rgb通道)

2.11 計(jì)算機(jī)視覺現(xiàn)狀

3.1 目標(biāo)定位object localization

Need to output b_x,b_y,b_h,b_w,class label (1,-4)

y = [p_c,b_x,b_y,b_h,b_w,c_1,c_2,c_3]

L(\hat{y},y) = \sum_{i=1}^8 (\hat{y_i}-y_i)^2

3.2 特征點(diǎn)檢測(cè)landmark detection

ConvNet\rightarrow[face,l_{1x},l_{1y},l_{2x},l_{2y},……,l_{64x},l_{64y}] 129

3.3 目標(biāo)檢測(cè)object detection

3.4 卷積的滑動(dòng)窗口實(shí)現(xiàn)

convolution implementation of sliding windows

3.5 Bounding Box預(yù)測(cè)

YOLO:you only look once

YOLO計(jì)算速度非车蟊辏快,可以達(dá)到實(shí)時(shí)識(shí)別顿锰,

3.6 交并化intersection over union(IOU)

Evaluating object localization 交并比函數(shù)

計(jì)算兩個(gè)邊框交集與并集之比

“correct” if IoU > 0.5

3.7 非極大值抑制Non-max suppression

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-wDJdjEj5-1627111410687)(../AppData/Roaming/Typora/typora-user-images/image-20210721161124816.png)]

3.8 Ancher Boxes

ancher boxes:為了處理兩個(gè)對(duì)象出現(xiàn)在同一個(gè)格子里的情況硼控,可以使你的訓(xùn)練集更有針對(duì)性(很高很瘦的行人和很長很低的車子)
y = [\underbrace {p_c,b_x,b_y,b_h,b_w,c_1,c_2,c_3},\underbrace {p_c,b_x,b_y,b_h,b_w,c_1,c_2,c_3}]\\ anchor\quad box 1\quad \quad \quad \quad \quad anchor\quad box 2

3.9 YOLO算法

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-VRS738sq-1627111410688)(../AppData/Roaming/Typora/typora-user-images/image-20210722081011589.png)]

3.10 候選區(qū)域region proposal

R-CNN:帶區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)

首先得到候選區(qū)域牢撼,然后再分類,所以速度較慢熏版。

4.1 什么是人臉識(shí)別?

face verification人臉驗(yàn)證

  • input image再膳,name/ID
  • output whether the input image is that of the claimed person.

face recognition人臉識(shí)別

  • has a database of K persons
  • get an input image
  • output ID if the image is any of the K persons (or "not recognized")

4.2 One-Shot學(xué)習(xí)

d(img1,img2) = degree of difference between images

if d(img1,img2) \leq \tau

4.3 Siamese網(wǎng)絡(luò)

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-enSMfoew-1627111410688)(../AppData/Roaming/Typora/typora-user-images/image-20210722084032996.png)]

4.4 Triplet損失(三元組)

Anchor饵史、Positive、Negative
||f(A)-f(P)||^2 + \alpha \leq ||f(A) - f(N)||^2\\ ||f(A)-f(P)||^2 - ||f(A) - f(N)||^2+ \alpha \leq 0\\ \alpha : margin(間隔)\\ loss \quad function: L(A,P,N) = max(||f(A)-f(P)||^2 - ||f(A) - f(N)||^2+ \alpha ,0)\\ J = \sum_{i=1}^m L(A^{(i)},P^{(i)},N^{(i)})

4.5 面部驗(yàn)證和二分類

把人臉驗(yàn)證當(dāng)做一個(gè)監(jiān)督學(xué)習(xí)胳喷,創(chuàng)建一個(gè)成對(duì)圖片的訓(xùn)練集(不再是三個(gè)一組)吭露,目標(biāo)標(biāo)簽是1表示兩張圖片是同一個(gè)人

4.6 什么是神經(jīng)風(fēng)格轉(zhuǎn)換尊惰?

4.7 什么是深度卷積網(wǎng)絡(luò)?

4.8 代價(jià)函數(shù)_bilibili

J(G) = \alpha J_{content}(C,G) + \beta J_{style}(S,G)

4.9 內(nèi)容代價(jià)函數(shù)

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機(jī)制,建議將圖片保存下來直接上傳(img-M6nPLVlj-1627111410689)(../AppData/Roaming/Typora/typora-user-images/image-20210722091849087.png)]

4.10 風(fēng)格代價(jià)函數(shù)

Let \quad a^{[l]}_{i,j,k} = activation\quad at(i,j,k). G^{[l]} is n^{[l]}_c\times n^{[l]}_c\\ G^{[l](S)}_{kk'} = \sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}} a^{[l](S)}_{ijk}a^{[l](S)}_{ijk'}\\ G^{[l](G)}_{kk'} = \sum_{i=1}^{n_H^{[l]}}\sum_{j=1}^{n_W^{[l]}} a^{[l](G)}_{ijk}a^{[l](G)}_{ijk'}\\ J^{[l]}_{style}(S,G) = \frac{1}{2n^{[l]}_Hn^{[l}_Wn^{[l]}_C}||G^{[l](S)}_{kk'}-G^{[l](G)}_{kk'}||^2_F\\ = \frac{1}{2n^{[l]}_Hn^{[l}_Wn^{[l]}_C}\sum_k\sum_{k'}(G^{[l](S)}_{kk'}-G^{[l](G)}_{kk'})^2

4.11 一維到三維推廣

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市膀捷,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌全庸,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件神僵,死亡現(xiàn)場(chǎng)離奇詭異覆劈,居然都是意外死亡沛励,警方通過查閱死者的電腦和手機(jī)氓英,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來址貌,“玉大人徘键,你說我怎么就攤上這事〈岛Γ” “怎么了?”我有些...
    開封第一講書人閱讀 157,921評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵螺男,是天一觀的道長纵穿。 經(jīng)常有香客問我,道長谓媒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評(píng)論 1 284
  • 正文 為了忘掉前任土辩,我火速辦了婚禮抢野,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘指孤。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評(píng)論 6 386
  • 文/花漫 我一把揭開白布扁瓢。 她就那樣靜靜地躺著,像睡著了一般昧互。 火紅的嫁衣襯著肌膚如雪挽铁。 梳的紋絲不亂的頭發(fā)上叽掘,一...
    開封第一講書人閱讀 49,950評(píng)論 1 291
  • 那天玖雁,我揣著相機(jī)與錄音,去河邊找鬼赫冬。 笑死,一個(gè)胖子當(dāng)著我的面吹牛膛薛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播哄啄,決...
    沈念sama閱讀 39,090評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼风范,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了虑润?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,817評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤拳喻,失蹤者是張志新(化名)和其女友劉穎猪腕,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體亚亲,經(jīng)...
    沈念sama閱讀 44,275評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡腐缤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了惜索。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,724評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡巾兆,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出角塑,到底是詐尸還是另有隱情,我是刑警寧澤圃伶,帶...
    沈念sama閱讀 34,409評(píng)論 4 333
  • 正文 年R本政府宣布,位于F島的核電站煤惩,受9級(jí)特大地震影響炼邀,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜拭宁,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評(píng)論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望兵怯。 院中可真熱鬧,春花似錦媒区、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至介褥,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間柔滔,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評(píng)論 1 266
  • 我被黑心中介騙來泰國打工嬉愧, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留喉前,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,503評(píng)論 2 361
  • 正文 我出身青樓卵迂,卻偏偏與公主長得像,于是被迫代替她去往敵國和親偿衰。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容