【深度學(xué)習(xí)】嘿馬深度學(xué)習(xí)筆記第7篇：卷積神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)目標(biāo)【附代碼文檔】

本教程的知識點為：深度學(xué)習(xí)介紹 1.1 深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別 TensorFlow介紹 2.4 張量 2.4.1 張量(Tensor) 2.4.1.1 張量的類型 TensorFlow介紹 1.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 1.2.1 Logistic回歸 1.2.1.1 Logistic回歸 TensorFlow介紹總結(jié) 每日作業(yè) 神經(jīng)網(wǎng)絡(luò)與tf.keras 1.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)與tf.keras 1.3 Tensorflow實現(xiàn)神經(jīng)網(wǎng)絡(luò) 1.3.1 TensorFlow keras介紹 1.3.2 案例：實現(xiàn)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行時裝分類神經(jīng)網(wǎng)絡(luò)與tf.keras 1.4 深層神經(jīng)網(wǎng)絡(luò) 為什么使用深層網(wǎng)絡(luò) 1.4.1 深層神經(jīng)網(wǎng)絡(luò)表示卷積神經(jīng)網(wǎng)絡(luò) 3.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理為什么需要卷積神經(jīng)網(wǎng)絡(luò) 原因之一：圖像特征數(shù)量對神經(jīng)網(wǎng)絡(luò)效果壓力卷積神經(jīng)網(wǎng)絡(luò) 3.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理為什么需要卷積神經(jīng)網(wǎng)絡(luò) 原因之一：圖像特征數(shù)量對神經(jīng)網(wǎng)絡(luò)效果壓力卷積神經(jīng)網(wǎng)絡(luò) 2.2案例：CIFAR100類別分類 2.2.1 CIFAR100數(shù)據(jù)集介紹 2.2.2 API 使用卷積神經(jīng)網(wǎng)絡(luò) 2.4 BN與神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 2.4.1 神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 2.4.1.1 調(diào)參技巧卷積神經(jīng)網(wǎng)絡(luò) 2.4 經(jīng)典分類網(wǎng)絡(luò)結(jié)構(gòu) 2.4.1 LeNet-5解析 2.4.1.1 網(wǎng)絡(luò)結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡(luò) 2.5 CNN網(wǎng)絡(luò)實戰(zhàn)技巧 2.5.1 遷移學(xué)習(xí)(Transfer Learning) 2.5.1.1 介紹卷積神經(jīng)網(wǎng)絡(luò) 總結(jié) 每日作業(yè) 商品物體檢測項目介紹 1.1 項目演示商品物體檢測項目介紹 3.4 Fast R-CNN 3.4.1 Fast R-CNN 3.4.1.1 RoI pooling YOLO與SSD 4.3 案例：SSD進(jìn)行物體檢測 4.3.1 案例效果 4.3.2 案例需求商品檢測數(shù)據(jù)集訓(xùn)練 5.2 標(biāo)注數(shù)據(jù)讀取與存儲 5.2.1 案例：xml讀取本地文件存儲到pkl 5.2.1.1 解析結(jié)構(gòu)

完整筆記資料代碼：https://gitee.com/yinuo112/AI/tree/master/深度學(xué)習(xí)/嘿馬深度學(xué)習(xí)筆記/note.md

感興趣的小伙伴可以自取哦~

全套教程部分目錄：

部分文件圖片：

卷積神經(jīng)網(wǎng)絡(luò)

3.1 卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理

學(xué)習(xí)目標(biāo)

目標(biāo)
- 了解卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成
- 記憶卷積的原理以及計算過程
- 了解池化的作用以及計算過程
應(yīng)用
- 無

為什么需要卷積神經(jīng)網(wǎng)絡(luò)

在計算機(jī)視覺領(lǐng)域菲盾，通常要做的就是指用機(jī)器程序替代人眼對目標(biāo)圖像進(jìn)行識別等借尿。那么神經(jīng)網(wǎng)絡(luò)也好還是卷積神經(jīng)網(wǎng)絡(luò)其實都是上個世紀(jì)就有的算法涩惑，只是近些年來電腦的計算能力已非當(dāng)年的那種計算水平竹祷，同時現(xiàn)在的訓(xùn)練數(shù)據(jù)很多，于是神經(jīng)網(wǎng)絡(luò)的相關(guān)算法又重新流行起來宪郊，因此卷積神經(jīng)網(wǎng)絡(luò)也一樣流行双炕。

1974年袖肥，Paul Werbos提出了誤差反向傳導(dǎo)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，使得訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)成為可能棋电。
1979年茎截，Kunihiko Fukushima（福島邦彥）苇侵，提出了Neocognitron，卷積企锌、池化的概念基本形成榆浓。
1986年，Geoffrey Hinton與人合著了一篇論文：Learning representations by back-propagation errors霎俩。
1989年哀军，Yann LeCun提出了一種用反向傳導(dǎo)進(jìn)行更新的卷積神經(jīng)網(wǎng)絡(luò)，稱為LeNet打却。
1998年杉适，Yann LeCun改進(jìn)了原來的卷積網(wǎng)絡(luò)，LeNet-5柳击。

原因之一：圖像特征數(shù)量對神經(jīng)網(wǎng)絡(luò)效果壓力

假設(shè)下圖是一圖片大小為28 * 28 的黑白圖片時候猿推，每一個像素點只有一個值（單通道）。那么總的數(shù)值個數(shù)為 784個特征捌肴。

那現(xiàn)在這張圖片是彩色的蹬叭，那么彩色圖片由RGB三通道組成，也就意味著總的數(shù)值有28 28 3 = 2352個值状知。

從上面我們得到一張圖片的輸入是2352個特征值秽五，即神經(jīng)網(wǎng)路當(dāng)中與若干個神經(jīng)元連接，假設(shè)第一個隱層是10個神經(jīng)元饥悴，那么也就是23520個權(quán)重參數(shù)坦喘。

如果圖片再大一些呢，假設(shè)圖片為1000 1000 3西设，那么總共有3百萬數(shù)值瓣铣，同樣接入10個神經(jīng)元，那么就是3千萬個權(quán)重參數(shù)贷揽。這樣的參數(shù)大小棠笑，神經(jīng)網(wǎng)絡(luò)參數(shù)更新需要大量的計算不說，也很難達(dá)到更好的效果禽绪，大家就不傾向于使用多層神經(jīng)網(wǎng)絡(luò)了蓖救。

所以就有了卷積神經(jīng)網(wǎng)絡(luò)的流行，那么卷積神經(jīng)網(wǎng)絡(luò)為什么大家會選擇它丐一。那么先來介紹感受野以及邊緣檢測的概念藻糖。

注：另有卷積網(wǎng)絡(luò)感受野的概念，也是為什么使用卷積的原因

3.1.1 卷積神經(jīng)網(wǎng)絡(luò)的組成

定義
- 卷積神經(jīng)網(wǎng)絡(luò)由一個或多個卷積層库车、池化層以及全連接層等組成巨柒。與其他深度學(xué)習(xí)結(jié)構(gòu)相比，卷積神經(jīng)網(wǎng)絡(luò)在圖像等方面能夠給出更好的結(jié)果。這一模型也可以使用反向傳播算法進(jìn)行訓(xùn)練洋满。相比較其他淺層或深度神經(jīng)網(wǎng)絡(luò)晶乔，卷積神經(jīng)網(wǎng)絡(luò)需要考量的參數(shù)更少，使之成為一種頗具吸引力的深度學(xué)習(xí)結(jié)構(gòu)牺勾。

我們來看一下卷積網(wǎng)絡(luò)的整體結(jié)構(gòu)什么樣子正罢。

其中包含了幾個主要結(jié)構(gòu)

卷積層（Convolutions）
池化層（Subsampling）
全連接層（Full connection）
激活函數(shù)

3.1.2 卷積層

目的
- 卷積運算的目的是提取輸入的不同特征，某些卷積層可能只能提取一些低級的特征如邊緣驻民、線條和角等層級翻具，更多層的網(wǎng)路能從低級特征中迭代提取更復(fù)雜的特征。
參數(shù)：
- size:卷積核/過濾器大小回还，選擇有1 1裆泳， 3 3， 5 * 5（為什么是奇數(shù)個）
- padding：零填充柠硕，Valid 與Same
- stride:步長工禾，通常默認(rèn)為1
計算公式

3.1.2.1 卷積運算過程

對于之前介紹的卷積運算過程，我們用一張動圖來表示更好理解些蝗柔。一下計算中闻葵，假設(shè)圖片長寬相等，設(shè)為N

一個步長癣丧，3 X 3 卷積核運算

假設(shè)是一張5 X 5 的單通道圖片槽畔，通過使用3 X 3 大小的卷積核運算得到一個 3 X 3大小的運算結(jié)果（圖片像素數(shù)值僅供參考）

我們會發(fā)現(xiàn)進(jìn)行卷積之后的圖片變小了，假設(shè)N為圖片大小胁编，F(xiàn)為卷積核大小

相當(dāng)于<math><semantics><mrow><mi>N</mi><mo>?</mo><mi>F</mi><mo>+</mo><mn>1</mn><mo>=</mo><mn>5</mn><mo>?</mo><mn>3</mn><mo>+</mo><mn>1</mn><mo>=</mo><mn>3</mn></mrow><annotation encoding="application/x-tex">N - F + 1 = 5 - 3 + 1 = 3</annotation></semantics></math>N?F+1=5?3+1=3

如果我們換一個卷積核大小或者加入很多層卷積之后竟痰，圖像可能最后就變成了1 X 1 大小，這不是我們希望看到的結(jié)果掏呼。并且對于原始圖片當(dāng)中的邊緣像素來說，只計算了一遍铅檩，二對于中間的像素會有很多次過濾器與之計算憎夷，這樣導(dǎo)致對邊緣信息的丟失。

缺點
- 圖像變小
- 邊緣信息丟失

3.1.3 padding-零填充

零填充：在圖片像素的最外層加上若干層0值昧旨，若一層拾给，記做p =1。

為什么增加的是0兔沃？

因為0在權(quán)重乘積和運算中對最終結(jié)果不造成影響蒋得，也就避免了圖片增加了額外的干擾信息。

這張圖中乒疏，還是移動一個像素额衙，并且外面增加了一層0。那么最終計算結(jié)果我們可以這樣用公式來計算：

<math><semantics><mrow><mn>5</mn><mo>+</mo><mn>2</mn><mo>?</mo><mi>p</mi><mo>?</mo><mn>3</mn><mo>+</mo><mn>1</mn><mo>=</mo><mn>5</mn></mrow><annotation encoding="application/x-tex">5 + 2 * p - 3 + 1 = 5</annotation></semantics></math>5+2?p?3+1=5

P為1，那么最終特征結(jié)果為5窍侧。實際上我們可以填充更多的像素县踢，假設(shè)為2層，則

<math><semantics><mrow><mn>5</mn><mo>+</mo><mn>2</mn><mo>?</mo><mn>2</mn><mo>?</mo><mn>3</mn><mo>+</mo><mn>1</mn><mo>=</mo><mn>7</mn></mrow><annotation encoding="application/x-tex">5 + 2 * 2 - 3 + 1 = 7</annotation></semantics></math>5+2?2?3+1=7伟件，這樣得到的觀察特征大小比之前圖片大小還大硼啤。所以我們對于零填充會有一些選擇，該填充多少斧账？

3.1.3.1 Valid and Same卷積

有兩種兩種形式谴返，所以為了避免上述情況，大家選擇都是Same這種填充卷積計算方式

Valid :不填充咧织，也就是最終大小為
- <math><semantics><mrow><mo>(</mo><mi>N</mi><mo>?</mo><mi>F</mi><mo>+</mo><mn>1</mn><mo>)</mo><mo>?</mo><mo>(</mo><mi>N</mi><mo>?</mo><mi>F</mi><mo>+</mo><mn>1</mn><mo>)</mo></mrow><annotation encoding="application/x-tex">(N - F + 1) * (N - F + 1)</annotation></semantics></math>(N?F+1)?(N?<span class="mord mathit" style="ma

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末嗓袱，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子拯爽，更是在濱河造成了極大的恐慌索抓，老刑警劉巖，帶你破解...
沈念sama閱讀 212,185評論 6贊 493
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件毯炮，死亡現(xiàn)場離奇詭異逼肯，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)桃煎，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,445評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門篮幢，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人为迈，你說我怎么就攤上這事三椿。” “怎么了葫辐？”我有些...
開封第一講書人閱讀 157,684評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵搜锰，是天一觀的道長。經(jīng)常有香客問我耿战，道長蛋叼，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 56,564評論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任剂陡，我火速辦了婚禮狈涮，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘鸭栖。我一直安慰自己歌馍，他們只是感情好，可當(dāng)我...
茶點故事閱讀 65,681評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布晕鹊。她就那樣靜靜地躺著松却，像睡著了一般暴浦。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上玻褪，一...
開封第一講書人閱讀 49,874評論 1贊 290
城市分裂傳說
那天肉渴，我揣著相機(jī)與錄音，去河邊找鬼带射。笑死同规，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的窟社。我是一名探鬼主播券勺，決...
沈念sama閱讀 39,025評論 3贊 408
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼灿里！你這毒婦竟也來了关炼？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,761評論 0贊 268
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤匣吊，失蹤者是張志新（化名）和其女友劉穎儒拂，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體色鸳，經(jīng)...
沈念sama閱讀 44,217評論 1贊 303
?護(hù)林員之死
正文獨居荒郊野嶺守林人離奇死亡社痛，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,545評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了命雀。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蒜哀。...
茶點故事閱讀 38,694評論 1贊 341
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖吏砂，靈堂內(nèi)的尸體忽然破棺而出撵儿，到底是詐尸還是另有隱情，我是刑警寧澤狐血，帶...
沈念sama閱讀 34,351評論 4贊 332
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布淀歇，位于F島的核電站，受9級特大地震影響匈织，放射性物質(zhì)發(fā)生泄漏房匆。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 39,988評論 3贊 315
男人毒藥：我在死后第九天來索命
文/蒙蒙一报亩、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧井氢，春花似錦弦追、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,778評論 0贊 21
一樁弒父案劲件，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽掸哑。三九已至，卻和暖如春零远，著一層夾襖步出監(jiān)牢的瞬間苗分，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,007評論 1贊 266
情欲美人皮
我被黑心中介騙來泰國打工牵辣，沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留摔癣，地道東北人。一個月前我還...
沈念sama閱讀 46,427評論 2贊 360
代替公主和親
正文我出身青樓纬向，卻偏偏與公主長得像择浊，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子逾条，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 43,580評論 2贊 349