卷積神經(jīng)網(wǎng)絡(luò)—CNN

一和敬、為什么需要CNN

在全連接神經(jīng)網(wǎng)絡(luò)中,每相鄰兩層之間的每個神經(jīng)元之間都是有邊相連的洞渤。當(dāng)輸入層的特征維度變得很高時况既,這時全連接網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)就會增大很多这溅,計算速度就會變得很慢,例如一張黑白的 28×28 的手寫數(shù)字圖片棒仍,輸入層的神經(jīng)元就有784個悲靴,如下圖所示:

全連接

若在中間只使用一層15個神經(jīng)元的隱藏層,那么參數(shù) w 就有 784 × 15 = 11760 多個莫其;若輸入的是 28×28 帶有顏色的RGB格式的手寫數(shù)字圖片癞尚,那么參數(shù) w 的個數(shù)還需要再乘以 3。這很容易看出使用全連接神經(jīng)網(wǎng)絡(luò)處理圖像中的需要訓(xùn)練參數(shù)過多的問題榜配。

而在卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)中否纬,卷積層的神經(jīng)元只與前一層的部分神經(jīng)元節(jié)點相連,即它的神經(jīng)元間的連接是非全連接的蛋褥,且同一層中某些神經(jīng)元之間的連接的權(quán)重 w 和偏移 b 是共享的(Shared Weights),這樣大量地減少了需要訓(xùn)練參數(shù)的數(shù)量睛驳。

二烙心、CNN的卷積層

在卷積層中有幾個重要的概念:

1膜廊、Local receptive fields(感受視野)

假設(shè)輸入的是一個 28×28 的的二維神經(jīng)元,我們定義5×5 的 一個 Local receptive fields(感受視野)淫茵,即 隱藏層的神經(jīng)元與輸入層的 5×5 個神經(jīng)元相連爪瓜,這個 5×5 的區(qū)域就稱之為 Local Receptive Fields,如下圖所示:

Local receptive fields

2匙瘪、Shared weights(共享權(quán)值)

我們知道铆铆,隱含層的每一個神經(jīng)元都連接 5x5 個圖像區(qū)域,也就是說每一個神經(jīng)元存在 5x5=25 個連接權(quán)值參數(shù)丹喻。那如果對下一層的每個神經(jīng)元來說薄货,這 25 個參數(shù)是相同的呢?也就是說下一層的每個神經(jīng)元用的是同一個卷積核去卷積圖像碍论。這樣我們就只有多少個參數(shù)谅猾??只有 25 個參數(shù)镑⒂啤税娜!不管你隱層的神經(jīng)元個數(shù)有多少,兩層間的連接我只有 25 個參數(shù)安匮小敬矩!這就是卷積神經(jīng)網(wǎng)絡(luò)的主打賣點。

但是蠢挡,你就會想弧岳,這樣提取特征也忒不靠譜吧,這樣你只提取了一種特征疤桓纭缩筛?我們需要提取多種特征對不?假如一種濾波器堡称,也就是一種卷積核就是提出圖像的一種特征瞎抛,那么我們需要提取不同的特征,怎么辦却紧,加多幾種濾波器不就行了嗎桐臊?對了。所以假設(shè)我們加到 100 種濾波器晓殊,每種濾波器的參數(shù)不一樣断凶,表示它提出輸入圖像的不同特征。這樣每種濾波器去卷積圖像就得到對圖像的不同特征的放映巫俺,我們稱之為Feature Map认烁。所以 100 種卷積核就有 100 個 Feature Map。這 100 個 Feature Map 就組成了一層神經(jīng)元。到這個時候明了了吧却嗡。我們這一層有多少個參數(shù)了舶沛?100 種卷積核 x 每種卷積核共享 25 個參數(shù)= 100 x 25 = 2500,也就是2500個參數(shù)窗价。

需要注意的一點是如庭,上面的討論都沒有考慮每個神經(jīng)元的偏置部分。所以權(quán)值個數(shù)需要加1 撼港。這個也是同一種濾波器共享的坪它。

因此在CNN的卷積層,我們需要訓(xùn)練的參數(shù)大大地減少到了 (5×5+1)×100=2600個帝牡。

圖片卷積

三往毡、“卷積”操作

當(dāng)給一張新的圖時,CNN并不能準(zhǔn)確地知道這些 Features 到底要匹配原圖的哪些部分否灾,所以它會在原圖中每一個可能的位置進(jìn)行嘗試卖擅。這樣在原始整幅圖上每一個位置進(jìn)行匹配計算。這個我們用來匹配的過程就被稱為卷積操作墨技,這也就是卷積神經(jīng)網(wǎng)絡(luò)名字的由來惩阶。

這個卷積操作背后的數(shù)學(xué)知識其實非常的簡單。要計算一個濾波器和其在原圖上對應(yīng)的某一小塊的結(jié)果扣汪,只需要簡單地將兩個小塊內(nèi)對應(yīng)位置的像素值進(jìn)行乘法運算断楷,然后將整個小塊內(nèi)乘法運算的結(jié)果累加起來,最后再除以小塊內(nèi)像素點總個數(shù)即可崭别。具體過程如下:

卷積操作

最后整張圖算完冬筒,大概就像下面這個樣子:

卷積完成

然后換用其他濾波器進(jìn)行同樣的操作,最后得到的結(jié)果就是這樣了:

多卷積和

四茅主、池化(Pooling)

當(dāng)輸入經(jīng)過卷積層時舞痰,若感受視野比較小,步長stride比較小诀姚,得到的feature map (特征圖)還是比較大响牛,可以通過池化層來對每一個 feature map 進(jìn)行降維操作,輸出的深度還是不變的赫段,依然為 feature map 的個數(shù)呀打。

池化可以將一幅大的圖像縮小,同時又保留其中的重要信息糯笙。池化背后的數(shù)學(xué)頂多也就是小學(xué)二年級水平贬丛。它就是將輸入圖像進(jìn)行縮小,減少像素信息给涕,只保留重要信息豺憔。通常情況下额获,池化都是 2×2 大小,比如對于 max-pooling 來說焕阿,就是取輸入圖像中 2×2 大小的塊中的最大值咪啡,作為結(jié)果的像素值首启,相當(dāng)于將原始圖像縮小了 4 倍暮屡。(注:同理,對于average-pooling來說毅桃,就是取 2×2 大小塊的平均值作為結(jié)果的像素值褒纲。)

池化

所以,池化的實質(zhì)就是把圖片變模糊了钥飞,相當(dāng)于給圖片打了馬賽克莺掠,如下圖:

馬賽克

通過加入池化層,可以很大程度上減少計算量读宙,降低機(jī)器負(fù)載彻秆。

到現(xiàn)在為止,已經(jīng)講了從輸入到池化的過程结闸,圖片也從原來的 28 × 28 變成了 12 × 12唇兑,如下圖

輸入->卷積->池化

五、激活函數(shù)Relu (Rectified Linear Units)

這里桦锄,我們用Relu作為激活函數(shù):

Relu激活函數(shù)

六扎附、全連接層(Fully connected layers)

到這里,卷積神經(jīng)網(wǎng)絡(luò)基本介紹完畢结耀,總結(jié)(敲黑板)留夜,卷積神經(jīng)網(wǎng)絡(luò)的目的就是降低網(wǎng)絡(luò)復(fù)雜度,減少權(quán)值W和偏置值b的個數(shù)图甜,它不是一個完整的網(wǎng)絡(luò)碍粥,所以,在最后還須加入普通的神經(jīng)網(wǎng)絡(luò)(全連接層)黑毅。

卷積神經(jīng)網(wǎng)絡(luò)總體圖

參考:

http://blog.csdn.net/v_JULY_v/article/details/51812459

http://www.reibang.com/p/fe428f0b32c1#comment-21577884

http://blog.csdn.net/u012641018/article/details/52238169

http://blog.csdn.net/cxmscb/article/details/71023576

http://blog.csdn.net/u010555688/article/details/24848367


作者:小道蕭兮

鏈接:http://www.reibang.com/p/d813215b27fc

來源:簡書

簡書著作權(quán)歸作者所有嚼摩,任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末博肋,一起剝皮案震驚了整個濱河市低斋,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌匪凡,老刑警劉巖膊畴,帶你破解...
    沈念sama閱讀 212,185評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異病游,居然都是意外死亡唇跨,警方通過查閱死者的電腦和手機(jī)稠通,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,445評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來买猖,“玉大人改橘,你說我怎么就攤上這事∮窨兀” “怎么了飞主?”我有些...
    開封第一講書人閱讀 157,684評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長高诺。 經(jīng)常有香客問我碌识,道長,這世上最難降的妖魔是什么虱而? 我笑而不...
    開封第一講書人閱讀 56,564評論 1 284
  • 正文 為了忘掉前任筏餐,我火速辦了婚禮,結(jié)果婚禮上牡拇,老公的妹妹穿的比我還像新娘魁瞪。我一直安慰自己,他們只是感情好惠呼,可當(dāng)我...
    茶點故事閱讀 65,681評論 6 386
  • 文/花漫 我一把揭開白布导俘。 她就那樣靜靜地躺著,像睡著了一般罢杉。 火紅的嫁衣襯著肌膚如雪趟畏。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,874評論 1 290
  • 那天滩租,我揣著相機(jī)與錄音赋秀,去河邊找鬼。 笑死律想,一個胖子當(dāng)著我的面吹牛猎莲,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播技即,決...
    沈念sama閱讀 39,025評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼著洼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了而叼?” 一聲冷哼從身側(cè)響起身笤,我...
    開封第一講書人閱讀 37,761評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎葵陵,沒想到半個月后液荸,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,217評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡脱篙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,545評論 2 327
  • 正文 我和宋清朗相戀三年娇钱,在試婚紗的時候發(fā)現(xiàn)自己被綠了伤柄。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,694評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡文搂,死狀恐怖适刀,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情煤蹭,我是刑警寧澤笔喉,帶...
    沈念sama閱讀 34,351評論 4 332
  • 正文 年R本政府宣布,位于F島的核電站疯兼,受9級特大地震影響然遏,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜吧彪,卻給世界環(huán)境...
    茶點故事閱讀 39,988評論 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望丢早。 院中可真熱鬧姨裸,春花似錦、人聲如沸怨酝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,778評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽农猬。三九已至赡艰,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間斤葱,已是汗流浹背慷垮。 一陣腳步聲響...
    開封第一講書人閱讀 32,007評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留揍堕,地道東北人料身。 一個月前我還...
    沈念sama閱讀 46,427評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像衩茸,于是被迫代替她去往敵國和親芹血。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,580評論 2 349

推薦閱讀更多精彩內(nèi)容