卷積神經(jīng)網(wǎng)絡(luò)
- 如果采用全連接前饋網(wǎng)絡(luò)來處理圖像時(shí)，會(huì)存在以下問題摊册，
- 第一 參數(shù)太多畴栖，在圖像處理時(shí)，每個(gè)像素點(diǎn)都是一個(gè)參數(shù)囚企，因此，若采用全連接前饋網(wǎng)絡(luò)瑞眼，僅僅第一個(gè)隱藏層龙宏，每個(gè)神經(jīng)元到輸出層都有1001003 個(gè)互相獨(dú)立連接，每個(gè)連接都對(duì)應(yīng)一個(gè)權(quán)重參數(shù)伤疙，這會(huì)導(dǎo)致模型訓(xùn)練效率非常低银酗，也很容易出現(xiàn)過擬合（不必要參數(shù)太多）
- 第二 局部不變特征，自然圖像中的物體都有局部不變性特征徒像，比如在尺度縮放黍特，平移，旋轉(zhuǎn)等操作不影響其語義信息锯蛀，而全連接前饋神經(jīng)網(wǎng)絡(luò)灭衷，很難提取這些局部不變特征，比如縮放手旁涤，的50503的圖像翔曲，很難識(shí)別出和1001003的 描述的是同一個(gè)物體
目前卷積神經(jīng)網(wǎng)絡(luò)
一般由卷積層，匯聚層劈愚，和全連接層交叉堆疊而成瞳遍，使用反向傳播算法進(jìn)行訓(xùn)練（反向傳播，再重新看一下）
卷積神經(jīng)網(wǎng)絡(luò)有三個(gè)結(jié)構(gòu)上的特性：局部連接造虎，權(quán)重共享以及子采樣
濾波器filter 卷積核convolution kernel
局部連接傅蹂，其實(shí)就是根據(jù)時(shí)間，權(quán)重遞減 最后為0 參數(shù)就傳播不到遠(yuǎn)處了
- 二維卷積中，濾波器也分為好幾種
- 均值濾波
- 高斯濾波
還有一些份蝴，可以提取邊緣特征的濾波器 等等
局部連接 乘以 濾波器 得特征映射
互相關(guān)犁功，是一個(gè)衡量?jī)蓚€(gè)序列相關(guān)性的函數(shù)，
互相關(guān)和卷積的區(qū)別在于 卷積核僅僅是否進(jìn)行翻轉(zhuǎn)婚夫，因此互相關(guān)也可以稱為 不翻轉(zhuǎn)卷積
使用卷積 是為了進(jìn)行特征抽取浸卦，卷積核 是否進(jìn)行翻轉(zhuǎn)和其特征抽取的能力無關(guān)。
當(dāng)卷積核是可以學(xué)習(xí)的參數(shù)案糙，卷積和互相關(guān)是等價(jià)的限嫌，因此，其實(shí)兩者差不多时捌。
匯聚層
-
匯聚層也叫做子采樣層怒医，其作用是進(jìn)行特征選擇，降低特征數(shù)量奢讨，并從而減少稚叹，參數(shù)數(shù)量
匯聚層雖然可以顯著提高網(wǎng)絡(luò)中連接的數(shù)量，但特征映射組中但神經(jīng)元的個(gè)數(shù)并沒有顯著減少拿诸，如果后面接一個(gè)分類器扒袖，分類器的輸入維數(shù)依然很高，很容易出現(xiàn)過擬合亩码，為了解決這個(gè)問題季率，可以在卷積層之后加一個(gè)匯聚層，從而降低特征維數(shù)描沟，避免過擬合
image.png -
常用的匯聚函數(shù)飒泻，有 最大匯聚 和 平均匯聚 兩者
image.png 卷積神經(jīng)網(wǎng)絡(luò)中，主要有兩種不同功能的神經(jīng)層：卷積層和匯聚層
而參數(shù)多為卷積核（濾波器）和偏置啊掏，而我們進(jìn)行算法優(yōu)化蠢络，無非就是修改超參數(shù)衰猛，因此只需要計(jì)算卷積層中參數(shù)的梯度迟蜜。
Tips：P是代表特征映射
