卷積神經(jīng)網(wǎng)絡(luò)基本架構(gòu)
卷積神經(jīng)網(wǎng)絡(luò)耸三，主要特點(diǎn)：卷積運(yùn)算操作仪壮。
領(lǐng)域：
在圖像領(lǐng)域，NLP領(lǐng)域的文本分類爽彤、軟件工程的數(shù)據(jù)挖掘中軟件缺陷預(yù)測等問題上獲得較優(yōu)的效果
卷積神經(jīng)網(wǎng)絡(luò)是一種層次模型淫茵，輸入為元素?cái)?shù)據(jù)：RGB圖像蹬跃，原始音頻數(shù)據(jù)
主要運(yùn)算：
1.卷積 convonlution
2.池化pooling
3.非線性激活函數(shù) non-linear activation function
每種運(yùn)算對應(yīng)一個層：卷積層蝶缀，池化層翁都，
算法思想：
卷積神經(jīng)網(wǎng)絡(luò)的最后一層將其目標(biāo)任務(wù)(分類谅猾、回歸等)形式化為目標(biāo)函數(shù)(或稱為代價函數(shù)，損失函數(shù) )税娜。通過計(jì)算預(yù)測值與真實(shí)值之間的誤差或損失,憑借反向傳播算法(BP)將誤差或損失由最后一層逐層向前反饋,更新每層參數(shù),并在更新, 參數(shù)后再次前i饋,如此往復(fù)敬矩，直到網(wǎng)絡(luò)模型收斂 ,從而達(dá)到模型訓(xùn)練的目的弧岳。
卷積神經(jīng)網(wǎng)絡(luò)就像搭積木一樣把卷積等操作，作為基本單元禽炬，依次搭在原始數(shù)據(jù)上腹尖，每層數(shù)據(jù)形式為一個三維張量
對于大規(guī)模數(shù)據(jù)運(yùn)算：采用批處理的隨機(jī)梯度下降法。批處理的隨機(jī)梯度下降法在訓(xùn)練模型階段隨機(jī)選取 n 個樣本作為一批樣本,先通過前饋運(yùn)算得到預(yù)測并計(jì)算其誤差,后通過梯度下降法更新參數(shù),梯度從后往前逐層反饋,直至更新到網(wǎng)絡(luò)的第一層參數(shù),這樣的一個參數(shù)更新過程稱為一個“批處理過程”胎撤。不同批處理之間按照無放回抽樣遍歷所有訓(xùn)練集樣本,遍歷一次訓(xùn)練樣本稱為“一輪”伤提。
卷積神經(jīng)網(wǎng)絡(luò)中的兩類基本過程:前饋運(yùn)算和反饋運(yùn)算。神經(jīng)網(wǎng)絡(luò)模型通過前饋運(yùn)算對樣本進(jìn)行推理和預(yù)測,通過反饋運(yùn)算將預(yù)測誤差反向傳播逐層更新參數(shù),如此兩種運(yùn)算依次交替迭代完成模型的訓(xùn)練過程介汹。
卷積神經(jīng)網(wǎng)絡(luò)基本部件
1.“端到端”的思想
深度學(xué)習(xí)的一個重要思想即“端到端”的學(xué)習(xí)方式(end-end manner ),屬表示學(xué)習(xí)(representation learinng)的一種舶沛。這是深度學(xué)習(xí)區(qū)別于其他機(jī)器學(xué)習(xí)算法的最重要的一個方面如庭。其他機(jī)器學(xué)習(xí)算法,如特征選擇算法(feature selection)坪它、分類器(classifier)算法、集成學(xué)習(xí)(ensemble learning )算法等,均假設(shè)樣本特征表示是給定的,并在此基礎(chǔ)上設(shè)計(jì)具體的機(jī)器學(xué)習(xí)算法
整個學(xué)習(xí)流程并不進(jìn)行人為的子問題劃分,而是完全交給深度學(xué)習(xí)模型直接學(xué)習(xí)從原始輸入到期望輸出的映射
2.卷積層
卷積運(yùn)算
權(quán)值共享
卷積操作：卷積是一種局部操作,通過一定大小的卷積核作用于局部圖像區(qū)域獲得圖像的局部信息
三種邊緣卷積核（或稱為過濾器）：整體邊緣過濾器、橫向邊緣過濾器开瞭、縱向邊緣過濾器嗤详，以下為三種過濾器的一個例子：
3.匯合層(pooling 也譯作池化)
一般使用的匯合：最大值匯合恐锣、平均值匯合
通卷積層不同舞痰，匯合層不包含需要學(xué)習(xí)的參數(shù)
使用時僅需指定匯合類型(average或max 等)响牛、匯合操作的核大小( kernal size)和匯合操作的步長(stride)等超參數(shù)即可
平均值匯合：在每次操作時,將匯合核覆蓋區(qū)域中所有值的平均值作為匯合結(jié)果赫段，最大值匯合也類似糯笙。
