第一層:輸入層32x32(28x28)大小的圖像贱田。明顯特征能夠出現(xiàn)在最高層特征監(jiān)測(cè)子感受野的中心威根。(筆畫斷續(xù)凤巨、角點(diǎn))
第二層:C1,卷積層洛搀。原始信號(hào)特征增強(qiáng)敢茁,降低噪音,不同的卷積核能夠提取到不同的圖像特征留美。
feature map個(gè)數(shù):6個(gè) 3232
conv kernel大姓妹省:5 * 5
神經(jīng)元個(gè)數(shù):(32 - 5 + 1) * (32 - 5 + 1) = 28 * 28
訓(xùn)練參數(shù)個(gè)數(shù): (5 * 5 + 1) * 6 = 156
連接數(shù): (5 * 5 + 1) (28 * 28) * 6 = 122304
第三層:S2,下采樣層谎砾。降低網(wǎng)絡(luò)訓(xùn)練參數(shù)和模型的過(guò)擬合程度逢倍。兩種方法:均值、最大值景图。
feature map個(gè)數(shù):6個(gè)14 * 14瓶堕,與C1中的2 * 2的區(qū)域相連。
神經(jīng)元計(jì)算:sigmoid (2 * 2 的輸入相加 * 一個(gè)訓(xùn)練參數(shù) + 該feature map的bias)
神經(jīng)元個(gè)數(shù):14 * 14
訓(xùn)練參數(shù)個(gè)數(shù): 2 * 6 = 12
連接數(shù):(2 * 2 + 1) * (14 * 14) * 6 = 5880
第四層:C3症歇,卷積層郎笆。
conv kernel大小:5 * 5
feature map個(gè)數(shù):16個(gè)14 * 14
神經(jīng)元個(gè)數(shù): (14 - 5 + 1) * (14 - 5 + 1) = 10 * 10
該層feature map是由上一層的各feature map的不同組合而成的忘晤,所以訓(xùn)練參數(shù)為:
(5 * 5 * 3 + 1) * 6 + (5 * 5 * 4 + 1) * 9 + (5 * 5 * 6 + 1) * 1 = 1516
連接數(shù):1516 * 10 * 10 = 151600
第五層:S4宛蚓,下采樣層。
feature map個(gè)數(shù):16個(gè)5 * 5设塔, 與C3中對(duì)應(yīng)的feature map的2 * 2大小的區(qū)域相連凄吏。
訓(xùn)練參數(shù)個(gè)數(shù): 2 * 16 = 32
連接數(shù): (2 * 2 + 1) * (5 * 5) * 16 = 2000
第六層:C5,卷積層。
feature map個(gè)數(shù):120個(gè)5 * 5
conv kernel: 5 * 5
神經(jīng)元個(gè)數(shù):(5 - 5 + 1) * (5 - 5 + 1) = 1
訓(xùn)練參數(shù)個(gè)數(shù):(5 * 5 * 16 + 1) * 120 = 48120
連接數(shù): 48120 * 1 = 48120
第七層:F6痕钢,全連接層图柏。
feature map個(gè)數(shù):84
神經(jīng)元:每個(gè)feature map只有一個(gè)神經(jīng)元與C5層全連接,故
連接數(shù)與參數(shù)個(gè)數(shù):(1 * 1 * 120 + 1)* 84 = 10164
計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積和偏置任连,之后將其傳遞給sigmoid函數(shù)來(lái)計(jì)算神經(jīng)元蚤吹。
第八層:輸出層。10個(gè)節(jié)點(diǎn)随抠。
84 * 10個(gè)設(shè)定參數(shù)和連接裁着。
如果節(jié)點(diǎn) i 的值為0,則識(shí)別的內(nèi)容為 i 拱她。
采用RBF二驰。