全連接層的每一個節(jié)點都與上一層每個節(jié)點連接，是把前一層的輸出特征都綜合起來笙僚，所以該層的權(quán)值參數(shù)是最多的枚荣。例如在VGG16中，第一個全連接層FC1有4096個節(jié)點边翁，上一層POOL2是7*7*512 = 25088個節(jié)點翎承，則該傳輸需要4096*25088個權(quán)值，需要耗很大的內(nèi)存倒彰。
由于可以把全連接層看成卷積層的一個特例审洞，比如VGG16,POOL2到FC1層是全連接的，把pool2的輸出節(jié)點按向量排列待讳，即有25088個維芒澜，每一維大小為1*1，卷積核可以看成num_filters = 4096,channal = 25088,kernel_size = 1,stride=1创淡，no pad痴晦。
1.前向傳播
下面用一個簡單的網(wǎng)絡(luò)具體介紹一下推導(dǎo)過程
其中，x1琳彩、x2誊酌、x3為全連接層的輸入部凑，a1、a2碧浊、a3為輸出涂邀，
可以寫成如下矩陣形式：
2.反向傳播
由于全連接層可以看出卷積層的一個特例，詳細反向傳播過程可以參考卷積層（Convolution Layer）箱锐。
