圖像分類專題
圖像分類的基礎(chǔ)模型中硬梁，兩大經(jīng)典模型：
提出了殘差模塊和Bottleneck層谴麦，解決了深度網(wǎng)絡(luò)在訓(xùn)練時發(fā)生的退化問題
Pre-activation ResNet(ResNet改進(jìn))：將激活函數(shù)(ReLU和BN)看作是權(quán)重層的"pre-activation"钥组，而不是傳統(tǒng)的"post-activation"。優(yōu)點是模型更容易訓(xùn)練绑谣，且泛化能力更強(qiáng)党窜。
采用全連接的跳連方式促進(jìn)特征圖的重復(fù)使用，對于具有L個卷積層的dense模塊借宵，其具有的跳連數(shù)量為：L(L+1)/2幌衣。減輕了空梯度的問題，大大減少了參數(shù)量壤玫。
DenseNet元結(jié)構(gòu)：主要由Dense模塊和Transition層組成
Dense模塊：由多個Bottleneck層組成豁护，每個層之間具有跳躍的全連接，且每層的輸出通道數(shù)為k
Transition層：由一個卷積層和一個平均池化構(gòu)成欲间，可以對特征進(jìn)行壓縮并進(jìn)行降采樣
ResNet和DenseNet相比：具有相同水平的準(zhǔn)確率楚里，但是只用了1/3的參數(shù)。
提出一個高效的混合特征連通性模式用于圖像分類猎贴，還結(jié)合了現(xiàn)有的注意力機(jī)制操作構(gòu)造了遺忘門和更新門來實現(xiàn)舊特征和新特征的有效混合班缎。基于上述的結(jié)構(gòu)她渴，本文提出了一個全新的圖像分類模型达址，叫做HCGNet。
輕量級網(wǎng)絡(luò)趁耗，使用深度可分離卷機(jī)進(jìn)行堆疊
ShuffleNetV1設(shè)計用于移動端設(shè)備沉唠，主要創(chuàng)新點在于沿用了分組卷積和提出了通道打亂
它沿用了V1的深度可分離卷積，主要創(chuàng)新點是逆轉(zhuǎn)殘差和線性瓶頸層苛败。
線性瓶頸層：指的是在bottleneck模塊的最后使用的是線性轉(zhuǎn)換而不是ReLU满葛。
ReLU函數(shù)對特征的影響：
當(dāng)通道數(shù)量很多時，manifold of interest會保留在未被破壞的通道中罢屈，也就是相當(dāng)于發(fā)生了線性變換嘀韧。
ReLU函數(shù)能夠保護(hù)信息的條件是輸入manifold坐落在輸入空間的低位子空間
認(rèn)為FLOPs(浮點操作次數(shù))是一個衡量時間復(fù)雜度的間接指標(biāo)，并提出流行的被用于節(jié)省參數(shù)和計算量的組卷積和深度卷積并沒有達(dá)到理論的優(yōu)化效果儡遮。由此提出四種指導(dǎo)方針：
輸入通道數(shù)與輸出通道數(shù)保持相等可以最小化內(nèi)存訪問成本(MAC)
組卷積中使用過多的分組數(shù)會增加內(nèi)存訪問成本
網(wǎng)絡(luò)結(jié)構(gòu)太復(fù)雜(分支和基本單元過多)會降低網(wǎng)絡(luò)的并行程度
Element-wise的操作消耗不可忽視
利用NLP中的AND-OR Grammar來構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模塊
在原有的MobileNetV2模塊的基礎(chǔ)上加入了SE插件?MobileNetV3結(jié)構(gòu)搜索：
NAS方法來搜索網(wǎng)絡(luò)的全局結(jié)構(gòu)
NetAdapt方法來搜索每層的filter數(shù)量
Squeeze-and-Excitation Networks乳蛾，壓縮-激活網(wǎng)絡(luò)。本質(zhì)是在求取channel-wise的權(quán)重鄙币，然后利用權(quán)重對特征進(jìn)行重新校準(zhǔn)肃叶。
Selective Kernel Convolution，在原有的SE模塊上運用了多尺度：33和55卷積核十嘿。從前到后分為Split因惭，F(xiàn)use，Select這三個操作
提出一個簡單并且有效的減少DenseNet連通性的方法：顯著地減少模塊堆疊的數(shù)量绩衷，通過將bottleneck模塊替換為我們的SMG模塊蹦魔，SMG模塊里具有殘差連接。
SMG模塊中咳燕，我們設(shè)計了針對于優(yōu)化densenet-like結(jié)構(gòu)的兩階段pipeline：
(1) 首先通過分層次的卷積網(wǎng)絡(luò)來逐步壓縮富有信息量但是冗余的特征圖來得到稠密的特征圖勿决。
(2) 對稠密的特征圖使用多尺度的深度卷積進(jìn)行激活
進(jìn)一步開發(fā)了一個遺忘門和一個更新門來對重用特征和新特征進(jìn)行了有效地加權(quán)混合而不是簡單的相加。
混合連通性：在全局的dense連接中嵌入redidual連通性招盲，混合連通性發(fā)生在混合塊
ResNet和DenseNet進(jìn)行比較：
參數(shù)共享：ResNet中的殘差連接伴隨著參數(shù)共享機(jī)制低缩，DenseNet中的密集連接沒有伴隨著參數(shù)共享機(jī)制?特征學(xué)習(xí)：ResNet高效的特征重用，低參數(shù)冗余性曹货，太多的相加特征聚合會造成特征表示的坍塌和組織信息流動咆繁；DenseNet保護(hù)了先前的所有信息，并且具有共同學(xué)習(xí)機(jī)制顶籽。?整體效率：在CIFAR-10數(shù)據(jù)集玩般，DenseNet-100利用0.8M的參數(shù)量超過了10.2M的ResNet-1001
SMG模塊：dense連通性下的堆疊的模塊礼饱。
更新們update gate：采用了空間注意力機(jī)制和通道注意力機(jī)制對兩路新提取的多尺度特征圖進(jìn)行合并
遺忘門forget gate：采用了空間注意力機(jī)制和通道注意力機(jī)制對重用的特征進(jìn)行衰減坏为。
全局結(jié)構(gòu)包含3個混合塊(hybrid block)，沒個混合塊之間是一個Transition層用來降采樣和連通性截斷镊绪。
CIFAR-10和CIFAR-100結(jié)果：
HCGNets使用更少的復(fù)雜度超過了人工設(shè)計和自動搜索的網(wǎng)絡(luò)結(jié)構(gòu)
HCGNets超過DenseNet變體：LogDenseNet久脯，SparseNet，CondenseNet镰吆，表明我們的冗余度優(yōu)化方法是最好的帘撰。
HCGNet超過自動搜索的NASNet僅僅使用了22%的參數(shù)量，證明了HCGNet結(jié)構(gòu)的高效性万皿。
ImageNet2012結(jié)果：
HCGNet以更低的復(fù)雜度超過廣泛流行的ResNet家族及其Attention-based變體
HCGNet-B以3倍更少的參數(shù)量和計算量在性能上超過了DenseNet0.6%
HCGNets超過了先前人工設(shè)計的SOTA網(wǎng)絡(luò)：AOGNets
作者提出了量化網(wǎng)絡(luò)latent representation可解釋性的框架：評估單一隱藏與語義概念的對齊關(guān)系
給定一個CNN摧找，可以對某一卷積層的隱藏單元的語義進(jìn)行打分。
