最近人工智能課的作業(yè)做得是關(guān)于超分辨率重建的題目，所以借此機會對一些比較經(jīng)典的 SR 方法做一個總結(jié)馒过。寫著寫著發(fā)現(xiàn)太長了臭脓，還是分成上下兩篇吧。
1.《Learning a Deep Convolutional Network for Image Super-Resolution》
SRCNN模型
論文鏈接：https://link.springer.com/chapter/10.1007/978-3-319-10593-2_13
項目鏈接：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
這篇文章和《Image Super-Resolution Using Deep Convolutional Networks》內(nèi)容相同腹忽，只是后者的實驗部分更詳細来累。
算法流程：
- 先用雙線性插值上采樣，把圖像變成期望的大小窘奏。
- 放入CNN中學習嘹锁，三個卷積層分別對應如下的功能：
1） 特征提取
2） 特征映射（LR特征映射到HR特征）
3） 重建
網(wǎng)絡(luò)模型：
損失函數(shù)：
MES（均方差）損失，計算公式如下：
2. 《Accelerating the Super-Resolution Convolutional Neural Network》
FSRCNN模型
論文鏈接：https://arxiv.org/abs/1608.00367
項目鏈接：http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html
網(wǎng)絡(luò)模型：（與 SRCNN 對比）
針對問題：
- 一般網(wǎng)絡(luò)都直接將插值后的 LR 投入到網(wǎng)絡(luò)中着裹，這便帶來復雜的計算開銷领猾，假設(shè)要放大 n 倍，那么計算復雜度則上升到了 n2骇扇；
- 非線性層映射的參數(shù)太過臃腫瘤运。
提出改進：
- 取消 ILR 輸入，而是采用 LR 輸入匠题，在最后引用反卷積放大圖像拯坟；
- 非線性映射改為：收縮（Shrinking）、映射（Mapping）韭山、擴展（Expending）三步郁季；
- 更小尺寸的濾波器和更深的網(wǎng)絡(luò)結(jié)構(gòu)。
其中钱磅，Shrinking 使用大小為 1×1 的卷積層梦裂，目的是減小特征的維數(shù)（通道數(shù)），提高學習效率盖淡。作者發(fā)現(xiàn)低維度特征的重建效果并不是特別好年柠，因此通過 1×1 的卷積層對 HR 特征進行擴維，類似于Shrinking 的反操作褪迟。然后再進行重建冗恨。
3. 《Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network》
ESPCN模型
論文鏈接：https://arxiv.org/abs/1609.05158
全文翻譯：http://www.reibang.com/p/9d654bdbd5e2
項目鏈接（tensorflow）：https://github.com/Tetrachrome/subpixel
網(wǎng)絡(luò)模型：
圖示的前 l-1 層為特征提取層，第 l 層為亞像素卷積層味赃。通過亞像素卷積層生成 W×H×r2 的圖像掀抹，即 r2 張亞像素圖像。最后將這些亞像素圖像按順序重組心俗，得到最終的 HR 圖像傲武。
4. 《Deeply-Recursive Convolutional Network for Image Super-Resolution 》
DRCN模型
論文鏈接：https://arxiv.org/abs/1511.04491
全文翻譯：https://blog.csdn.net/weinidakaishijian/article/details/75565896
項目鏈接：https://cv.snu.ac.kr/research/DRCN/
網(wǎng)絡(luò)模型：
- Embedding Net：相當于特征提取的作用
- Inference Net：遞歸網(wǎng)絡(luò)
- Reconstruction Net：重建網(wǎng)絡(luò)
主要貢獻：
遞歸監(jiān)督（recursive-supervision）：訓練遞歸網(wǎng)絡(luò)也會出現(xiàn)梯度爆炸和梯度消失蓉驹，所以使用遞歸監(jiān)督。每一個循環(huán)子層的 loss 都會疊加到總 loss 上揪利，從而成為一個有效的監(jiān)督态兴，也對梯度消失與爆炸有平滑作用。
跳躍連接（skip-connection）：LR 圖像和網(wǎng)絡(luò)輸出的HR 圖像有很高的相關(guān)性疟位，而隨著遞歸網(wǎng)絡(luò)深度加深學習不到這種線性映射诗茎，所以通過該技巧可以使用大部分低分辨率信息用于重建高分辨率圖像。該網(wǎng)絡(luò)學習的是 LR 與 HR 的殘差（見下文）献汗。
其中的 H1 到 HD 是 D 個共享參數(shù)的卷積層敢订。DRCN將每一層的卷積結(jié)果都通過同一個Reconstruction Net得到一個重建結(jié)果，從而共得到D個重建結(jié)果罢吃，再把它們加權(quán)平均得到最終的輸出楚午。
5. 《Accurate Image Super-Resolution Using Very Deep Convolutional Networks》
VDSR模型
論文鏈接：https://arxiv.org/abs/1511.04587v1
項目鏈接：https://github.com/huangzehao/caffe-vdsr
網(wǎng)絡(luò)模型：
SRCNN的問題：
- 訓練層數(shù)少，沒有足夠的視野域尿招；
- 訓練太慢矾柜，導致沒有在深層網(wǎng)絡(luò)上得到好的效果；
- 不能支持多種倍數(shù)的高清化就谜。
主要貢獻：
- 增加網(wǎng)絡(luò)層數(shù)怪蔑，增大感受野；
- 使用殘差網(wǎng)絡(luò)丧荐，在增加網(wǎng)絡(luò)層數(shù)的同時缆瓣，提高學習率，加快了收斂速度虹统；
- 數(shù)據(jù)融合弓坞，將放大不同倍數(shù)的數(shù)據(jù)集混合在一起訓練得到一個模型，從而共享參數(shù)车荔。
