6. 《Enhanced Deep Residual Networks for Single Image Super-Resolution》

EDSR模型 和 MDSR模型

論文鏈接：https://arxiv.org/abs/1707.02921
全文翻譯：https://mp.weixin.qq.com/s/xpvGz1HVo9eLNDMv9v7vqg
項目鏈接：https://github.com/jmiller656/EDSR-Tensorflow

主要思想：

1. 去掉 BN 層：原來的 ResNet 使用來解決計算機視覺問題剩膘，如圖像分類和檢測。 因此，將 ResNet 架構(gòu)直接應(yīng)用于超級分辨率等低級視覺問題可能不是最佳的。批歸一化層（Batch Normalization，BN）會使特征標(biāo)準(zhǔn)化炉爆，同時使網(wǎng)絡(luò)喪失范圍的靈活性，因此去除了 BN 層。
2. 分別提出了單一尺度和多尺度模型慈格。

網(wǎng)絡(luò)模型：

1. EDSR：適用于單一尺度怠晴，放大其他倍數(shù)的網(wǎng)絡(luò)可以用放大2倍的數(shù)據(jù)預(yù)訓(xùn)練，提升了訓(xùn)練的速度浴捆。

2. MDSR：適用于多尺度蒜田，特征提取和重建層參數(shù)不共享，中間的映射層參數(shù)共享选泻。

7. 《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》

SRGAN模型

論文鏈接：https://arxiv.org/abs/1609.04802
項目鏈接：https://github.com/tensorlayer/srgan

網(wǎng)絡(luò)模型：

生成器

鑒別器

損失函數(shù)：

本文的主要貢獻(xiàn)就在于設(shè)計了感知損失（Perceptual Loss）冲粤。分為內(nèi)容損失（Content Loss）
和對抗損失（Adversarial Loss）兩部分。

1. 內(nèi)容損失：

傳統(tǒng)的內(nèi)容損失使用的都是 MSE页眯，而 MSE 的損失函數(shù)使得輸出缺乏高頻成分梯捕，過于光滑不適宜人們閱讀，所以本文在基于預(yù)訓(xùn)練的 VGG19 的 RELU 激活層來定義 loss 函數(shù)窝撵，定義如下：

上式是通過歐氏距離定義的傀顾，其中 φ_i,j 是 VGG19 里面第 i 個最大池層之后的第 j 個卷積層所提取到的特征，W_i,j 和 H_i,j 是各自的特征維度忿族。

2. 對抗損失：

基于判別器的概率定義對抗損失锣笨，定義如下：

8. 《To learn image super-resolution, use a GAN to learn how to do image degradation first》

論文鏈接：https://arxiv.org/abs/1807.11458
項目鏈接：Pytorch: Face-and-Image-super-resolution

這篇文章不是很經(jīng)典的模型，是我搜集資料的時候看到的道批，我覺的還是有一些創(chuàng)意的错英，可以提供一些啟發(fā)。

算法步驟：

1. 使用不同的未配對數(shù)據(jù)集隆豹，訓(xùn)練 High-to-Low GAN 網(wǎng)絡(luò)椭岩。
2. 用上一步的輸出結(jié)果，用成對訓(xùn)練數(shù)據(jù)訓(xùn)練 Low-to-High GAN 網(wǎng)絡(luò)璃赡。

相當(dāng)于是第一個階段我們學(xué)習(xí)到降級模型以便于獲取成對數(shù)據(jù)集判哥，然后在第二個階段進(jìn)行SR。

網(wǎng)絡(luò)模型：

H-to-L 生成器

L-to-H 生成器

鑒別器

損失函數(shù)：

本文的損失函數(shù)如下圖所示碉考，由 L₂ 像素?fù)p失和 GAN 損失兩部分組成塌计。由于L₂ 像素?fù)p失會使圖像變得平滑，因此 GAN 損失占的比重較大侯谁。

GAN 損失的定義如下：

L₂ 損失（也就是 MSE 損失）的定義如下：

9. 《Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation》

VESPCN模型

論文鏈接：https://arxiv.org/abs/1611.05250

算法流程：

1. 通過 Motion estimation 估計出位移锌仅，然后利用位移參數(shù)對相鄰幀進(jìn)行空間變換，將二者對齊墙贱；
2. 把對齊后的相鄰若干幀疊放在一起热芹，當(dāng)做一個三維數(shù)據(jù)，在低分辨率的三維數(shù)據(jù)上使用三維卷積惨撇，得到的結(jié)果大小為 W×H×r²伊脓；
3. 利用 ESPCN 的思想將該卷積結(jié)果重新排列得到大小為 rW×rH×1 的高分辨率圖像。

本文提出了一個空間變換網(wǎng)絡(luò)魁衙，通過 CNN 來估計空間變換參數(shù)报腔，從而實現(xiàn) Motion estimation株搔。這一步我沒有仔細(xì)看，所以在這里就不說了纯蛾。

方法看的不是很全邪狞，有很多地方都是我自己理解的。雖然近期應(yīng)該不會再做 SR 方面的工作了茅撞，不過通過這段時間的學(xué)習(xí)帆卓，還是學(xué)到了很多。

最后附上一個 GitHub 上關(guān)于 SR 的總結(jié)：https://github.com/YapengTian/Single-Image-Super-Resolution