姓名：于川皓 學(xué)號(hào)：16140210089

轉(zhuǎn)載自：https://zhuanlan.zhihu.com/p/25532538?utm_medium=social&utm_source=weibo

【嵌牛導(dǎo)讀】：超分辨率技術(shù)（Super-Resolution）是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像俺祠，在監(jiān)控設(shè)備辆它、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值瓶佳。

【嵌牛鼻子】：深度學(xué)習(xí)藏澳，超分辨率

【嵌牛提問(wèn)】：深度學(xué)習(xí)在圖片超分辨率重建的實(shí)現(xiàn)方法是什么？

【嵌牛正文】：超分辨率技術(shù)（Super-Resolution）是指從觀測(cè)到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，在監(jiān)控設(shè)備、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有重要的應(yīng)用價(jià)值局骤。SR可分為兩類(lèi):從多張低分辨率圖像重建出高分辨率圖像和從單張低分辨率圖像重建出高分辨率圖像”┐眨基于深度學(xué)習(xí)的SR峦甩，主要是基于單張低分辨率的重建方法，即Single Image Super-Resolution (SISR)现喳。

SISR是一個(gè)逆問(wèn)題凯傲，對(duì)于一個(gè)低分辨率圖像犬辰，可能存在許多不同的高分辨率圖像與之對(duì)應(yīng)，因此通常在求解高分辨率圖像時(shí)會(huì)加一個(gè)先驗(yàn)信息進(jìn)行規(guī)范化約束泣洞。在傳統(tǒng)的方法中忧风，這個(gè)先驗(yàn)信息可以通過(guò)若干成對(duì)出現(xiàn)的低-高分辨率圖像的實(shí)例中學(xué)到。而基于深度學(xué)習(xí)的SR通過(guò)神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的端到端的映射函數(shù)球凰。

本文介紹幾個(gè)較新的基于深度學(xué)習(xí)的SR方法，包括SRCNN腿宰，DRCN, ESPCN呕诉，VESPCN和SRGAN等。

1吃度，SRCNN

Super-Resolution Convolutional Neural Network （SRCNN, PAMI 2016, 代碼)是較早地提出的做SR的卷積神經(jīng)網(wǎng)絡(luò)甩挫。該網(wǎng)絡(luò)結(jié)構(gòu)十分簡(jiǎn)單，僅僅用了三個(gè)卷積層椿每。

該方法對(duì)于一個(gè)低分辨率圖像伊者，先使用雙三次（bicubic）插值將其放大到目標(biāo)大小，再通過(guò)三層卷積網(wǎng)絡(luò)做非線性映射间护，得到的結(jié)果作為高分辨率圖像輸出亦渗。作者將三層卷積的結(jié)構(gòu)解釋成與傳統(tǒng)SR方法對(duì)應(yīng)的三個(gè)步驟：圖像塊的提取和特征表示，特征非線性映射和最終的重建汁尺。

三個(gè)卷積層使用的卷積核的大小分為為9x9, 1x1和5x5法精，前兩個(gè)的輸出特征個(gè)數(shù)分別為64和32. 該文章分別用Timofte數(shù)據(jù)集（包含91幅圖像）和ImageNet大數(shù)據(jù)集進(jìn)行訓(xùn)練。相比于雙三次插值和傳統(tǒng)的稀疏編碼方法痴突，SRCNN得到的高分辨率圖像更加清晰搂蜓，下圖是一個(gè)放大倍數(shù)為3的例子。

對(duì)SR的質(zhì)量進(jìn)行定量評(píng)價(jià)常用的兩個(gè)指標(biāo)是PSNR(Peak Signal-to-Noise Ratio)和SSIM（Structure Similarity Index）辽装。這兩個(gè)值越高代表重建結(jié)果的像素值和金標(biāo)準(zhǔn)越接近帮碰，下圖表明，在不同的放大倍數(shù)下拾积，SRCNN都取得比傳統(tǒng)方法好的效果殉挽。

2， DRCN

SRCNN的層數(shù)較少殷勘，同時(shí)感受野也較写嗽佟（13x13）。DRCN (Deeply-Recursive Convolutional Network for Image Super-Resolution, CVPR 2016, 代碼)提出使用更多的卷積層增加網(wǎng)絡(luò)感受野（41x41）玲销，同時(shí)為了避免過(guò)多網(wǎng)絡(luò)參數(shù)输拇，該文章提出使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。網(wǎng)絡(luò)的基本結(jié)構(gòu)如下：

與SRCNN類(lèi)似贤斜，該網(wǎng)絡(luò)分為三個(gè)模塊策吠，第一個(gè)是Embedding network逛裤，相當(dāng)于特征提取，第二個(gè)是Inference network, 相當(dāng)于特征的非線性變換猴抹，第三個(gè)是Reconstruction network,即從特征圖像得到最后的重建結(jié)果带族。其中的Inference network是一個(gè)遞歸網(wǎng)絡(luò)，即數(shù)據(jù)循環(huán)地通過(guò)該層多次蟀给。將這個(gè)循環(huán)進(jìn)行展開(kāi)蝙砌，就等效于使用同一組參數(shù)的多個(gè)串聯(lián)的卷積層，如下圖所示：

其中的H_1到H_D是D個(gè)共享參數(shù)的卷積層跋理。DRCN將每一層的卷積結(jié)果都通過(guò)同一個(gè)Reconstruction Net得到一個(gè)重建結(jié)果择克，從而共得到D個(gè)重建結(jié)果，再把它們加權(quán)平均得到最終的輸出前普。另外肚邢，受到ResNet的啟發(fā)，DRCN通過(guò)skip connection將輸入圖像與H_d的輸出相加后再作為Reconstruction Net的輸入拭卿，相當(dāng)于使Inference Net去學(xué)習(xí)高分辨率圖像與低分辨率圖像的差骡湖，即恢復(fù)圖像的高頻部分。

實(shí)驗(yàn)部分峻厚，DRCN也使用了包含91張圖像的Timofte數(shù)據(jù)集進(jìn)行訓(xùn)練响蕴。得到的效果比SRCNN有了較大提高。

3目木， ESPCN

在SRCNN和DRCN中换途，低分辨率圖像都是先通過(guò)上采樣插值得到與高分辨率圖像同樣的大小，再作為網(wǎng)絡(luò)輸入刽射，意味著卷積操作在較高的分辨率上進(jìn)行军拟，相比于在低分辨率的圖像上計(jì)算卷積，會(huì)降低效率誓禁。 ESPCN(Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network懈息，CVPR 2016, 代碼)提出一種在低分辨率圖像上直接計(jì)算卷積得到高分辨率圖像的高效率方法。

ESPCN的核心概念是亞像素卷積層(sub-pixel convolutional layer)摹恰。如上圖所示辫继，網(wǎng)絡(luò)的輸入是原始低分辨率圖像，通過(guò)兩個(gè)卷積層以后俗慈，得到的特征圖像大小與輸入圖像一樣姑宽，但是特征通道為r^2(r是圖像的目標(biāo)放大倍數(shù))。將每個(gè)像素的r^2個(gè)通道重新排列成一個(gè)r x r的區(qū)域闺阱，對(duì)應(yīng)于高分辨率圖像中的一個(gè)r x r大小的子塊炮车，從而大小為r^2 x H x W的特征圖像被重新排列成1 x rH x rW大小的高分辨率圖像。這個(gè)變換雖然被稱(chēng)作sub-pixel convolution, 但實(shí)際上并沒(méi)有卷積操作。

通過(guò)使用sub-pixel convolution, 圖像從低分辨率到高分辨率放大的過(guò)程瘦穆，插值函數(shù)被隱含地包含在前面的卷積層中纪隙，可以自動(dòng)學(xué)習(xí)到。只在最后一層對(duì)圖像大小做變換扛或，前面的卷積運(yùn)算由于在低分辨率圖像上進(jìn)行绵咱，因此效率會(huì)較高。

重建效果上熙兔，用PSNR指標(biāo)看來(lái)ESPCN比SRCNN要好一些悲伶。對(duì)于1080HD的視頻圖像，做放大四倍的高分辨率重建黔姜，SRCNN需要0.434s而ESPCN只需要0.029s拢切。

4， VESPCN

在視頻圖像的SR問(wèn)題中秆吵，相鄰幾幀具有很強(qiáng)的關(guān)聯(lián)性，上述幾種方法都只在單幅圖像上進(jìn)行處理五慈，而VESPCN（ Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation, arxiv 2016）提出使用視頻中的時(shí)間序列圖像進(jìn)行高分辨率重建纳寂，并且能達(dá)到實(shí)時(shí)處理的效率要求。其方法示意圖如下泻拦，主要包括三個(gè)方面：

一是糾正相鄰幀的位移偏差毙芜，即先通過(guò)Motion estimation估計(jì)出位移，然后利用位移參數(shù)對(duì)相鄰幀進(jìn)行空間變換争拐，將二者對(duì)齊腋粥。二是把對(duì)齊后的相鄰若干幀疊放在一起，當(dāng)做一個(gè)三維數(shù)據(jù)架曹，在低分辨率的三維數(shù)據(jù)上使用三維卷積隘冲，得到的結(jié)果大小為r^2\times H\times W。三是利用ESPCN的思想將該卷積結(jié)果重新排列得到大小為1\times rH\times rW的高分辨率圖像绑雄。

Motion estimation這個(gè)過(guò)程可以通過(guò)傳統(tǒng)的光流算法來(lái)計(jì)算展辞，DeepMind 提出了一個(gè)Spatial Transformer Networks, 通過(guò)CNN來(lái)估計(jì)空間變換參數(shù)。VESPCN使用了這個(gè)方法万牺，并且使用多尺度的Motion estimation：先在比輸入圖像低的分辨率上得到一個(gè)初始變換罗珍，再在與輸入圖像相同的分辨率上得到更精確的結(jié)果，如下圖所示：

由于SR重建和相鄰幀之間的位移估計(jì)都通過(guò)神經(jīng)網(wǎng)路來(lái)實(shí)現(xiàn)脚粟，它們可以融合在一起進(jìn)行端到端的聯(lián)合訓(xùn)練覆旱。為此，VESPCN使用的損失函數(shù)如下：

第一項(xiàng)是衡量重建結(jié)果和金標(biāo)準(zhǔn)之間的差異核无，第二項(xiàng)是衡量相鄰輸入幀在空間對(duì)齊后的差異扣唱，第三項(xiàng)是平滑化空間位移場(chǎng)。下圖展示了使用Motion Compensation 后，相鄰幀之間對(duì)得很整齊画舌，它們的差值圖像幾乎為0.

從下圖可以看出堕担，使用了Motion Compensation，重建出的高分辨率視頻圖像更加清晰曲聂。

5霹购， SRGAN

SRGAN (Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, arxiv, 21 Nov, 2016)將生成式對(duì)抗網(wǎng)絡(luò)（GAN)用于SR問(wèn)題。其出發(fā)點(diǎn)是傳統(tǒng)的方法一般處理的是較小的放大倍數(shù)朋腋，當(dāng)圖像的放大倍數(shù)在4以上時(shí)齐疙，很容易使得到的結(jié)果顯得過(guò)于平滑，而缺少一些細(xì)節(jié)上的真實(shí)感旭咽。因此SRGAN使用GAN來(lái)生成圖像中的細(xì)節(jié)贞奋。

傳統(tǒng)的方法使用的代價(jià)函數(shù)一般是最小均方差（MSE），即

該代價(jià)函數(shù)使重建結(jié)果有較高的信噪比穷绵，但是缺少了高頻信息轿塔，出現(xiàn)過(guò)度平滑的紋理。SRGAN認(rèn)為仲墨，應(yīng)當(dāng)使重建的高分辨率圖像與真實(shí)的高分辨率圖像無(wú)論是低層次的像素值上勾缭，還是高層次的抽象特征上，和整體概念和風(fēng)格上目养，都應(yīng)當(dāng)接近俩由。整體概念和風(fēng)格如何來(lái)評(píng)估呢？可以使用一個(gè)判別器癌蚁，判斷一副高分辨率圖像是由算法生成的還是真實(shí)的幻梯。如果一個(gè)判別器無(wú)法區(qū)分出來(lái)，那么由算法生成的圖像就達(dá)到了以假亂真的效果努释。

因此碘梢，該文章將代價(jià)函數(shù)改進(jìn)為

第一部分是基于內(nèi)容的代價(jià)函數(shù)，第二部分是基于對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)洽洁《幌担基于內(nèi)容的代價(jià)函數(shù)除了上述像素空間的最小均方差以外，又包含了一個(gè)基于特征空間的最小均方差饿自，該特征是利用VGG網(wǎng)絡(luò)提取的圖像高層次特征：

對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)是基于判別器輸出的概率：

其中D_{\theta D}()是一個(gè)圖像屬于真實(shí)的高分辨率圖像的概率汰翠。G_{\theta G}(I^{LR})是重建的高分辨率圖像。SRGAN使用的生成式網(wǎng)絡(luò)和判別式網(wǎng)絡(luò)分別如下：

該方法的實(shí)驗(yàn)結(jié)果如下

從定量評(píng)價(jià)結(jié)果上來(lái)看昭雌，PSNR和SSIM這兩個(gè)指標(biāo)評(píng)價(jià)的是重建結(jié)果和金標(biāo)準(zhǔn)在像素值空間的差異复唤。SRGAN得到的評(píng)價(jià)值不是最高。但是對(duì)于MOS（mean opinion score）的評(píng)價(jià)顯示烛卧，SRGAN生成的高分辨率圖像看起來(lái)更真實(shí)佛纫。