論文內(nèi)容概述
SR問題的兩個研究方向
SR(super resolution)一般指圖像超分辨率西饵，目前的研究有兩種方案葱椭，一種是比較傳統(tǒng)的單圖超分辨率另一種是基于參考圖像的超分辨率媳危。
單圖超分辨率模型(SISR)的輸入只有一張圖象鹅搪，模型會從這一張圖像提取一些高頻信息并使用特殊的方法合成到原圖上去恤左，以完成超分辨率的過程既荚。這種方法有一個缺點(diǎn)稚失，模糊圖像畢竟不含有我們想要的高頻信息，所以即便我們使用特殊的方法去提取恰聘，最后得到的結(jié)果也不可能與實(shí)際情況完全相同句各，也就是說，最后模型得到的圖像存在一些虛假的紋理晴叨，雖然在視覺效果上圖像是清晰的诫钓，但是圖像的細(xì)節(jié)信息卻是假的。
為了解決單圖超分辨率的缺點(diǎn)篙螟，另一種方案被提了出來，這就是基于參考圖像的超分辨率(RefSR)问拘。這種模型的輸入圖像有兩個遍略，一個是模糊圖像，一個是清晰圖像骤坐。模型會從清晰圖像中提取真實(shí)的高頻信息绪杏，然后將其合成到模糊圖像中去。也許你會有一個疑問纽绍，既然已經(jīng)有了清晰的圖像蕾久，為什么我們?nèi)プ龀直媛剩窟@是因為清晰圖像的角度拌夏、拍攝內(nèi)容僧著、光線等不一定樂意是我們滿意，但它的高頻信息卻是我們需要的障簿。
SRNTT做出的貢獻(xiàn)
現(xiàn)有的RefSP模型對參考圖像有很高的要求盹愚，要求參考圖像與模糊圖像的內(nèi)容相仿且具有良好的對齊，這是比較難做到的站故，后來有人提出使用optical flow(一種圖像對齊算法)先對參考圖像和模糊圖像進(jìn)行對齊皆怕，然后送入RefSR模型毅舆。但是optical flow在兩張圖象的錯位極其嚴(yán)重時表現(xiàn)欠佳，因此Adobe團(tuán)隊提出了基于紋理遷移的圖像超分辨率模型(Image Super-Resolution by Neural Texture Transfer)愈腾，簡稱為SRNTT憋活。
SRNTT主要有以下幾個貢獻(xiàn)：
- 解決了現(xiàn)有SISR方法會出現(xiàn)虛假紋理的問題
- 放松了現(xiàn)有的RefSR方法的約束問題，不要求參考圖像與模糊圖像嚴(yán)格對齊
- 提高了現(xiàn)有RefSR方法的魯棒性虱黄，即使使用相似性不是很高的參考圖像也可以得到較好的結(jié)果
- 構(gòu)建了一個基準(zhǔn)數(shù)據(jù)集CUFED5
網(wǎng)絡(luò)結(jié)構(gòu)
SRNTT主要由兩個部分組成悦即，一是上圖中藍(lán)色方框之外的部分，稱之為特征交換礁鲁；另一部分為藍(lán)色方框內(nèi)部的紋理遷移部分盐欺。
為什么SRNTT可以做到不用對齊也不需要相似度太高就能將參考圖像的紋理信息傳送給SR圖呢？
其特點(diǎn)就在于特征交換和紋理轉(zhuǎn)換這兩部分都是在特征空間進(jìn)行的仅醇，不是在原圖上進(jìn)行的冗美。
-
特征交換
特征交換就是將低分辨率圖像的眾多特征與參考圖像的眾多特征進(jìn)行匹配，然后提取出能夠使用的合理的特征圖析二，然后通過紋理轉(zhuǎn)換部分將提取出的特征圖與低分辨率的特征圖合并粉洼，最終得到SR圖像。
特征交換流程如下
將模糊圖像的上采樣圖像叶摄、參考圖像属韧、參考圖像的下上采樣圖像，三張圖像分別送入VGG19網(wǎng)絡(luò)蛤吓，并取出VGG的Relu1_1宵喂、Relu2_1、Relu3_1這三層輸出的特征圖会傲。
對模糊圖像的上采樣圖像和參考圖像的下上采樣圖像的特征圖锅棕，SRNTT會使用下面的公式計算這兩個特征圖之間的相似性
swap
該公式計算了正則化后的參考圖像的下上采樣圖像的特征圖與模糊圖像的上采樣圖像的特征圖的內(nèi)積，并把結(jié)果定義為了兩張?zhí)卣鲌D的相似性淌山。但這種一張一張計算的方式很費(fèi)時間裸燎，所以采用了下面這個公式
快速swap
得到了每張?zhí)卣鲌D之間的相似性之后，對每張模糊圖像的上采樣圖像的特征圖泼疑，我們將與它最相似的特征圖所對應(yīng)的那個參考圖像的特征圖一起拿出來組成德绿，也就是下面這個公式的操作(注意
和
是有區(qū)別的)
match -
紋理遷移
原始模糊圖像首先會經(jīng)過一個殘差模塊被轉(zhuǎn)入到特征空間，然后和特征交換模塊得到的
texture transfer
特征合并后經(jīng)過殘差模塊并放大
transfer
最后一次不放大得到輸出結(jié)果
result loss function
SRNTT采用了下面四種損失函數(shù)，并企圖優(yōu)化它們最終的加權(quán)和
-
Reconstruction loss用于維持結(jié)構(gòu)的相似性
Reconstruction loss -
Perceptual loss和Adversarial loss用于提高視覺效果
Perceptual loss
-
Texture loss用于保證紋理的真實(shí)性钞啸，以防生成虛假紋理
Texture loss
主要結(jié)果
論文對比了不同的模型在不同數(shù)據(jù)集上的表現(xiàn)几蜻，最后結(jié)果是喇潘，定量觀測PSNR值來看，在單圖超分辨率領(lǐng)域梭稚，SRNTT取得第二名颖低；在基于參考的超分辨領(lǐng)域，SRNTT優(yōu)于現(xiàn)有的所有模型弧烤，位列第一忱屑。
主要問題
如何合并特征圖？
論文中在討論紋理轉(zhuǎn)換的時候提到了特征圖的合并暇昂，但卻沒有給出具體的合并方法莺戒。通過閱讀代碼看到這一部分主要是采用了反卷積的思想。
如何實(shí)現(xiàn)單圖超分辨率急波？
從對比結(jié)果來看从铲，SRNTT模型在SISR問題上的表現(xiàn)也是相當(dāng)不錯的，但是是如何實(shí)現(xiàn)的澄暮，論文中卻并沒有提及名段。從代碼來看，SRNTT的SISR部分也是有著較大的工程量泣懊，用到了很多的殘差模塊伸辟，對于這些模塊的解釋以及理論分析，論文描述甚少馍刮，我們無從得知信夫。
模糊圖像的來源？
SRNTT的模糊圖像是通過一個清晰圖像經(jīng)過下采樣得到的卡啰，這種圖像顯然與真實(shí)的模糊圖像是有區(qū)別的静稻。
關(guān)于參考圖相似度的問題真的解決了嗎？
在實(shí)際實(shí)驗中碎乃，我們發(fā)現(xiàn)當(dāng)兩張輸入圖片的相似度很低時，輸出結(jié)果在視覺效果上并不是很理想惠奸，即便兩張圖片的內(nèi)容只是同一物體的不同角度梅誓。
改進(jìn)方案
構(gòu)建含有真實(shí)的模糊圖像的數(shù)據(jù)集，并訓(xùn)練佛南。
構(gòu)建數(shù)據(jù)集往往是深度學(xué)習(xí)工作量最大的一部份梗掰，構(gòu)建構(gòu)建含有真實(shí)的模糊圖像的數(shù)據(jù)集意味著在拍攝時，要拍三張圖片嗅回，一張清晰及穗、一張模糊、一張用于參考绵载，除此之外埂陆，后期打標(biāo)簽的工作量更是加劇苛白。
使用網(wǎng)絡(luò)進(jìn)行上下采樣。
SRNTT模型中對參考圖像進(jìn)行下上采樣主要是為了進(jìn)行模糊化處理焚虱，這樣可以更好地提取圖像的結(jié)構(gòu)信息购裙。個人認(rèn)為這一部分或許也可以采用一個輕量級的網(wǎng)絡(luò)去實(shí)現(xiàn)。
對高頻信息進(jìn)行3D重構(gòu)鹃栽。
在實(shí)驗中發(fā)現(xiàn)躏率，輸出結(jié)果常常因為參考圖像與模糊圖像角度不同而差距很大，或許我們可以利用現(xiàn)有的3D重構(gòu)的模型民鼓，對參考圖像的特征圖進(jìn)行3D重構(gòu)得到一個和模糊圖像角度相差不大的特征圖薇芝，再去做紋理遷移。
參考文章
https://blog.csdn.net/wangchy29/article/details/88566724
https://www.cnblogs.com/wxl845235800/p/10595230.html
http://211.81.63.2/cache/8/03/web.eecs.utk.edu/c076c3d99b8c6a412a8672b8e0ff020a/cvpr2019_final.pdf
