RAISR: Rapid and Accurate Image Super Resolution
論文導(dǎo)讀
論文鏈接：https://arxiv.org/abs/1606.01299
原文鏈接：https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html
原文發(fā)表于2016年11月14日
每天網(wǎng)絡(luò)被用于分享和存儲(chǔ)成萬(wàn)上億張圖片砌些，可以讓人們來(lái)探索世界吊输，研究新的興趣話(huà)題环鲤，甚至和朋友和家人來(lái)分享假期等脂。但是，很多這些圖片要么受到拍攝照片設(shè)備分辨率的限制桐猬，或者被故意降級(jí)來(lái)包容手機(jī)麦撵、平板電腦或是它們連接到網(wǎng)絡(luò)的限制。隨著高分辨率顯示設(shè)備在家庭和移動(dòng)設(shè)備的普及，對(duì)于低分辨率圖像的高質(zhì)量版本的需求免胃，以及從不同種類(lèi)設(shè)備快速查看和分享的需求音五，越來(lái)越高。
在"RAISR: Rapid and Accurate Image Super-Resolution"這篇論文中羔沙，我們引入了一種結(jié)合機(jī)器學(xué)習(xí)的技術(shù)躺涝，以生成高質(zhì)量版本的低分辨率圖像。RAISR產(chǎn)生的結(jié)果與當(dāng)前可用的超分辨率方法相當(dāng)或更好扼雏，并且大約快10到100倍坚嗜，允許它在典型的移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行。 此外诗充，我們的技術(shù)能夠避免重建可能存在于較低分辨率圖像中的混疊偽像苍蔬。
上采樣是從低質(zhì)量圖像產(chǎn)生具有明顯更多像素和更高圖像質(zhì)量的更大尺寸圖像的過(guò)程，已經(jīng)存在了相當(dāng)長(zhǎng)一段時(shí)間蝴蜓。 眾所周知的上采樣方法是線性方法碟绑，其使用附近現(xiàn)有像素值的簡(jiǎn)單且固定的組合來(lái)填充新的像素值。 這些方法很快励翼，因?yàn)樗鼈兪枪潭ǖ木€性濾波器（在圖像上均勻地應(yīng)用的恒定卷積核）蜈敢。 但是，使這些上采樣方法快速的原因也使它們無(wú)法在更高分辨率的結(jié)果中顯示生動(dòng)的細(xì)節(jié)汽抚。 正如您在下面的示例中所看到的，上采樣圖像看起來(lái)很模糊 - 人們可能會(huì)遲疑將其稱(chēng)被增強(qiáng)伯病。
[圖片上傳失敗...(image-2b3320-1541000618275)]
](https://upload-images.jianshu.io/upload_images/11550176-17eeb659682c6adf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
使用RAISR造烁，我們使用機(jī)器學(xué)習(xí)并訓(xùn)練成對(duì)的圖像，一個(gè)低質(zhì)量午笛，一個(gè)高質(zhì)量惭蟋，以找到過(guò)濾器，當(dāng)選擇性地將其應(yīng)用于低分辨率圖像的每個(gè)像素時(shí)药磺，將重建具有和原圖可比質(zhì)量的細(xì)節(jié)告组。RAISR可以通過(guò)兩種方式進(jìn)行訓(xùn)練。第一種是“直接”方法癌佩，其中濾波器直接從低分辨率和高分辨率圖像對(duì)中學(xué)習(xí)木缝。另一種方法涉及：首先將計(jì)算上廉價(jià)的上采樣器應(yīng)用于低分辨率圖像（如上圖所示），然后從上采樣和高分辨率圖像對(duì)中學(xué)習(xí)濾波器围辙。 雖然直接方法在計(jì)算上更快我碟，但第二種方法允許非整數(shù)比例因子和更好地利用基于硬件的上采樣。
對(duì)于任何一種方法姚建，RAISR濾波器都是根據(jù)小片圖像中的邊緣特征進(jìn)行訓(xùn)練的 - 亮度/顏色漸變矫俺，平面/紋理區(qū)域等 - 以方向（邊緣的角度），強(qiáng)度（銳邊有更高的強(qiáng)度）為特征和連貫性（一個(gè)邊緣方向性的度量）。下面是一組RAISR濾波器厘托，從10,000個(gè)高分辨率和低分辨率圖像對(duì)的數(shù)據(jù)庫(kù)中學(xué)習(xí)（其中低分辨率圖像首先被上采樣）友雳。訓(xùn)練過(guò)程大約需要一個(gè)小時(shí)。
從左到右铅匹，我們看到學(xué)習(xí)的濾波器選擇性地對(duì)應(yīng)于正在重建的下層邊緣的方向沥阱。例如，底行中間的濾波器最適合具有高度連貫性（直線而不是彎曲的邊緣）的強(qiáng)水平邊緣（90度的漸變角度）伊群。如果相同的水平邊緣是低對(duì)比度考杉，則選擇不同的濾波器，例如在頂行中的一個(gè)舰始。
實(shí)際上崇棠，在運(yùn)行時(shí)，RAISR從學(xué)習(xí)濾波器列表中選擇并應(yīng)用最相關(guān)的濾波器到低分辨率圖像中的每個(gè)像素鄰域丸卷。當(dāng)這些濾鏡應(yīng)用于較低質(zhì)量的圖像時(shí)枕稀，它們會(huì)重新創(chuàng)建與原始高分辨率質(zhì)量相當(dāng)?shù)募?xì)節(jié)，并為線性谜嫉，雙三次或Lanczos插值方法提供顯著改進(jìn)萎坷。
RAISR的一些實(shí)例如下：
[圖片上傳失敗...(image-f9faa0-1541000618275)]
](https://upload-images.jianshu.io/upload_images/11550176-6480e806efca8a88.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
超分辨率的一個(gè)更復(fù)雜的方面是消除混疊偽像，例如當(dāng)以較低分辨率渲染高頻內(nèi)容時(shí)出現(xiàn)的莫爾圖案和鋸齒（如圖像故意降級(jí)的情況）沐兰。根據(jù)底層特征的形狀哆档，這些偽像可能會(huì)被變化并且難以撤消。
[圖片上傳失敗...(image-8e7ef-1541000618275)])
](https://upload-images.jianshu.io/upload_images/11550176-4fe8928dd7474450.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
線性方法根本無(wú)法恢復(fù)底層結(jié)構(gòu)住闯，但RAISR可以瓜浸。下面是一個(gè)例子，其中左邊的低分辨率原件中的數(shù)字3和5下的混疊空間頻率是明顯的比原，而右邊的RAISR圖像恢復(fù)了原始結(jié)構(gòu)插佛。RAISR使用的濾波器學(xué)習(xí)方法的另一個(gè)重要優(yōu)點(diǎn)是，我們可以將其專(zhuān)門(mén)用于去除作為訓(xùn)練過(guò)程一部分的各個(gè)壓縮算法（如JPEG）所特有的噪聲或壓縮偽像量窘。通過(guò)為其提供此類(lèi)偽像的示例雇寇，RAISR可以學(xué)習(xí)撤消除了分辨率增強(qiáng)之外其他效果，使它們?cè)谧鳛榻Y(jié)果的濾波器內(nèi)“被烤熟”（這里原文用的是baked蚌铜，感覺(jué)是被消除的意思锨侯，有待確認(rèn)）。
使用單個(gè)或多個(gè)幀的超分辨率技術(shù)已經(jīng)走過(guò)了漫長(zhǎng)的道路厘线。如今识腿，機(jī)器學(xué)習(xí)的使用與數(shù)十年成像技術(shù)的進(jìn)步相結(jié)合，使圖像處理方面取得了進(jìn)步造壮，從而產(chǎn)生了許多潛在的好處渡讼。例如骂束，除了改善手機(jī)上的數(shù)字“雙指縮放”外，人們還可以以更低的分辨率捕獲成箫，保存或傳輸圖像展箱，并且可以根據(jù)需要進(jìn)行超級(jí)分解，而不會(huì)顯著降低質(zhì)量蹬昌，同時(shí)利用較少的移動(dòng)數(shù)據(jù)和存儲(chǔ)混驰。
要了解有關(guān)我們研究細(xì)節(jié)的更多信息以及與其他當(dāng)前架構(gòu)的比較，請(qǐng)查看我們的論文皂贩，該論文將很快出現(xiàn)在IEEE Transactions on Computational Imaging中栖榨。
