原文標(biāo)題：Image super-resolution: The techniques, applications, and future
發(fā)布于：Signal Processing 128 (2016) 389–408
期刊網(wǎng)址：www.elsevier.com/locate/sigpro
原文網(wǎng)址：https://www.sciencedirect.com/science/article/pii/S0165168416300536?via%3Dihub
原文作者：Linwei Yue ^a, Huanfeng Shen ^b,c,*, Jie Li ^a, Qiangqiang Yuan ^c,d, Hongyan Zhang ^a,c, Liangpei Zhang ^a,c,*

^a The State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan, PR China
^b School of Resource and Environmental Science, Wuhan University, Wuhan, PR China
^c Collaborative Innovation Center of Geospatial Technology, Wuhan University, Wuhan, PR China
^d School of Geodesy and Geomatics, Wuhan University, Wuhan, PR China

文章信息：
文章歷史：2015年10月8日收稿、2016年3月1日收到修訂稿镇草、2016年5月1日接受稿件、2016年5月14日發(fā)表
關(guān)鍵詞：Super resolution, Resolution enhancement, Regularized framework, Applications

摘要：超分辨率（SR）技術(shù)從觀察到的LR圖像重建更高分辨率的圖像或序列。由于SR已經(jīng)發(fā)展了三十多年茉稠，因此多幀和單幀SR在我們的日常生活中具有重要的應(yīng)用。本文旨在從技術(shù)和應(yīng)用的角度對(duì)SR進(jìn)行綜述把夸，特別是近年來(lái)的主要貢獻(xiàn)而线。規(guī)范化的SR方法在過去十年中最常用。本文討論了技術(shù)細(xì)節(jié)恋日，包括重建模型膀篮，參數(shù)選擇方法，優(yōu)化算法和加速策略岂膳。此外誓竿，還介紹了使用SR技術(shù)的當(dāng)前應(yīng)用的詳盡摘要。最后谈截，文章討論了當(dāng)前未來(lái)研究的障礙筷屡。

1. 引言

圖像空間分辨率是指?jìng)鞲衅饔^察或測(cè)量最小物體的能力，這取決于像素大小簸喂。作為二維信號(hào)記錄毙死，在大多數(shù)應(yīng)用中總是需要具有更高分辨率的數(shù)字圖像。在過去的幾十年中喻鳄，成像技術(shù)得到了迅速發(fā)展扼倘，并且分辨率達(dá)到了一個(gè)新的水平。因此問題是：仍需要圖像分辨率增強(qiáng)技術(shù)嗎除呵？

事實(shí)是再菊，盡管近年來(lái)高清顯示器達(dá)到了一個(gè)新的水平（例如，HDTV為1920*1080竿奏，某些超高清電視為3840*2160袄简，某些移動(dòng)設(shè)備為2048*1536），但對(duì)于分辨率提升的需求在許多應(yīng)用中都不容忽視[1]泛啸。例如绿语，為了保證記錄設(shè)備的長(zhǎng)期穩(wěn)定運(yùn)行，以及動(dòng)態(tài)場(chǎng)景的適當(dāng)幀速率，數(shù)字監(jiān)控產(chǎn)品往往在某種程度上犧牲了分辨率吕粹。遙感領(lǐng)域也存在類似的情況：在空間种柑，光譜和時(shí)間分辨率之間總是存在權(quán)衡。對(duì)于醫(yī)學(xué)成像匹耕，在每種成像模態(tài)中聚请，特定的物理定律受到控制，定義了噪聲的含義和成像過程的靈敏度稳其。如何在降低輻射水平的同時(shí)用高分辨率圖像提取人體結(jié)構(gòu)的三維模型仍然是一個(gè)挑戰(zhàn)[2,3]驶赏。

基于這些事實(shí)，目前的技術(shù)還不能滿足要求既鞠。因此煤傍，仍需要提高分辨率，尤其是在視頻監(jiān)控嘱蛋、醫(yī)療診斷和遙感應(yīng)用等領(lǐng)域蚯姆。考慮到通過“硬件”技術(shù)提高分辨率的高成本和限制洒敏，特別是對(duì)于大規(guī)模成像設(shè)備龄恋，已知為超分辨率（SR）的信號(hào)處理方法已成為獲得高分辨率（HR）圖片的潛在方式。使用SR方法凶伙，我們可以超越低分辨率（LR）觀察的限制郭毕，而無(wú)需改進(jìn)硬件設(shè)備。

SR是一種從觀察到的LR圖像重建更高分辨率圖像或序列的技術(shù)镊靴。從技術(shù)上講铣卡，SR可以根據(jù)輸入LR信息分類為多幀或單幀[4-8]。如果可以獲取具有子像素未對(duì)準(zhǔn)的相同場(chǎng)景的多個(gè)圖像偏竟，則可以利用它們之間的互補(bǔ)信息來(lái)重建更高分辨率的圖像或圖像序列煮落，如圖1所示。 然而踊谋，多個(gè)LR圖像有時(shí)可能無(wú)法用于重建蝉仇，因此我們需要使用有限的LR信息來(lái)恢復(fù)HR圖像，其被定義為單幀SR [9-12]殖蚕。

圖1. 多幀超分辨率的概念轿衔。左側(cè)的網(wǎng)格表示具有子像素對(duì)齊的相同場(chǎng)景的LR圖像，因此可以通過將補(bǔ)充信息與SR方法融合來(lái)獲取HR圖像（右側(cè)的網(wǎng)格）睦疫。

2. 技術(shù)背景

如今害驹，電荷耦合器件（CCD）和互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）是最廣泛使用的圖像傳感器[4,18]。為了獲得HR圖像蛤育，解決方案之一是開發(fā)更先進(jìn)的光學(xué)設(shè)備宛官。由于空間分辨率由CCD陣列和光學(xué)透鏡控制葫松，因此減小像素尺寸是增加空間分辨率的最直接方法之一。然而底洗，隨著像素尺寸減小腋么，可用光量也減少，并且圖像質(zhì)量因散粒噪聲而嚴(yán)重劣化亥揖。此外珊擂，非矩形像素布局，如六角形Fujifilm超級(jí)CCD和正交傳輸CCD [18,19]费变，已被用于提高空間采樣率摧扇，如圖2所示。其他方法包括增加焦距或芯片尺寸胡控。然而扳剿，較長(zhǎng)的焦距將導(dǎo)致相機(jī)的尺寸和重量增加，而較大的芯片尺寸將導(dǎo)致電容增加昼激。因此，由于傳感器和光學(xué)制造技術(shù)的局限性锡搜，這兩種方法都不被認(rèn)為是有效的[4]橙困。與CMOS相比，CCD在傳感器靈敏度耕餐、成像分辨率凡傅、噪聲抑制和技術(shù)成熟度方面具有優(yōu)勢(shì)[20]。然而肠缔，考慮到目前基于CCD的相機(jī)的高成本夏跷，最近已經(jīng)研究了基于CMOS的技術(shù)。例如明未，Scientific CMOS（sCMOS）傳感器具有更高的分辨率和更高的信噪比（SNR）槽华；然而，這項(xiàng)技術(shù)的實(shí)際應(yīng)用仍然是一個(gè)問題[21]趟妥∶ㄌ總的來(lái)說(shuō)，由于硬件技術(shù)的局限性披摄，仍然需要研究SR算法以實(shí)現(xiàn)分辨率增強(qiáng)的目標(biāo)亲雪。

圖2. 基本CCD類型[18]：( a）傳統(tǒng)CCD，（b）具有非矩形像素布局的超級(jí)CCD疚膊，以及（c）正交傳輸CCD义辕。

基于SR的概念，我們需要討論的第一個(gè)問題是從多個(gè)LR觀察圖像獲得HR圖像的條件寓盗。通常灌砖，如果圖像之間存在補(bǔ)充信息夺巩，則SR是可行的[22]。也就是說(shuō)周崭，LR觀察不能通過變換或重采樣過程彼此獲得柳譬，因此它們包含可用于SR的不同信息。如果LR圖像之間的相對(duì)偏移是積分的续镇，則運(yùn)動(dòng)配準(zhǔn)后的圖像將包含幾乎相同的信息美澳。 結(jié)果，SR無(wú)法獲得有效的結(jié)果摸航。

為了在實(shí)際應(yīng)用中實(shí)現(xiàn)SR制跟，研究人員試圖通過硬件控制獲取SR的圖像。通過硬件技術(shù)設(shè)計(jì)成像機(jī)制酱虎，傳感器可以獲得具有已知子像素位移的觀察雨膨，或者針對(duì)同一場(chǎng)景的多個(gè)“外觀”。因此SR是可能的读串。成功的例子可以在各個(gè)領(lǐng)域[2,23-26]找到聊记。其中一個(gè)最著名的成功案例是遙感領(lǐng)域。在法國(guó)航天局的SPOT-5衛(wèi)星系統(tǒng)中恢暖，使用了一種專門開發(fā)的CCD探測(cè)器排监，它在一個(gè)結(jié)構(gòu)中封裝了兩個(gè)12,000像素的CCD。兩個(gè)線陣CCD在線性方向上相互移位半個(gè)像素寬度杰捂，如圖3所示[23]舆床。由于兩個(gè)CCD檢測(cè)器可以同時(shí)捕獲圖像，因此可以在成像位置的半像素移位處獲取一組數(shù)據(jù)嫁佳。使用該裝置和SR技術(shù)挨队，我們可以從兩個(gè)子像素移位圖像獲得HR圖像。徠卡ADS40航空相機(jī)采用了與SPOT-5相似的成像機(jī)制[27,28]蒿往。此外盛垦，一些CCD像素包括具有不同形狀和空間位置的子像素[29]。通過組合用不同子像素分量記錄的多個(gè)圖像熄浓，我們可以通過SR獲得更高分辨率的圖像情臭。

圖3. SPOT-5的子像素成像[23]。（a）中的雙CCD線性陣列在（b）中產(chǎn)生兩個(gè)經(jīng)典的方形采樣網(wǎng)格赌蔑，在行和列方向上移位半個(gè)采樣間隔俯在。

3. 超分辨率技術(shù)和方法

在這一部分中，我們討論了具有多個(gè)觀察的SR的方法和當(dāng)前問題娃惯。關(guān)鍵問題是如何在所獲取的重復(fù)通道圖像中使用補(bǔ)充信息跷乐。1964年，Harris [30]通過引入如何解決光學(xué)系統(tǒng)衍射問題的定理趾浅，為SR問題奠定了理論基礎(chǔ)愕提。二十年后馒稍，Tsai和Huang [31]首先闡述了SR改善Landsat TM圖像空間分辨率的想法。 從那時(shí)起浅侨，許多研究人員開始關(guān)注SR纽谒，無(wú)論是在理論研究還是在實(shí)際應(yīng)用中[1,2,22,24-26,28,32-70]。SR已經(jīng)發(fā)展了三十多年如输，SR的進(jìn)展大致可歸納如下鼓黔。

一開始，大多數(shù)方法都集中在頻域[31,33,59-61]不见。頻域算法可以基于簡(jiǎn)單的理論基礎(chǔ)利用HR圖像和LR觀察之間的關(guān)系澳化，并且具有高計(jì)算效率。然而稳吮，這些方法具有明顯的局限性缎谷，例如對(duì)模型誤差的敏感性以及難以處理更復(fù)雜的運(yùn)動(dòng)模型，這阻礙了它們的進(jìn)一步發(fā)展灶似。

由于頻域算法的缺點(diǎn)列林，空間域方法成為主流趨勢(shì)[4]。流行的空間域方法包括非均勻插值[35]喻奥，迭代反投影（IBP）[56]席纽，投影到凸集（POCS）[57,63,70]，正則化方法[34,40,43,47,53,54,58,62]和一些混合算法[71]撞蚕。早期的回顧文章提供了這些方法的具體描述和解釋[4,8,14]。其中过牙，正規(guī)化方法由于其有效性和靈活性而最受歡迎甥厦。因此，最近關(guān)于SR的代表性文章大多集中在正規(guī)化框架[1,47,49,53,54,68,72,73]寇钉。在這一部分刀疙，我們的重點(diǎn)是回顧正規(guī)化方法的發(fā)展，特別是在過去十年中扫倡。此外谦秧，還總結(jié)了參數(shù)設(shè)置和優(yōu)化算法的相關(guān)研究進(jìn)展。本部分的其余部分結(jié)構(gòu)如下撵溃。首先疚鲤，我們談?wù)劤上衲Ｐ汀Ｈ缓竺枋鱿嚓P(guān)模型缘挑，包括數(shù)據(jù)保真度和正則化項(xiàng)集歇。然后討論了一些先進(jìn)的技術(shù)和挑戰(zhàn)，包括自適應(yīng)參數(shù)設(shè)置语淘，盲重建和優(yōu)化策略诲宇。

3.1 觀察模型

圖4. 超分辨率成像模型堤如。Bk, Mk和Dk分別表示模糊矩陣阴挣、扭曲矩陣和下采樣矩陣。nk表示加性噪聲，而Ok是操作員從yk中裁剪可觀察像素铅鲤。

當(dāng)使用正則化框架時(shí)，參考觀察模型的成像模型對(duì)于SR是必不可少的捣郊。在重建之前帆啃，我們需要澄清獲得觀察圖像的過程。圖像采集過程不可避免地面臨一系列降級(jí)因素虐秋，例如光學(xué)衍射榕茧、欠采樣、相對(duì)運(yùn)動(dòng)和系統(tǒng)噪聲客给。一般來(lái)說(shuō)用押，我們通常認(rèn)為圖像采集過程中的退化過程涉及翹曲、模糊靶剑、下采樣和噪聲（圖4）蜻拨，觀察模型模擬如下：

其中有K張LR圖像參與重建。當(dāng)N_1k×N_2k被定義為第k個(gè)輸入LR圖像的大小時(shí)桩引，L_1kN_1k×L_2kN_2k被設(shè)置為重建的HR數(shù)據(jù)的大小缎讼，其由水平和垂直放大因子L_1k和L_2k確定。在(1)中坑匠，z是重建圖像的矢量形式血崭，其大小為L_1kN_1kL_2kN_2k×1，其給出為z=[z₁, z₂, ?, z_L1kN1kL2kN2k]^T 和y_k=[y_k,1, y_k,2, ?, y_k,N1kN2k]^T是第k個(gè)輸入數(shù)據(jù)集的矢量形式厘灼。D_k是大小為N_1kN_2k×L_1kN_1kL_2kN_2k的下采樣矩陣夹纫，B_k表示模糊算子，其大小為L_1kN_1kL_2kN_2k×L_1kN_1kL_2kN_2k设凹，M_k是翹曲矩陣描述運(yùn)動(dòng)信息（例如平移舰讹，旋轉(zhuǎn)等）。n_k(N_1kN_2k×1)表示加性噪聲闪朱。O_k是從第k個(gè)圖像中排除不可觀察的像素的運(yùn)算符[47,74,75]月匣。這樣，如果LR圖像中存在無(wú)效像素和/或運(yùn)動(dòng)異常值奋姿，我們就可以同時(shí)處理修補(bǔ)（inpainting）和SR問題（圖4）锄开。

當(dāng)(1)中K = 1時(shí)，我們可以得到單幀SR的觀測(cè)模型胀蛮。 如果排除D_k和M_k院刁，則它是圖像恢復(fù)的模型，僅處理噪聲粪狼、模糊或信息丟失的問題退腥。為方便表達(dá)任岸，我們用H_k代替O_k、D_k狡刘，B_k和M_k的乘積享潜，重寫模型(1)如下：

(1)中的模型仍不足以表達(dá)所有可能的情況。 因此嗅蔬，其他模型考慮更復(fù)雜的因素來(lái)更好地描述真實(shí)案例剑按，包括不同類型的噪聲[52,76]，維度復(fù)雜度[51]澜术，特定圖像的域變換[77]等艺蝴。這些模型在本文中沒有詳細(xì)討論。

3.2 正規(guī)化的重建方法

3.2.1 正規(guī)化框架

基于上述觀察模型鸟废，目標(biāo)是從一組翹曲猜敢、模糊、噪聲和欠采樣的測(cè)量圖像重建HR圖像盒延。由于(2)中的模型是不適應(yīng)(ill-conditioned)的缩擂，因此SR證明是一個(gè)不適定（ill-posed）問題√硭拢基于最大后驗(yàn)(MAP)理論胯盯，我們需要解決的問題可以轉(zhuǎn)化為最小化問題[62,78]

其中ρ(?)和U(?)表示相應(yīng)的約束函數(shù)。在(3)中计露，第一項(xiàng)是數(shù)據(jù)保真度項(xiàng)博脑，第二項(xiàng)是正則化項(xiàng)，U(z)是能量函數(shù)票罐。λ是平衡這兩個(gè)項(xiàng)的正則化參數(shù)趋厉。這是一般的變分正則化SR框架。沒有正則化項(xiàng)胶坠，這等于最大似然(ML)估計(jì)。MAP方法結(jié)合了圖像的先驗(yàn)約束繁堡，并通過最大化后驗(yàn)概率的成本函數(shù)來(lái)獲得結(jié)果沈善。它們因其邊緣保留先驗(yàn)和共同參數(shù)估計(jì)的靈活性而廣受歡迎。相比之下椭蹄，當(dāng)估計(jì)未知參數(shù)的后驗(yàn)概率分布而不是特定參數(shù)時(shí)闻牡，使用貝葉斯估計(jì)。

3.2.2 數(shù)據(jù)保真度項(xiàng)

數(shù)據(jù)保真度項(xiàng)用于約束實(shí)際LR圖像與所獲得的模擬圖像之間的殘差绳矩，并且通常與噪聲模型相關(guān)聯(lián)罩润。例如，基于l₂范數(shù)的線性最小二乘項(xiàng)被廣泛使用[41,49,62,79,80]翼馆，如(4)中的p = 2割以。l₂范數(shù)問題的主要優(yōu)點(diǎn)是它易于求解金度，并且存在許多有效的算法[43,41]。然而严沥，當(dāng)模型誤差是白高斯分布時(shí)猜极，由l2模型求解的結(jié)果才是最優(yōu)的[82]。

結(jié)果消玄，對(duì)于圖像SR和恢復(fù)選擇l1范數(shù)作為(4)中的函數(shù)ρ(?)越來(lái)越感興趣跟伏，其中(4)中p = 1。由于l₂范數(shù)對(duì)應(yīng)于高斯分布誤差翩瓜，因此l₁范數(shù)主要對(duì)應(yīng)于拉普拉斯誤差模型受扳，如圖5所示。根據(jù)Farsiu等人 [43]的說(shuō)法兔跌，p = 1導(dǎo)致像素方面的中值勘高，而p = 2導(dǎo)致SR模型中運(yùn)動(dòng)補(bǔ)償后的所有測(cè)量的像素均值。已經(jīng)證明浮定，當(dāng)圖像包含非高斯誤差時(shí)相满，l₁-范數(shù)保真度比l₂-范數(shù)保真度更有效[43,43]。

圖5. 不同范數(shù)函數(shù)的性質(zhì)和誤差分布桦卒，其中(b)和(c)分別表示高斯和拉普拉斯誤差的分布立美。l2范數(shù)對(duì)應(yīng)于(a)中的二次曲線，這與(b)中的高斯分布一致方灾。相反建蹄，l1范數(shù)的圖更符合拉普拉斯分布。

然而裕偿，對(duì)于復(fù)雜類型的噪聲和/或模型誤差洞慎，l₁范數(shù)和l₂范數(shù)都有其優(yōu)點(diǎn)和缺點(diǎn)。因此嘿棘，一些研究人員采用改進(jìn)的技術(shù)來(lái)保證數(shù)據(jù)保真度[52,81,84-87]劲腿。在混合誤差模式的情況下，l_p范數(shù)函數(shù)（1 ≤ p ≤ 2）有時(shí)被用作約束函數(shù)鸟妙，因?yàn)樗哂型剐院蛯?duì)成像模型誤差的相關(guān)性[81]焦人。當(dāng)1 ≤ p ≤ 2時(shí)，它導(dǎo)致測(cè)量的加權(quán)平均值重父。如果p的值接近1花椭，則在中值附近的測(cè)量值附近以較大的權(quán)重計(jì)算解。當(dāng)p的值接近2時(shí)房午，解近似于平均值[43]矿辽。在某些情況下，圖像被高斯和非高斯誤差污染，并且l_p范數(shù)函數(shù)被認(rèn)為是一種有效的解決方案[81,82]袋倔。根據(jù)成像模型雕蔽，檢測(cè)異常值并在矩陣O_k中將其恢復(fù)為不可觀察的像素也是排除脈沖噪聲像素和屬于非高斯誤差的運(yùn)動(dòng)異常值的有效方法[47]。

不同保真度范數(shù)的比較重建結(jié)果在圖6-7中給出奕污。在第一種情況下萎羔，使用Lena測(cè)試圖像進(jìn)??行合成測(cè)試，其中原始圖像首先在水平和垂直方向上下采樣兩倍碳默。因此贾陷，獲得了四個(gè)LR圖像，平移移位為(0,0), (0,0.5), (0.5,0)和(0.5,0.5)嘱根。然后在LR圖像中添加高斯（歸一化方差0.003）和脈沖噪聲（密度0.03）的混合模式髓废。在Foreman實(shí)驗(yàn)中，在重建中包括五個(gè)具有移動(dòng)物體的劣化圖像该抒，并且視頻序列的第24幀被設(shè)置為參考幀慌洪。使用視頻中的相應(yīng)HR幀獲得LR圖像，下采樣因子為2凑保。我們使用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)指數(shù)評(píng)估合成實(shí)驗(yàn)的結(jié)果[88]冈爹。PSNR用于評(píng)估灰度值相似性，而SSIM主要用于反映結(jié)構(gòu)相似性[89]欧引。當(dāng)圖像被混合噪聲污染時(shí)(圖6)频伤，l₂范數(shù)在保留紋理的同時(shí)不能完全去除斑點(diǎn)。相比之下芝此，l₁范數(shù)在處理高斯分布噪聲方面存在一些問題憋肖，并且在視覺效果和定量指標(biāo)方面，l_p范數(shù)可以獲得更好的結(jié)果婚苹。在第二個(gè)測(cè)試中岸更，可以清楚地看到，當(dāng)處理LR觀測(cè)中的運(yùn)動(dòng)異常值時(shí)膊升，l₁和l_p比l₂更穩(wěn)健怎炊。

圖6. 通過 (a) 雙線性插值和 (b) 具有l(wèi)2范數(shù)保真度的MAP, (c) l1范數(shù)保真度和 (d) lp范數(shù)保真度的Lena圖像的SR重建結(jié)果，其中p=1.3廓译。

圖7. 無(wú)噪聲Foreman圖像的SR重建結(jié)果结胀，通過 (a) 雙線性插值，和 (b) 具有l(wèi)2范數(shù)保真度的MAP, (c) l1范數(shù)保真度和 (d) lp范數(shù)保真度责循，其中p=1.5。

由于能夠處理運(yùn)動(dòng)異常值攀操，l₁和l_p都可以防止重建的細(xì)節(jié)過于平滑院仿。此外，l_p - 范數(shù)保真度可以在噪聲情況下均衡噪聲消除和抑制運(yùn)動(dòng)偽影[52]。

加權(quán)數(shù)據(jù)保真度項(xiàng)也適用于LR圖像對(duì)重建圖像做出不同貢獻(xiàn)的一些情況[25,79,90]歹垫。在一些實(shí)際情況中剥汤，每個(gè)LR圖像中包含的可用信息量可能根據(jù)圖像質(zhì)量（例如，噪聲水平排惨，空間分辨率吭敢，角度等）而不同。因此暮芭，在這種情況下應(yīng)考慮不同的權(quán)重鹿驼，如（5）中所述。加權(quán)數(shù)據(jù)保真度項(xiàng)已廣泛應(yīng)用于相關(guān)工作中辕宏，并提出了不同的方法來(lái)確定w_k [25,79,90]畜晰。核心思想是區(qū)分SR中涉及的LR圖像的不同貢獻(xiàn)。

3.2.3 正則化項(xiàng)

正則化在正則變分框架中起著重要作用瑞筐。由于SR是一個(gè)經(jīng)典的不適定逆問題凄鼻，因此采用正則化來(lái)穩(wěn)定反演過程[4,47,91]。根據(jù)貝葉斯定理聚假，正則化項(xiàng)表示圖像先驗(yàn)建模块蚌，提供關(guān)于所需圖像的先驗(yàn)知識(shí)[4,72,92]。在過去10年的蓬勃發(fā)展中膘格，已有大量關(guān)于圖像恢復(fù)和SR正則化的研究[81,89,93-98]峭范。

3.2.3.1 平滑度先驗(yàn)?zāi)Ｐ?/h4>

在早期，主要考慮自然圖像的平滑性闯袒，這導(dǎo)致正則化的二次性[99,100]虎敦。基于Tikhonov的正則化是代表性的平滑約束政敢，其能量函數(shù)通常定義為

其中Γ通常被選擇作為單位矩陣或高通算子（例如其徙，差分算子或加權(quán)傅里葉算子）。拉普拉斯正則化是SR中最常用的正則化之一喷户，它是通過選擇平滑算子作為離散二維算子從Tikhonov正則化開發(fā)的[100]唾那。

另一類正則化基于馬爾可夫理論。馬爾可夫隨機(jī)場(chǎng)（MRF）假設(shè)像素的值僅與相鄰像素相關(guān)褪尝，其滿足吉布斯密度函數(shù)[50]闹获。這樣，MRF可以有效地描述圖像的局部統(tǒng)計(jì)特征河哑。能量函數(shù)可以給作

其中d_c^t是clique(小集團(tuán)避诽？) c的系數(shù)向量，通常定義為四個(gè)方向上二階導(dǎo)數(shù)的有限差分近似璃谨。 φ(?)是約束函數(shù)沙庐。正則化函數(shù)通常根據(jù)φ(?)的選擇分為兩類鲤妥，高斯MRF (GMRF) [78]或Huber MRF (HMRF) [101]。對(duì)于GMRF正則化拱雏，φ(?)采用二次l₂范數(shù)棉安。

這些正則化方法通過懲罰高頻分量來(lái)平滑恢復(fù)的圖像，因此在抑制噪聲方面表現(xiàn)良好铸抑。 但是贡耽，它們不可避免地會(huì)使尖銳邊緣和詳細(xì)信息過于平滑。

3.2.3.2 邊緣保留先驗(yàn)?zāi)Ｐ?/h4>

平滑的先驗(yàn)?zāi)Ｐ驮谀撤N程度上違背了圖像的本質(zhì)鹊汛，因?yàn)樵谠S多應(yīng)用中蒲赂，人們總是想要圖像的清晰細(xì)節(jié)，包括遙感成像柒昏、醫(yī)學(xué)診斷和物體識(shí)別[2,28,69]凳宙。因此，基于l₁ - 范數(shù)的正則化通常因?yàn)槠溥吘壉３中远粌?yōu)選[93,101,102]职祷。Osher等人首次提出了代表性的總變異（TV）正則化氏涩。 [93,103]，其基于圖像自然是“塊狀”和不連續(xù)的事實(shí)有梆。標(biāo)準(zhǔn)TV規(guī)范如下

其中?^hz和?^vz分別是水平和垂直方向上的一階圖像梯度是尖。這里，β是一個(gè)小標(biāo)量泥耀，以確苯刃冢可分性。

與二次正則化不同痰催，使用TV正則化可以更好地保留邊緣信息兜辞，其中使用l₁范數(shù)來(lái)處理圖像信息而不是l₂范數(shù)[47,104,105]。因此夸溶，TV先驗(yàn)?zāi)Ｐ驮谶^去二十年中一直是最流行的圖像處理模型逸吵，并已應(yīng)用于圖像去噪、去模糊缝裁、分割和SR等領(lǐng)域[47,76,104,106]扫皱。然而，TV先驗(yàn)?zāi)Ｐ偷慕Y(jié)果通常會(huì)產(chǎn)生帶有強(qiáng)烈噪聲的“階梯”效應(yīng)捷绑，尤其是在平坦區(qū)域[89]韩脑。

為了克服TV先驗(yàn)?zāi)Ｐ偷娜秉c(diǎn)，一些研究人員提出了空間自適應(yīng)策略粹污。許多方法使用空間自適應(yīng)正則化參數(shù)來(lái)消除階梯效應(yīng)[94,107-109]段多。他們中的一些人使用空間信息將圖像分類為詳細(xì)和平坦的區(qū)域，并且對(duì)于平坦區(qū)域使用較大的懲罰參數(shù)而對(duì)于邊緣使用較小的懲罰參數(shù)[94,107]壮吩。然而衩匣，諸如梯度蕾总、差曲率和結(jié)構(gòu)張量的空間自適應(yīng)指標(biāo)通常對(duì)噪聲敏感。

此外琅捏，不同的范數(shù)約束也可以用于空間自適應(yīng)方式的先驗(yàn)?zāi)Ｐ蚚96,108]。l_p范數(shù)而不是l₁范數(shù)可以用作TV項(xiàng)中?z的約束函數(shù)递雀。由于l₂范數(shù)表示平滑先驗(yàn)柄延，l₁范數(shù)傾向于保留邊緣，因此l_p（1 ≤ p ≤ 2）范數(shù)在它們之間實(shí)現(xiàn)平衡缀程，從而避免階梯效應(yīng)[110]搜吧。其他改進(jìn)包括高階TV (HDTV)[111]，雙邊TV (BTV) [43]杨凑，本地自適應(yīng)BTV (LABTV) [96]等滤奈。

HMRF也是代表性的邊緣保留先驗(yàn)?zāi)Ｐ蚚101,112]。理論上撩满，混合范數(shù)在某種程度上可以在保留邊緣和抑制噪聲之間實(shí)現(xiàn)平衡蜒程。 對(duì)于HMRF項(xiàng)，選擇(7)中的φ(?)作為Huber函數(shù)伺帘，它是分段的：

其中T是閾值昭躺。Huber函數(shù)滿足凸性，對(duì)稱性和不連續(xù)性的特性伪嫁。HMRF模型在處理具有清晰紋理的圖像時(shí)是有效的领炫。但是，只考慮鄰域信息限制了其性能[113]张咳。

3.2.3.3 基于非局部的先驗(yàn)

局部導(dǎo)數(shù)對(duì)圖像的同質(zhì)區(qū)域中的噪聲有些敏感帝洪，這對(duì)噪聲情況下的重建效果產(chǎn)生負(fù)面影響。最近脚猾，人們提出了基于非局部先驗(yàn)的概念葱峡，并在圖像處理中迅速發(fā)展[97,114-116]。不是局部地定義像素的鄰域婚陪，而是基于非局部的先驗(yàn)考慮大的搜索區(qū)域中的像素并且根據(jù)矩形塊之間的相似性對(duì)它們進(jìn)行加權(quán)族沃。這是基于這樣的假設(shè)：自然圖像中的每個(gè)特征都可以在同一場(chǎng)景中多次找到[114]。非局部模型在正則化框架中變得流行泌参，因?yàn)榉蔷植縏V正則化為

其中i表示圖像z: Ω→中的一個(gè)像素脆淹，搜索窗口通常限于i的平方鄰域，表示為Π_i沽一。然后可以將權(quán)重函數(shù) w(i, j) 定義為

這里盖溺，P_i(z) 和 P_j(z) 表示z的 (2n + 1) x (2n + 1) patch，其以像素i（或j）為中心以n為半徑铣缠。相似性可以使用各種距離公式（例如烘嘱，通過選擇不同的p值）來(lái)計(jì)算昆禽。σ是濾波參數(shù)。與TV模型相比蝇庭，非局部模型可以利用更多信息醉鳖，從而可以防止平坦區(qū)域的階梯效應(yīng)，并有助于恢復(fù)細(xì)節(jié)[97,113]哮内。

典型正則化的比較結(jié)果如圖8所示盗棵。下采樣過程設(shè)定與第3.2.2節(jié)中的Lena圖像相同。生成的LR圖像然后由3*3濾波器模糊北发，方差為1纹因，并被標(biāo)準(zhǔn)差為10的高斯噪聲污染。從結(jié)果可以看出琳拨，所有邊緣保留正則化在移除噪音和保留細(xì)節(jié)中表現(xiàn)良好瞭恰。然而，HMRF和非本地TV模型的結(jié)果更好地符合人類視覺感知狱庇。

圖8. 使用不同正則化的SR重建結(jié)果惊畏。頂行：雙線性插值，拉普拉斯正則化和HMRF正則化[100]僵井。底行：TV正則化[47]陕截，NLTV正則化[114]，以及原始的HR圖像批什。

除了上述正則化之外农曲，還有許多其他先驗(yàn)?zāi)Ｐ偷难芯浚缁谙∈栊缘恼齽t化[117]驻债，以及形態(tài)學(xué)理論[98]乳规。 所有這些方法的共同目標(biāo)是他們想要重建具有自然紋理和清晰、詳細(xì)信息的無(wú)噪聲HR圖像合呐。還對(duì)光譜圖像（例如暮的，數(shù)字彩色圖像或高光譜圖像）進(jìn)行了研究，其中重點(diǎn)在于保持光譜信息淌实，同時(shí)增強(qiáng)空間分辨率[118,119]冻辩。

3.2.4 自適應(yīng)正則化參數(shù)選擇

在處理不適定的逆問題時(shí)，參數(shù)選擇總是令人頭疼拆祈。特別地恨闪，正則化參數(shù)在圖像SR中起重要作用。在這一部分中放坏，我們展現(xiàn)出在(6)中確定正則化參數(shù)λ的自適應(yīng)策略的主要方法咙咽。

在許多情況下，正則化參數(shù)是手動(dòng)選擇的淤年。常見的方法是測(cè)試一系列正則化參數(shù)钧敞，并選擇與通過定量指標(biāo)或目視檢查評(píng)估的最佳結(jié)果相對(duì)應(yīng)的最佳參數(shù)抒巢。然而资柔，這是一個(gè)耗時(shí)且主觀的過程丛晌。因此签餐，SR過程中需要自適應(yīng)策略。已經(jīng)專門設(shè)計(jì)了許多策略來(lái)自適應(yīng)地估計(jì)正則化參數(shù)愚战。這些策略主要受到逆問題領(lǐng)域的發(fā)展的啟發(fā)桨吊，例如去噪和去模糊[120-123]。流行的方法包括L曲線法[124]凤巨，廣義交叉驗(yàn)證（GCV）[35]和U曲線法[49]。

在早期的研究中已經(jīng)注意到洛搀，如果模型誤差高度相關(guān)敢茁，GCV方法往往會(huì)得到不令人滿意的結(jié)果[121]。L曲線方法與GCV相比具有一些優(yōu)勢(shì)留美，包括明確定義的數(shù)值特性和處理高度相關(guān)誤差的魯棒性彰檬。L曲線和U曲線兩種方法都基于通過改變正則化參數(shù)λ而生成的參數(shù)圖。目標(biāo)是找到在最小化數(shù)據(jù)保真度和正則化之間實(shí)現(xiàn)良好平衡的最佳λ谎砾。當(dāng)選擇基于l₂ - 范數(shù)的模型時(shí)逢倍，能量函數(shù)可以給出為

其中Γ表示二維拉普拉斯算子。在對(duì)H_k使用奇異值分解（SVD）最小二乘法之后景图，我們定義

L曲線方法使用R(λ)和P(λ)之間的關(guān)系搜索不同的L形拐角较雕，而U曲線方法選擇接近U曲線的左垂直部分的最大曲率點(diǎn) ( U(λ) = 1/R(λ) + 1/P(λ) ）作為最佳參數(shù)。已經(jīng)證明挚币，U曲線方法可以在SR的二次情形下獲得更精確的解亮蒋。進(jìn)一步的細(xì)節(jié)可以在相關(guān)的工作[49,124]中找到。這些方法可以獲得相對(duì)較好的解決方案妆毕，但它們尚未擴(kuò)展到具有各種正則化的一般正則化框架慎玖。

必須提到的是，貝葉斯框架[53,72]也是用于建模未知參數(shù)的強(qiáng)大工具笛粘，包括正則化參數(shù)趁怔，模糊核和運(yùn)動(dòng)矢量。我們將在下一節(jié)討論貝葉斯方法薪前。

3.2.5 盲重建（Blind Reconstruction）

在本文前面润努，我們從數(shù)據(jù)保真度和正則化的角度討論了基于MAP理論的SR框架的主要發(fā)展。然而序六，使用前面提到的技術(shù)時(shí)假設(shè)參數(shù)（例如運(yùn)動(dòng)模型任连，模糊核和噪聲水平）是已知的[62]。這在現(xiàn)實(shí)世界的情況下是不切實(shí)際的例诀，在現(xiàn)實(shí)世界中随抠，不能事先估計(jì)物體和照相機(jī)的運(yùn)動(dòng)裁着。此外，點(diǎn)擴(kuò)散函數(shù)（PSFs）和噪聲水平總是未知的二驰。

傳統(tǒng)方法分開處理參數(shù)估計(jì)和重建唬复。 這些方法將配準(zhǔn)和模糊核識(shí)別視為預(yù)處理階段[43,49,96]。然而乍恐，僅使用LR圖像估計(jì)的參數(shù)可能是不準(zhǔn)確的呜投，這將導(dǎo)致令人不滿意的性能。我們?cè)谙旅娼榻B兩種有效的盲重建策略。

3.2.5.1 聯(lián)合MAP框架

MAP框架在參數(shù)估計(jì)方面是有優(yōu)勢(shì)的男图，因?yàn)樗梢造`活地為未知參數(shù)添加先驗(yàn)[4]难裆。因此，一些研究人員已經(jīng)開發(fā)出聯(lián)合MAP方法來(lái)自適應(yīng)地獲得未知參數(shù)[62,125,126]。與(1)中的觀察模型類似匪蝙，我們將LR觀測(cè)值定義為y = [ y₁^T, y₂^T, ?, y_k^T]^T需忿，運(yùn)動(dòng)矢量為s = [ s₁^T, s₂^T, ?, s_k^T]^T月而，PSFs為h = [ h₁^T, h₂^T, ?, h_k^T]^T瞻凤。(1)中的觀察模型可以用矩陣表示法表示為(14)

注意到z, h和s在統(tǒng)計(jì)上是獨(dú)立的，我們可以根據(jù)MAP理論同時(shí)形成未知參數(shù)的估計(jì)杏瞻。一旦我們確定了z, h和s的概率密度函數(shù)（PDF）砌函，就可以通過優(yōu)化以下成本函數(shù)來(lái)解決不適定的逆問題：

在循環(huán)優(yōu)化過程中劣像，估計(jì)的參數(shù)與重建的圖像一起被迭代地更新屋群。但是，會(huì)有許多未知參數(shù)需要調(diào)整。

3.2.5.2 貝葉斯框架

與MAP估計(jì)器不同，貝葉斯方法計(jì)算后驗(yàn)分布，而不是為SR系統(tǒng)設(shè)置參數(shù)的特定值[72,127]乏沸。ML和MAP估計(jì)器僅返回參數(shù)的單個(gè)和特定值炬转，而貝葉斯估計(jì)則完全計(jì)算后驗(yàn)分布p(z, h, s|y)荐吵。

貝葉斯推斷基于后驗(yàn)分布薯蝎，因此

這里p(z, h, s, y)是p(y|z, h, s)p(z)p(h)p(s)的便捷表達(dá)方式堡称。p(y)獨(dú)立于未知變量，通常在MAP估算器中被忽略挺物。事實(shí)上砚著，正如在許多應(yīng)用中一樣次伶，p(z, h, s|y)是難以處理的，因?yàn)闊o(wú)法計(jì)算p(y)[72]稽穆。需要使用近似方法進(jìn)行重建[45,53,72]冠王。在Babacan的工作[72]中餐胀，他們利用變分貝葉斯方法，通過最小化后驗(yàn)p(z, h, s|y)和易處理分布p(z, h, s)之間的Kullback-Leibler（KL）距離。假設(shè)近似分布q(z, h, s)可以被分解，則可以通過使用一階泰勒級(jí)數(shù)計(jì)算相應(yīng)的期望來(lái)估計(jì)相應(yīng)參數(shù)的分布。

通過估計(jì)未知數(shù)的完全后驗(yàn)分布而不是對(duì)應(yīng)于最大概率（例如褒纲，MAP）的點(diǎn)估計(jì)膀估，估計(jì)的不確定性被并入估計(jì)過程中。此外稠通，可以在迭代估計(jì)過程中估計(jì)未知參數(shù)[41,53,72]胖烛。然而著洼，貝葉斯框架的準(zhǔn)確性取決于參數(shù)分布模型，并且通過迭代受到一些附加參數(shù)的影響细疚。

3.2.6 優(yōu)化方法

在建立重建模型之后，可以通過優(yōu)化相應(yīng)的成本函數(shù)來(lái)獲取HR圖像。如果為噪聲模型選擇高斯分布，并且采用二次約束進(jìn)行正則化言询，則能量函數(shù)可以給出為（12）俯萎。歐拉 - 拉格朗日函數(shù)可以如下：

對(duì)于二次方程，可以獲得zⁿ⁺¹作為線性方程的解

基于標(biāo)準(zhǔn)l₂ - 范數(shù)的模型的最小化是線性偏微分方程（PDE）的正則化解运杭。為了解決這種二次不適定逆問題夫啊，通常采用共軛梯度（CG）或預(yù)處理CG（PCG）方法來(lái)優(yōu)化拉格朗日函數(shù)[47,128]。利用給定的迭代的初始估計(jì)和停止標(biāo)準(zhǔn)辆憔，估計(jì)結(jié)果將通過迭代近似于數(shù)值解撇眯。

3.2.6.1 歐拉 - 拉格朗日平滑近似

眾所周知，通常很難獲得完美或精確的解虱咧。共同目標(biāo)是從統(tǒng)計(jì)意義上找到最佳解決方案熊榛。歐拉 - 拉格朗日平滑近似方法通常使用l₁ - 范數(shù)的平滑近似，從而構(gòu)造線性函數(shù)以進(jìn)行優(yōu)化彤钟。代表性算法包括滯后擴(kuò)散率定點(diǎn)迭代（LDFPI）[128]来候，主要化最小化（MM）[104]跷叉，迭代重加權(quán)范數(shù)（IRN）[129,132]和半二次算法[95]逸雹。作為圖像恢復(fù)中最常用的正則化之一营搅，TV模型是經(jīng)典的非二次優(yōu)化問題。在這里梆砸，我們以l₂-TV SR模型為例來(lái)說(shuō)明具體的近似過程转质。符號(hào)分別基于LDFPI [128]和IRN [129]。重建模型可以給出

其中‖?z‖_TV表示(8)中定義的各向同性TV正則化帖世。(19)中能量函數(shù)的歐拉 - 拉格朗日方程由以下非線性系統(tǒng)給出：

其中

這是微分算子的中心差分近似的矩陣形式休蟹，其中??是發(fā)散算子。這是z的非線性方程日矫。為了將函數(shù)轉(zhuǎn)換為線性PDE赂弓，需要采用平滑逼近策略。最初由Vogel [128]提出的LDFPI通過滯后擴(kuò)散系數(shù)1 / √(|?z|²+β)一次迭代來(lái)使差分項(xiàng)線性化哪轿。因此盈魁，獲得zⁿ⁺¹作為近似線性方程的解

通常，半點(diǎn)離散化[133]用于近似L_zⁿ窃诉。為了解上述線性PDE杨耙，需要CG或PCG方法。IRN是一種通過用加權(quán)l(xiāng)₂范數(shù)逼近它來(lái)最小化l_p范數(shù)（p ≤ 2）的方法[129]飘痛。

其中W = diag(|u|^p-2)珊膜。將該想法引入(22)中的能量函數(shù)，該函數(shù)可表示為

其中

這里宣脉，我們定義

其中限制方程為

這樣车柠，我們的歐拉-拉格朗日方程可以被線性化為：

權(quán)重矩陣W^~_Rⁿ可以通過(23)-(25)使用zⁿ計(jì)算。似乎LDFPI和IRN是兩種不同的方法脖旱；然而堪遂，當(dāng)通過平滑近似處理l₁ - 范數(shù)問題時(shí)，它們本質(zhì)上幾乎是相同的萌庆。實(shí)際上溶褪，上面提到的所有算法都獲得了與TV最小化相似的結(jié)果，包括LDFPI践险、IRN猿妈、MM和半二次算法，其中使用了滯后迭代巍虫。因此彭则，它們可以通過轉(zhuǎn)換相互推斷。這類方法實(shí)現(xiàn)起來(lái)很簡(jiǎn)單占遥，可以擴(kuò)展到處理各種規(guī)范的正則化反演俯抖。

3.2.6.2 原始對(duì)偶/分裂算法（Primal-dual/splitting algorithms）

第二組方法將原始優(yōu)化任務(wù)分解為原始問題和該問題的雙重表述。近年來(lái)瓦胎，已經(jīng)提出了豐富的相關(guān)研究芬萍，如交替方向乘法器（ADMM）[131,134]尤揣，基于原始對(duì)偶（PD）的算法[105]，道格拉斯-拉赫福德算法[135]柬祠，近端前向后向分裂（PFBS）[130]和分裂-Bregman（SB）方法[102]北戏。ADMM是圖像處理中最常用的凸優(yōu)化方法之一。它將原始非線性問題的優(yōu)化轉(zhuǎn)換為尋找經(jīng)典拉格朗日函數(shù)的增廣版本的鞍點(diǎn)[131]漫蛔。給定原始模型為（19）嗜愈，它可以表示如下，并引入輔助變量b

為了變換（27）以生成無(wú)約束問題莽龟，可以將增廣拉格朗日重寫為

其中u是作為拉格朗日乘數(shù)引入的蠕嫁，τ > 0是懲罰參數(shù)。關(guān)于z或b毯盈，很容易使(28)中的目標(biāo)函數(shù)最小化拌阴。優(yōu)化表達(dá)式可以由(29)給出

對(duì)于固定的b，它變成了變量z的二次函數(shù)奶镶。第二個(gè)公式中的廣義收縮公式通常用于求解bⁿ⁺¹的最小化問題迟赃。最后，添加殘差項(xiàng)以改善優(yōu)化過程厂镇。通過交替迭代纤壁，變量最終可以收斂到原始模型的解[131]。該模型可以很容易地?cái)U(kuò)展到更復(fù)雜的模型捺信，例如具有l(wèi)₁-范數(shù)數(shù)據(jù)保真度項(xiàng)的非二次函數(shù)酌媒。

這些方法之間的關(guān)系已在[136]中詳細(xì)討論過。在線性約束的假設(shè)下迄靠，Bregman迭代正則化方法秒咨，Douglas-Rachford算法和ADMM已被證明是等價(jià)的[136,137]。這些方法最有希望的方面是通過將原始的大規(guī)模逆問題分成幾個(gè)子問題掌挚，可以大大提高計(jì)算效率雨席。通常，基于PD的方法比基于平滑近似的優(yōu)化算法更快吠式。

圖像SR還有其他快速且穩(wěn)健的優(yōu)化方法陡厘。例如，基于圖切割的方法可以應(yīng)用于最小化基于圖的能量函數(shù)[138,139]特占。

3.3 圖像超分辨率的主要挑戰(zhàn)

盡管SR技術(shù)已經(jīng)發(fā)展了三十年糙置，但仍存在一些關(guān)鍵的困難。在本節(jié)中是目，討論了圖像SR的主要挑戰(zhàn)以及處理這些問題的相應(yīng)策略谤饭。挑戰(zhàn)是：（1）具有復(fù)雜運(yùn)動(dòng)條件的SR;（2）沒有多個(gè)LR圖像的SR;（3）“大數(shù)據(jù)”處理的加速策略。

3.3.1 具有復(fù)雜運(yùn)動(dòng)情況的超分辨率

在復(fù)雜的運(yùn)動(dòng)條件下實(shí)現(xiàn)精確的運(yùn)動(dòng)估計(jì)是一個(gè)巨大的挑戰(zhàn)。結(jié)果揉抵，基于重建的SR算法的性能受到顯著影響宜岛。因此，研究人員試圖解決由不準(zhǔn)確的動(dòng)作配準(zhǔn)帶來(lái)的問題功舀。該解決方案包括更先進(jìn)的配準(zhǔn)策略，魯棒保真度模型身弊，聯(lián)合參數(shù)估計(jì)以及沒有顯式運(yùn)動(dòng)估計(jì)的方法辟汰。

3.3.1.1 先進(jìn)的配準(zhǔn)策略

在模擬情況下，參考幀和其他幀之間的子像素運(yùn)動(dòng)場(chǎng)可以通過參數(shù)模型（例如阱佛，純平移或全局仿射扭曲）來(lái)描述帖汞。然而，在大多數(shù)具有更復(fù)雜運(yùn)動(dòng)條件的實(shí)際情況下凑术，必須逐點(diǎn)或逐塊地估計(jì)它們翩蘸。光流估計(jì)[140]是獲得所有點(diǎn)的相對(duì)精確的運(yùn)動(dòng)場(chǎng)的代表性方法之一。然而淮逊，基于光流的方法在計(jì)算上是昂貴的[141]并且對(duì)噪聲催首、大位移和照明變化敏感[142]。為了提高SR中運(yùn)動(dòng)估計(jì)的準(zhǔn)確性泄鹏，需要先進(jìn)的配準(zhǔn)方法郎任。Baboulaz和Dragotti [143]提出了一種先進(jìn)的方法，通過采樣取景來(lái)提取LR圖像中的特征以進(jìn)行配準(zhǔn)备籽。Su等人[144]基于稀疏特征點(diǎn)對(duì)應(yīng)舶治，試圖通過精確估計(jì)局部流來(lái)避免不準(zhǔn)確的流估計(jì)。

3.3.1.2 健壯的保真度模型

盡管已經(jīng)應(yīng)用了更準(zhǔn)確的配準(zhǔn)方法车猬，但在實(shí)際情況下運(yùn)動(dòng)誤差是不可避免的霉猛。因此，研究人員試圖從模型構(gòu)建的角度克服不準(zhǔn)確配準(zhǔn)的影響珠闰。配準(zhǔn)誤差的影響主要體現(xiàn)在數(shù)據(jù)保真度項(xiàng)中惜浅，其為重建的HR圖像與觀察到的LR圖像的一致性提供了約束。如3.2.2節(jié)所述伏嗜，l₁范數(shù)在處理配準(zhǔn)誤差方面比l₂范數(shù)更有效[43]赡矢。因此，基于l₁-范數(shù)的SR方法可以有效地克服運(yùn)動(dòng)誤差的影響阅仔。另外吹散，如（5）所示，具有大配準(zhǔn)誤差的LR圖像通過導(dǎo)入自適應(yīng)信道函數(shù)w_k在重建過程中會(huì)占較少的比重[145]八酒。權(quán)重w_k通常設(shè)置為與‖y_k - H_kz‖_p^p (1 ≤ p ≤ 2) 成反比空民，因此減少了模型誤差的影響。然而，基于l₁-范數(shù)和加權(quán)模型都需要額外的配準(zhǔn)方法來(lái)進(jìn)行運(yùn)動(dòng)估計(jì)界轩。此外画饥，相對(duì)較差的收斂性能限制了它們的應(yīng)用。

3.3.1.3 聯(lián)合參數(shù)估計(jì)

提高重建性能的最常用策略之一是聯(lián)合方法浊猾。這些方法（在3.2.5節(jié)中討論）可以通過同時(shí)估計(jì)運(yùn)動(dòng)參數(shù)和重建結(jié)果來(lái)獲得更好的配準(zhǔn)結(jié)果并在迭代期間排除錯(cuò)誤抖甘。具體來(lái)說(shuō)，Tom和Katsaggelos [146]開發(fā)了一種同時(shí)配準(zhǔn)和重建方法葫慎，他們?cè)贛L框架中制定了SR問題衔彻，并使用期望最大化算法解決了它。Hardie等人[100]結(jié)合聯(lián)合方法和MAP框架來(lái)重建HR圖像偷办。

常見的假設(shè)是模糊核在重建系統(tǒng)中是已知的艰额。通過選擇適當(dāng)?shù)?strong>z和s的PDF可以解決不適定的逆問題。 （15）中先驗(yàn)?zāi)Ｐ蚒(z)和U(s)的選擇應(yīng)準(zhǔn)確地描述實(shí)現(xiàn)的特征椒涯。然而柄沮，確定s的正則化約束是一項(xiàng)艱巨的任務(wù)，它與運(yùn)動(dòng)模型有關(guān)废岂，并且通常用全局運(yùn)動(dòng)模型設(shè)置為常數(shù)祖搓。如果有更復(fù)雜的動(dòng)作，可以采用不同的策略湖苞。Shen等人[62]提出了一種組合運(yùn)動(dòng)估計(jì)棕硫，基于對(duì)象的分割和SR的聯(lián)合方法。該方法可以通過迭代地更新運(yùn)動(dòng)域袒啼、分割域和HR圖像來(lái)處理具有多個(gè)移動(dòng)物體的SR問題哈扮。He等人[126]提出了一種用于運(yùn)動(dòng)模型的非線性最小二乘技術(shù)，包括平移和旋轉(zhuǎn)蚓再。此外滑肉，Tian和Yap[147]提出了一種具有縮放運(yùn)動(dòng)的SR方法，并使用‖s-s^~‖²作為p(s)的PDF摘仅，其中s^~是運(yùn)動(dòng)矢量的初始估計(jì)靶庙。總體而言娃属，聯(lián)合超分辨率是在沒有準(zhǔn)確配準(zhǔn)的情況下進(jìn)行SR的有效方式六荒。然而，相對(duì)復(fù)雜的模型和額外參數(shù)意味著這些方法尚未得到廣泛應(yīng)用矾端。當(dāng)然掏击，貝葉斯方法也可以防止運(yùn)動(dòng)場(chǎng)的估計(jì)誤差的傳播[53,72]。

3.3.1.4 沒有顯式運(yùn)動(dòng)估計(jì)的超分辨率

近年來(lái)秩铆，沒有顯式運(yùn)動(dòng)估計(jì)的SR方法已經(jīng)變得流行砚亭。這些方法背后的動(dòng)機(jī)是尋求能夠處理具有一般運(yùn)動(dòng)模式的序列的SR算法灯变。Protter等[148]概括了非局部均值（NLM）算法來(lái)執(zhí)行SR重建。該方法不是全局地計(jì)算數(shù)據(jù)保真度捅膘，而是將LR圖像和估計(jì)的HR圖像分成塊添祸，以累積相似塊的加權(quán)殘差。通過構(gòu)造組合模糊運(yùn)動(dòng)估計(jì)和基于patch的方法的懲罰函數(shù)寻仗，它允許該算法處理不同的運(yùn)動(dòng)模型刃泌。在這項(xiàng)工作之后，Takeda等人[54]將核回歸應(yīng)用到多幀SR署尤，并且該方法能夠處理具有一般運(yùn)動(dòng)模型的視頻序列耙替。Protter和Elad[113]提出了一種新的框架，其中每對(duì)圖像中的像素運(yùn)動(dòng)場(chǎng)被概率運(yùn)動(dòng)場(chǎng)代替沐寺。沒有顯式運(yùn)動(dòng)估計(jì)的SR方法的主要問題之一是計(jì)算效率，因?yàn)樗鼈冎械拇蠖鄶?shù)采用基于patch的方式并且需要迭代來(lái)獲得最終結(jié)果盖奈。

3.3.2 沒有多個(gè)低分辨率圖像的超分辨率

SR的目標(biāo)是恢復(fù)在LR圖像中不可觀察的HR細(xì)節(jié)混坞。通常，通過跨多個(gè)LR圖像組合信息來(lái)恢復(fù)細(xì)節(jié)钢坦。然而究孕，在現(xiàn)實(shí)世界中，有時(shí)難以獲得具有補(bǔ)充信息的足夠圖像爹凹。當(dāng)放大系數(shù)大時(shí)厨诸，基于重建的算法的性能降低。因此禾酱，研究人員轉(zhuǎn)而研究用于單個(gè)圖像的SR方法微酬，其中觀察模型類似于K = 1時(shí)的(1)。

不應(yīng)將單幀SR與類似技術(shù)混淆颤陶，例如圖像插值和使用少量額外信息的重建方法颗管。沒有補(bǔ)充信息就無(wú)法重建高頻細(xì)節(jié)。例如滓走，基于重建的方法[91,149-154]涉及圖像先驗(yàn)以“幻覺化”在圖像采集期間丟失的信息垦江。與多幀SR中常用的先驗(yàn)不同，單幀先驗(yàn)通常被設(shè)計(jì)為減少邊緣偽影并且在沒有額外外部信息的情況下估計(jì)HR細(xì)節(jié)搅方。雖然邊緣保留算子可以消除圖像分辨率增強(qiáng)中的振鈴偽像(ringing artifacts)比吭，但是中頻紋理的主要缺陷會(huì)阻止這些方法在放大系數(shù)較大時(shí)有效[11]。換句話說(shuō)姨涡，由于重建模型中涉及的信息有限衩藤，這些方法無(wú)法滿足我們的日常需求。因此涛漂，在本次審查中慷彤，我們不將傳統(tǒng)的基于插值和重建的方法視為SR。

與傳統(tǒng)的插值方法不同，單幀SR學(xué)習(xí)來(lái)自外部數(shù)據(jù)庫(kù)的低分辨率和高分辨率信息之間的對(duì)應(yīng)關(guān)系底哗，從而恢復(fù)HR空間中的細(xì)節(jié)岁诉。隨著機(jī)器學(xué)習(xí)的快速發(fā)展，近年來(lái)基于實(shí)例的SR受到了很多關(guān)注跋选√檠ⅲ基于實(shí)例的算法[11,12,155-159]要么利用相同圖像的內(nèi)部相似性，要么學(xué)習(xí)來(lái)自外部低分辨率和高分辨率樣本對(duì)的LR和HR圖像塊之間的對(duì)應(yīng)關(guān)系前标。在早期階段坠韩，使用基于patch或基于特征的方法來(lái)學(xué)習(xí)LR和HR圖像細(xì)節(jié)之間的一般關(guān)系[12,160,161]。作為代表作炼列，F(xiàn)reeman等人[12]采用MRF框架來(lái)學(xué)習(xí)從LR到HR圖像的預(yù)測(cè)只搁。然而，這些方法通常在計(jì)算上很昂貴并且取決于訓(xùn)練集和測(cè)試集之間的相似性俭尖。結(jié)果氢惋，提出了相鄰嵌入（NE）方法和稀疏編碼方法。

基于NE的方法假設(shè)HR和LR圖像中的小patch在兩個(gè)不同的特征空間中形成相似的流形[155-157,162,163]稽犁。Chang等引入局部線性嵌入（LLE）[155]焰望，通過學(xué)習(xí)從LR到HR空間的映射關(guān)系，將HR patch預(yù)測(cè)為訓(xùn)練數(shù)據(jù)集中最近鄰居的線性組合已亥。以這種方式熊赖，基于NE的方法需要較少的訓(xùn)練樣本并且可以應(yīng)用于各種圖像。然而虑椎，基于NE的方法的關(guān)鍵問題是由于嚴(yán)格固定的鄰域尺寸的過度擬合或欠擬合而導(dǎo)致的模糊效應(yīng)震鹉。此外，通過學(xué)習(xí)來(lái)自低維空間的高分辨率信息捆姜，不能有效地建立LR-HR特征映射足陨。

為了克服這些限制，稀疏編碼（SC）方法[11,159,164-166]試圖將稀疏信號(hào)表示結(jié)合起來(lái)形成一個(gè)學(xué)習(xí)的超完備字典娇未，并且已經(jīng)獲得了非常有希望的結(jié)果墨缘。假設(shè)圖像可以表示為具有過完備字典ψ的稀疏線性組合和具有非常少的非零條目的相應(yīng)系數(shù)向量α，則圖像塊可以被給出為x =ψα零抬。在SR的概念中镊讼，對(duì)于每個(gè)輸入LR patch y_r，將針對(duì)ψ₁找到稀疏表示平夜，并且可以根據(jù)HR字典ψ_h和系數(shù)生成HR patch z_r蝶棋。目標(biāo)是通過優(yōu)化能量函數(shù)來(lái)找到α的最稀疏表示和相應(yīng)的HR圖像。統(tǒng)一框架[11]可以解釋為

其中α_i,j表示z的第(i, j)個(gè)patch的表示系數(shù)忽妒，α表示所有α_i,j的串聯(lián)玩裙，并且P_i,j是從z選擇第(i, j)個(gè)patch的投影矩陣兼贸。U(z)表示重建圖像的先驗(yàn)項(xiàng)，如3.2.3節(jié)所述吃溅。通過調(diào)整λ和β溶诞，模型能夠控制匹配LR輸入和找到與其鄰居兼容的HR patch 之間的權(quán)衡。另外决侈，τ可以達(dá)到同時(shí)抑制噪聲的目的螺垢。

此后的主要進(jìn)展包括字典對(duì)的不同訓(xùn)練方法[159,166,167]，效率改進(jìn)[168]和各種編碼策略[164,169]赖歌。在Yang等人的工作中[11]枉圃，假設(shè)系數(shù)α對(duì)于LR和HR字典都是相同的。然而庐冯，進(jìn)一步的研究聲稱孽亲，不應(yīng)忽視字典系數(shù)之間的差異和聯(lián)系[166,170]。對(duì)于基于稀疏表示的單圖像SR來(lái)說(shuō)展父，這是另一項(xiàng)艱巨的任務(wù)返劲。其他研究人員已經(jīng)開發(fā)出基于回歸的方法和一些改進(jìn)的算法，例如具有稀疏NE的SR方法[156]犯祠，使用非局部自回歸建模的圖像SR [159]旭等，以及基于快速實(shí)例的SR的錨定鄰域回歸[171]酌呆。最近衡载，董等人[172]提出了基于稀疏編碼的SR方法，該方法也可以看作是一種具有不同非線性映射的卷積神經(jīng)網(wǎng)絡(luò)原环，并應(yīng)用深度學(xué)習(xí)來(lái)學(xué)習(xí)LR和HR圖像之間的端到端映射癞埠。

圖9. 放大系數(shù)為3的女孩圖像的結(jié)果杖剪。頂行：LR圖像，NE [156]梨睁，基于TV的方法[47]和SC [11]。底行：ASDS-AR-NL [159]娜饵，SRCNN [172]坡贺，SPM [166]和原始圖像。

圖10.（a）QCIF序列[1]和（b）自行車序列[73]的SR重建箱舞。第一行表示參考LR幀遍坟，而第二行表示相應(yīng)的重建結(jié)果。

圖11. 步行序列（頂行）[184]和UAV監(jiān)視序列（底行）[66]的SR重建：（a）表示參考LR幀晴股，而（b）表示相應(yīng)的重建結(jié)果愿伴。

我們展示了單圖像SR的實(shí)驗(yàn)結(jié)果，然后通過比例因子3進(jìn)行下采樣电湘。圖9顯示了通過使用不同方法重建的HR Girl圖像隔节。利用已知的退化參數(shù)鹅经，基于TV重建的方法[47]在恢復(fù)紋理方面是有效的，但是它產(chǎn)生分段常數(shù)塊偽像怎诫。通過外部信息學(xué)習(xí)瘾晃，所有基于實(shí)例的SR方法都可以在視覺合理性方面實(shí)現(xiàn)有效的重建結(jié)果，并獲得更清晰的邊緣刽虹。然而酗捌，由于NE方法[156]高度依賴于數(shù)據(jù)庫(kù)中樣本的質(zhì)量，因此NE方法[156]對(duì)視覺復(fù)雜紋理進(jìn)行建模的能力有限涌哲。SC [11]方法希望通過構(gòu)建聯(lián)合字典來(lái)學(xué)習(xí)更有效的信息胖缤。但是，使用單個(gè)映射來(lái)描述不同圖像塊對(duì)之間的復(fù)雜關(guān)系是不夠的阀圾。利用patch之間的非本地自相似性哪廓，學(xué)習(xí)patch之間的映射函數(shù)，以及對(duì)圖像采用合理的假設(shè)初烘，可以實(shí)現(xiàn)更好的圖像恢復(fù)涡真，如ASDS-AR-NL [159]和SPM [166]方法。

此外肾筐，單幀SR提供了克服LR圖像數(shù)量不足的潛力哆料，并在一些特定領(lǐng)域發(fā)揮了重要作用，如面部幻覺[173,174]吗铐，車牌識(shí)別[175]东亦，醫(yī)學(xué)分析[176,177]和 衛(wèi)星成像[118]，很少有低質(zhì)量圖像的診斷或分析唬渗。

3.3.3 大數(shù)據(jù)處理的加速策略

有一種趨勢(shì)是在大型數(shù)據(jù)集上使用SR方法典阵，這些方法被稱為“大數(shù)據(jù)”。因此镊逝，必須開發(fā)既有效果又足夠有效率的方法壮啊，以滿足現(xiàn)代工業(yè)應(yīng)用的需求。

盡管已經(jīng)為快速SR提出了豐富的優(yōu)化方法（第3.2.6節(jié)）撑蒜，但效率仍然離實(shí)時(shí)應(yīng)用的要求很遠(yuǎn)歹啼。需要制定其他策略來(lái)滿足速度的需求。Zhang等人[178]提出了兩種基于遞歸多級(jí)重建和并行圖像重建的快速SR方法座菠。必須提到的是狸眼，ADMM非常適合用于解決大規(guī)模統(tǒng)計(jì)任務(wù)的并行機(jī)制。此外辈灼，空間自適應(yīng)的基于patch的方法[73,179,180]是常用的方法份企。然而，總是需要de-blocking過程來(lái)減少邊緣偽像巡莹。

或者司志，云計(jì)算是一種簡(jiǎn)單而有效的解決方案甜紫，可以通過Internet提供計(jì)算和存儲(chǔ)服務(wù)[181]。用戶可以在一個(gè)使用“超級(jí)計(jì)算機(jī)”的強(qiáng)大計(jì)算平臺(tái)上實(shí)現(xiàn)目標(biāo)[182]骂远。

4. 應(yīng)用

在回顧了上述方法之后囚霸，讓我們回到SR在日常生活中的具體應(yīng)用，這是最基本的問題激才。 在過去的三十年中拓型，SR的各種應(yīng)用已得到解決。在以下小節(jié)中瘸恼，我們?cè)谥匾膽?yīng)用領(lǐng)域中給出了SR的一些示例劣挫。

4.1 常用(regular)的視頻信息增強(qiáng)

SR技術(shù)的應(yīng)用已進(jìn)入我們的日常生活《В可以使用SR技術(shù)將LR視頻圖像轉(zhuǎn)換為高清圖像压固。日立公司利用視頻SR技術(shù)實(shí)現(xiàn)了標(biāo)清電視（SDTV）到高清電視（HDTV）的轉(zhuǎn)換，使SR成為一個(gè)特別有趣和相關(guān)的研究課題[183]靠闭。相關(guān)結(jié)果可在網(wǎng)站http://www.engadget.com/2009/01/12/eyes-onwith-hitachi-super-resolution-tv/上找到帐我，其中框架中的所有細(xì)節(jié)都明顯增強(qiáng)。

圖10顯示了一些日常場(chǎng)景的SR結(jié)果愧膀。QCIF視頻序列由3-D ISKR [1]處理拦键，而Bicycle序列由[73]中的方法處理。這些典型示例顯示了SR技術(shù)在處理由多個(gè)移動(dòng)物體引起的運(yùn)動(dòng)異常值時(shí)的有效性檩淋，這在實(shí)際場(chǎng)景中很常見芬为。此外，Apple Inc.宣布他們已經(jīng)申請(qǐng)了基于SR的光學(xué)圖像穩(wěn)定的專利狼钮。SR技術(shù)遲早會(huì)在我們的手機(jī)碳柱，電腦和平板電腦中使用捡絮。

4.2 Surveillance(監(jiān)控)

如今熬芜，數(shù)字視頻錄像機(jī)（DVR）設(shè)備無(wú)處不在，它們?cè)诮煌ūO(jiān)控和安全監(jiān)控等應(yīng)用中發(fā)揮著重要作用福稳。然而涎拉，目前不可能大規(guī)模配備HR設(shè)備。因此的圆，有必要研究圖像SR技術(shù)鼓拧。圖11給出了步行序列[184]和無(wú)人機(jī)監(jiān)視序列[66]的SR的兩個(gè)例子。盡管這些技術(shù)已經(jīng)逐漸發(fā)展越妈，但視頻SR的實(shí)際應(yīng)用仍然是一個(gè)挑戰(zhàn)季俩。首先，戶外視頻設(shè)備易受天氣條件的影響梅掠。此外酌住，視頻數(shù)據(jù)通常具有大量數(shù)據(jù)和復(fù)雜運(yùn)動(dòng)店归。一些算法可以處理運(yùn)動(dòng)異常值，但計(jì)算效率限制了它們的應(yīng)用酪我。壓縮視頻SR也是焦點(diǎn)[185,186]消痛。

圖12.（a）MRI [2]圖像和（b）PET [67]圖像的SR結(jié)果。 第一列是原始LR圖像都哭，第二列顯示相應(yīng)的SR結(jié)果秩伞。

4.3 醫(yī)學(xué)診斷

各種醫(yī)學(xué)成像模態(tài)可以提供關(guān)于人體結(jié)構(gòu)和功能信息的解剖學(xué)信息。 但是欺矫，分辨率限制總是會(huì)降低診斷中醫(yī)學(xué)圖像的價(jià)值纱新。SR技術(shù)已被用于關(guān)鍵的醫(yī)學(xué)成像模式，包括磁共振成像（MRI）穆趴，功能性MRI（fMRI）和正電子發(fā)射斷層掃描（PET）[187]怒炸。目標(biāo)是在保留真正的各向同性3-D成像的同時(shí)提高醫(yī)學(xué)圖像的分辨率。醫(yī)學(xué)成像系統(tǒng)可以在高度受控的環(huán)境下操作毡代，因此可以容易地獲得連續(xù)和多視圖圖像阅羹。圖12分別表示人腦MRI數(shù)據(jù)[2]和呼吸同步PET圖像的SR結(jié)果[67]。

單幀的基于實(shí)例的SR也已經(jīng)應(yīng)用于醫(yī)學(xué)成像領(lǐng)域教寂，通過收集類似的圖像來(lái)建立數(shù)據(jù)庫(kù)[176,188]捏鱼。 圖13中呈現(xiàn)的以下示例是[176]中膝關(guān)節(jié)的單個(gè)MRI圖像的重建圖像。訓(xùn)練數(shù)據(jù)庫(kù)建立了一套五個(gè)標(biāo)準(zhǔn)圖像酪耕，包括計(jì)算機(jī)斷層掃描（CT）和來(lái)自人體各個(gè)部位的MRI圖像导梆。

圖13. MRI膝關(guān)節(jié)圖像上的單幀SR結(jié)果，放大系數(shù)為4 [176]迂烁。（a）原始LR數(shù)據(jù)看尼。（b）SR結(jié)果

4.4. 地球觀測(cè)遙感

眾所周知，[31]中的第一個(gè)SR思想是由提高Landsat遙感圖像分辨率的需求所驅(qū)動(dòng)的盟步。幾十年來(lái)藏斩，已開發(fā)出將SR技術(shù)應(yīng)用于遙感成像的想法。雖然不容易獲得滿足SR需求的數(shù)據(jù)却盘，但實(shí)際數(shù)據(jù)已有一些成功應(yīng)用的例子[25,27,28,189-191]狰域。其中，SPOT-5采集的全色圖像的分辨率可以通過將雙CCD陣列移動(dòng)半個(gè)采樣間隔獲得的兩個(gè)5米圖像的SR達(dá)到2.5米（圖3）黄橘，這是最成功的案[27,192]兆览。另外，Shen等人塞关。 [28]提出了一種MAP算法抬探，并用中等分辨率成像光譜輻射計(jì)（MODIS）遙感圖像對(duì)其進(jìn)行了測(cè)試，如圖14所示帆赢。此外小压，衛(wèi)星可以獲取同一區(qū)域的多時(shí)間或多視圖圖像砰左，例如， Landsat场航，CBERS和WorldView-2缠导，因此為SR提供了可能性[25,191]。圖14也給出了一個(gè)例子溉痢，它包含了由WorldView-2衛(wèi)星為SR提供的五個(gè)角度圖像[25]僻造。已經(jīng)廣泛研究了用于分?jǐn)?shù)圖像的光譜分離的SR以獲得更精細(xì)的類標(biāo)簽分辨率圖，并且被稱為子像素映射[193-195]孩饼。研究人員還試圖將基于實(shí)例的方法應(yīng)用于遙感圖像SR [196,197]

圖14. 遙感圖像的SR重建：（a）和（b）分別表示LR和HR圖像髓削。第一行顯示了對(duì)多時(shí)相MODIS圖像的測(cè)試，放大系數(shù)為2 [28]镀娶。第二行是多角度WorldView-2圖像的SR示例立膛，放大系數(shù)為2 [25]。

最近梯码，Skybox Imaging計(jì)劃推出一組24顆小型衛(wèi)星宝泵，可以使用SR技術(shù)提供具有亞米級(jí)分辨率的實(shí)時(shí)“視頻”[16,198]。目前轩娶，SkySat-1和SkySat-2已經(jīng)推出并投入使用儿奶。通過合并大約20幀，輸出圖像的地面距離（GSD）可以減少到原始數(shù)據(jù)的4/5 [16]鳄抒。這是將SR技術(shù)引入日常生活的絕佳機(jī)會(huì)闯捎。

遙感圖像SR的主要挑戰(zhàn)是克服由于時(shí)間差異引起的場(chǎng)景變化，并使現(xiàn)有方法適應(yīng)每天的大量觀測(cè)许溅。

4.5. 天文觀測(cè)

受系統(tǒng)參數(shù)限制的天文成像設(shè)備的物理分辨率也為SR技術(shù)發(fā)揮作用提供了機(jī)會(huì)瓤鼻。天文系統(tǒng)通常可以為SR收集一系列圖像贤重。通過提高天文圖像的分辨率茬祷，SR可以幫助天文學(xué)家探索外太空。一個(gè)具體的例子如圖15 [64]所示游桩，顯示了多個(gè)星圖像的SR牲迫。

圖15. 天文圖像的SR示例：（a）原始LR圖像和（b）SR結(jié)果耐朴。

現(xiàn)在衛(wèi)星也被送入外太空借卧，例如 月球探測(cè)計(jì)劃和火星奧德賽任務(wù)。 圖16表示中國(guó)嫦娥一號(hào)月球圖像[199]的SR示例筛峭，其中基于三個(gè)視圖重建結(jié)果铐刘。SR可以提高圖像分辨率，從而提高月球表面上小物體的可辨別性影晓。除此之外镰吵，Hughes和Ramsey [200]使用來(lái)自不同光譜區(qū)域的熱發(fā)射成像系統(tǒng)（THEMIS）熱紅外和可見數(shù)據(jù)集來(lái)生成火星表面的增強(qiáng)熱紅外圖像檩禾。

4.6. 生物識(shí)別信息識(shí)別

SR在生物識(shí)別中也很重要，包括面部[24,201,202]疤祭，指紋[203]和虹膜圖像[65,204]的分辨率增強(qiáng)盼产。生物特征圖像的分辨率在識(shí)別和檢測(cè)過程中至關(guān)重要。為了處理LR觀察勺馆，一種常見的方法是從多個(gè)LR圖像開發(fā)高質(zhì)量圖像戏售。基于生物特征圖像結(jié)構(gòu)化特征的冗余性和相似性草穆，基于實(shí)例的單幀SR與外部數(shù)據(jù)庫(kù)是分辨率增強(qiáng)的有效方法[11]灌灾。我們給出了圖17中的三種生物特征圖像重建案例[203,205,206]。利用SR悲柱，可以明顯增強(qiáng)形狀和結(jié)構(gòu)紋理的細(xì)節(jié)锋喜，有效保留全局結(jié)構(gòu)，提高相關(guān)應(yīng)用的識(shí)別能力豌鸡。

圖17. 面部[205]嘿般，指紋[203]和虹膜圖像[189]的SR結(jié)果。第一行是LR圖像涯冠，第二行顯示重建結(jié)果博个。（a）面部幻覺，（b）指紋重建功偿，以及（c）虹膜重建盆佣。

5. 討論和結(jié)論

在本文中，我們打算調(diào)研過去三十年中的超分辨率（SR）的概念械荷，發(fā)展和主要應(yīng)用共耍。SR技術(shù)的主要進(jìn)展基本上可以分為三個(gè)階段。在第一個(gè)十年吨瞎，研究人員將他們的注意力從頻域方法的研究轉(zhuǎn)移到空間域算法痹兜。規(guī)則化的多幀SR框架是第二階段的主要焦點(diǎn)。貝葉斯MAP框架由于其良好的性能和靈活的特性而成為最流行的技術(shù)颤诀。然而字旭，近年來(lái)，多幀SR的發(fā)展已經(jīng)放緩崖叫，研究人員主要關(guān)注各種應(yīng)用領(lǐng)域的SR重建遗淳。不幸的是，SR的廣泛實(shí)際應(yīng)用仍然是一個(gè)問題心傀。在多幀SR的開發(fā)中存在瓶頸式的困境屈暗，而基于示例的SR用于單個(gè)圖像已成為熱門問題。但是，這些算法的性能取決于外部數(shù)據(jù)庫(kù)的可靠性养叛。

那么我們應(yīng)該在進(jìn)一步研究中做些什么种呐？總是需要具有廣泛適用性的更先進(jìn)，自適應(yīng)和更快的方法弃甥。此外爽室，方法應(yīng)與實(shí)際要求緊密結(jié)合。硬件設(shè)備的快速發(fā)展也將為SR框架的應(yīng)用帶來(lái)新的挑戰(zhàn)淆攻。例如肮之，Google Skybox項(xiàng)目將為我們提供使用遙感圖像SR獲取實(shí)時(shí)HR“地球觀測(cè)視頻”的機(jī)會(huì)。SR的概念也已擴(kuò)展到相關(guān)領(lǐng)域卜录，如熒光顯微鏡[17,207-209]和多基線斷層合成孔徑雷達(dá)（SAR）成像[210,211]戈擒。此外，研究人員已嘗試將單幀SR技術(shù)應(yīng)用于醫(yī)學(xué)和遙感圖像的處理艰毒。然而筐高，這些方法的實(shí)用性仍然受到相對(duì)較差的性能和時(shí)間消耗的限制，并且加速策略對(duì)于大規(guī)模應(yīng)用是必不可少的丑瞧「掏粒總之，SR的未來(lái)仍在我們手中绊汹。

致謝

作者要感謝編輯和匿名審稿人提出的寶貴建議稽屏。 本研究得到國(guó)家自然科學(xué)基金（41422108），長(zhǎng)江學(xué)者與大學(xué)創(chuàng)新研究團(tuán)隊(duì)計(jì)劃（IRT1278）和國(guó)家自然科學(xué)基金（41401383）的支持西乖。

參考文獻(xiàn)

詳見原始文章