【本文關(guān)鍵詞】高光譜永部，多光譜捐祠，圖像融合（image fusion）眶熬，分辨率增強(qiáng)（resolution enhancement），混合像元分解（spectral unmixing）
【內(nèi)容簡(jiǎn)介】將多光譜影像分成子圖像分別進(jìn)行端元提炔颉（endmember extraction）宵统，進(jìn)而提升高光譜分辨率增強(qiáng)的精度。
【原文鏈接】網(wǎng)頁(yè)|PDF
圖像融合簡(jiǎn)史
本文的研究屬于圖像融合的范疇。在遙感領(lǐng)域马澈，最早的圖像融合技術(shù)是全色銳化（Panchromatic Sharpening, Pansharpening）瓢省，也即利用全色波段的遙感影像提升多光譜波段遙感影像的空間分辨率。實(shí)現(xiàn)全色銳化的方法眾多痊班，主流的方法包括主成分分析（Principal Component Analysis, PCA）檐春，強(qiáng)度-色調(diào)-飽和度（Intensity-Hue-Saturation, IHS）變換等牧抽。在PCA方法中，首先對(duì)多光譜波段進(jìn)行PCA，然后將得到的第一個(gè)主成分用全色影像代替擎鸠。在IHS方法中腹暖，則在對(duì)RGB波段進(jìn)行IHS變換后劣领，用全色影像代替I分量婿奔。此后的多光譜影像已不限于RGB三個(gè)波段，因此器净，在IHS方法的基礎(chǔ)上型雳，又發(fā)展出了廣義IHS（Generalized IHS）方法和廣義強(qiáng)度調(diào)制（Generalized Intensity Modulation）方法。后來(lái)又出現(xiàn)了山害，高通濾波（High-pass Filtering）和高通調(diào)制（High-pass Modulation）方法纠俭，基本思路是提取全色影像的高頻分量，然后將其以適當(dāng)?shù)姆绞教砑拥矫恳粋€(gè)多光譜波段中浪慌。隨著多分辨率技術(shù)的發(fā)展冤荆，高斯金字塔（Gaussian Pyramids）、拉普拉斯金字塔（Laplacian Pyramids）眷射，以及離散小波變換（Discrete Wavelet Transform, DWT）也被應(yīng)用于全色銳化中匙赞。
此后，全色銳化技術(shù)被進(jìn)一步應(yīng)用于多光譜和高光譜影像妖碉，在方法上取得了長(zhǎng)足的進(jìn)步和發(fā)展。首先出現(xiàn)的是基于2-D和3-D小波的方法芥被，但它的性能取決于空間和光譜重采樣效果的好壞欧宜。另一種方法是使用貝葉斯統(tǒng)計(jì)中的最大后驗(yàn)（Maximum a posteriori, MAP）估計(jì)來(lái)建立多光譜和高光譜影像之間的聯(lián)系。在此基礎(chǔ)上拴魄，再引入隨機(jī)混合模型（Stochastic Mixture Model, SMM）作為約束條件冗茸，可以進(jìn)一步提升融合效果。而如果在小波域中使用MAP估計(jì)匹中，則可以取得很好的抗噪聲性能夏漱。
耦合非負(fù)矩陣分解（Coupled Nonnegative Matrix Factorization, CNMF）是一種較為新穎的方法。該方法根據(jù)線性混合模型（Linear mixing model, LMM）對(duì)高光譜和多光譜影像分別利用NMF進(jìn)行光譜解混（Spectral Unmixing）顶捷，在已知傳感器觀測(cè)模型的基礎(chǔ)上挂绰，綜合利用了高光譜影像中的端元和多光譜影像豐富的空間信息。CNMF在短波紅外波段比MAP效果要好很多服赎。
本文方法簡(jiǎn)介
本文的方法是葵蒂，對(duì)高光譜和多光譜影像利用LMM進(jìn)行解混交播，但使用的不是整景影像，而是影像中的子圖践付，這樣可以達(dá)到減小高光譜影像重構(gòu)誤差的效果秦士。與CNMF類(lèi)似，本文方法也需要已知高光譜和多光譜傳感器的觀測(cè)模型永高。在驗(yàn)證部分隧土，作者將該方法的結(jié)果與CNMF和MAP-SMM進(jìn)行了比較。
本文方法詳解
第一步 觀測(cè)建模
假設(shè)高光譜影像有個(gè)波段命爬，
個(gè)像元曹傀，可表示為
；多光譜影像有
個(gè)波段遇骑，
個(gè)像元卖毁，表示為
。顯然落萎，有
和
亥啦。假設(shè)兩幅影像已經(jīng)經(jīng)過(guò)幾何配準(zhǔn)，而待預(yù)測(cè)的高分辨率高光譜影像為
练链，則可得到下面兩個(gè)式子：
其中是空間擴(kuò)散變換矩陣（Spatial Spread Transform Matrix）翔脱，
是光譜響應(yīng)變換矩陣（Spectral Response Transfrom Matrix）。
為
的稀疏矩陣媒鼓，含有
個(gè)非零元届吁，代表高光譜影像的空間點(diǎn)擴(kuò)散函數(shù)（Point Spread Function, PSF）。
為
的稀疏矩陣绿鸣，每一行代表多光譜影像一個(gè)波段的光譜響應(yīng)函數(shù)疚沐。
和
均為不可逆的非方陣，在本文方法中為已知量潮模。
和
為噪聲亮蛔。
第二步 線性光譜混合模型
考慮待預(yù)測(cè)的高分辨率高光譜影像，它的LMM表示為：
其中為
的端元特征矩陣（
個(gè)端元擎厢，每個(gè)有
個(gè)波段的反射率）究流，
為
的豐度比例矩陣（
個(gè)像元中的每一個(gè)所對(duì)應(yīng)的各個(gè)端元的比例），
為噪聲动遭。
將LMM代換到和
的表達(dá)式中芬探，忽略噪聲，可以得到：
其中是
的豐度比例矩陣（
個(gè)像元中的每一個(gè)所對(duì)應(yīng)的各個(gè)端元的比例）厘惦，
是
的單元特征矩陣（
個(gè)端元偷仿，每個(gè)有
個(gè)波段的反射率）。將上面幾個(gè)式子中的噪聲部分均忽略不計(jì)，可以得到：
第三步 基于光譜解混的圖像融合
在時(shí)炎疆，有
卡骂；在
時(shí)，有
形入。為了最小化重構(gòu)誤差全跨，選擇提取
個(gè)端元。具體的算法流程如下：
- 利用頂成分分析（Vertex Component Analysis, VCA）提取高光譜影像中的端元
- 對(duì)提取的端元進(jìn)行光譜重采樣
- 計(jì)算高分辨率多光譜影像中對(duì)應(yīng)的豐度矩陣
- 對(duì)得到的豐度矩陣進(jìn)行重采樣
- 用最小二乘法估計(jì)高光譜影像的端元矩陣
- 重構(gòu)高分辨率高光譜影像
最后得到的
的表達(dá)式為
第四步 子圖處理
第三步中考慮的是的情形亿遂，但有時(shí)
個(gè)端元不足以最小化重構(gòu)誤差浓若，因此還必須處理
的情形。本文使用了分割子圖的方法蛇数，分別對(duì)每一幅子圖執(zhí)行第三步中的融合算法挪钓，則最終可以得到
個(gè)端元（
為子圖數(shù)量）。由于分割的尺度對(duì)最后的重構(gòu)誤差影響很大耳舅，本文采用了多個(gè)分割尺度碌上，最后將多個(gè)尺度的結(jié)果進(jìn)行融合。具體的算法流程如下：
- 計(jì)算每個(gè)分割尺度下浦徊，低分辨率高光譜影像每一個(gè)像元的重構(gòu)誤差
- 找出每個(gè)像元取得最小重構(gòu)誤差時(shí)對(duì)應(yīng)的分割尺度
找到在高光譜影像上對(duì)應(yīng)的空間位置
找到其在多光譜影像上對(duì)應(yīng)的空間位置
得到最終的高分辨率高光譜影像
在這一過(guò)程中馏予，可能得到高度相關(guān)的端元，需要進(jìn)行排除盔性。這里可以利用方差擴(kuò)大因子（Variation Inflation Factor, VIF）進(jìn)行判斷：
如果含有VIF超過(guò)10的端元霞丧，則對(duì)應(yīng)的子圖需要在融合過(guò)程中加以排除。
個(gè)人理解
本文方法的創(chuàng)新點(diǎn)在于冕香，在多個(gè)尺度下分別進(jìn)行融合算法蛹尝，最后得到了多幅高分辨率高光譜影像，然后再重采樣到高光譜影像原分辨率悉尾，計(jì)算每一個(gè)像元的重構(gòu)誤差突那，然后選擇最小誤差的結(jié)果。這樣實(shí)際上是把得到的多幅高分辨率高光譜影像再進(jìn)行篩選构眯，合并得到了最終結(jié)果陨收。簡(jiǎn)單來(lái)說(shuō)也就是將多個(gè)結(jié)果組合為最終結(jié)果。這一思想可以進(jìn)一步拓展鸵赖，比如應(yīng)用于熱紅外？應(yīng)用于光譜而非像元拄衰？
附：圖像融合質(zhì)量的評(píng)價(jià)指標(biāo)
圖像融合效果的好壞很難通過(guò)目視判斷它褪，需要借助一些定量的指標(biāo)。常用的指標(biāo)包括：
峰值信噪比（Peak Signal Noise Ratio, PSNR）翘悉，表達(dá)式為：
其中為第
個(gè)波段的均方誤差茫打，
為第
個(gè)波段的最大值。
光譜角制圖（Spectral Angle Mapper, SAM），表達(dá)式為：
一般來(lái)說(shuō)老赤，PNSR越大轮洋，SAM越小，表示融合效果越好抬旺。
此外弊予，還可以使用結(jié)構(gòu)相似度指數(shù)（Structural Similarity Index, SSIM Index）來(lái)度量，其表達(dá)式為：
其中和
為常數(shù)項(xiàng)开财，可保證表達(dá)式有意義汉柒。
