姓名：彭帥? ? ? ? ? ? ? ? ? ? ?學(xué)號(hào)：17021210850
【嵌牛導(dǎo)讀】：互信息用于度量?jī)蓚€(gè)對(duì)象之間的相互性王暗。在過(guò)濾問(wèn)題中用于度量特征對(duì)于主題的區(qū)分度⌒蛉粒互信息的定義與交叉熵近似渠脉。
【嵌牛鼻子】：互信息?
【嵌牛提問(wèn)】：互信息基本知識(shí)
【嵌牛正文】：
????????互信息(mutual information)來(lái)自于信息論，是用于圖像配準(zhǔn)的一種經(jīng)典相似性測(cè)度档叔。它最初是由Collignon等和Viola等于1995年引入圖像處理領(lǐng)域桌粉，用于配準(zhǔn)多模圖像。目前由于其無(wú)需預(yù)處理衙四、自動(dòng)化程度高以及魯棒性強(qiáng)等特點(diǎn)铃肯，利用最大互信息法進(jìn)行多模圖像配準(zhǔn)成為了圖像處理領(lǐng)域的研究熱點(diǎn)。因此传蹈，互信息的計(jì)算成為多模圖像配準(zhǔn)的一個(gè)關(guān)鍵研究問(wèn)題押逼，在工業(yè)、生物醫(yī)學(xué)惦界、計(jì)算機(jī)視覺(jué)挑格、遙感等應(yīng)用領(lǐng)域中將可能發(fā)揮更大的作用。
目前已有許多基于互信息的圖像配準(zhǔn)算法的研究文獻(xiàn)沾歪，所采用的互信息計(jì)算方法也各有不同漂彤。互信息的計(jì)算方法是關(guān)系到配準(zhǔn)精度和效率的關(guān)鍵因素，尚未有文獻(xiàn)對(duì)此進(jìn)行系統(tǒng)全面的討論显歧；由于算法模型的多樣性仪或，使人們?cè)趯?shí)際應(yīng)用常常很難確定采用哪一種計(jì)算方法。
一.熵簡(jiǎn)介
熵士骤，熱力學(xué)中表征物質(zhì)狀態(tài)的參量之一范删，用符號(hào)S表示，其物理意義是體系混亂程度的度量拷肌。任何一種能量在空間中分布得越均勻到旦，熵就越大，一個(gè)體系的能量完全均勻分布時(shí)巨缘，這個(gè)系統(tǒng)的熵就達(dá)到最大值添忘。它在控制論、概率論若锁、數(shù)論搁骑、天體物理、信息論等領(lǐng)域都有重要應(yīng)用又固，在不同的學(xué)科中也有引申出的更為具體的定義仲器，是各領(lǐng)域十分重要的參量。
1.狀態(tài)函數(shù)
熵S是狀態(tài)函數(shù)仰冠，具有加和（容量）性質(zhì)乏冀，是廣度量非守恒量，因?yàn)槠涠x式中的熱量與物質(zhì)的量成正比洋只，但確定的狀態(tài)有確定量辆沦。其變化量ΔS只決定于體系的始終態(tài)而與過(guò)程可逆與否無(wú)關(guān)。由于體系熵的變化值等于可逆過(guò)程熱溫商δQ/T之和识虚，所以只能通過(guò)可逆過(guò)程求的體系的熵變肢扯。孤立體系的可逆變化或絕熱可逆變化過(guò)程ΔS=0。
熵是宏觀量舷礼，是構(gòu)成體系的大量微觀離子集體表現(xiàn)出來(lái)的性質(zhì)鹃彻。它包括分子的平動(dòng)郊闯、振動(dòng)妻献、轉(zhuǎn)動(dòng)、電子運(yùn)動(dòng)及核自旋運(yùn)動(dòng)所貢獻(xiàn)的熵团赁，談?wù)搨€(gè)別微觀粒子的熵?zé)o意義育拨。
熵的絕對(duì)值不能由熱力學(xué)第二定律確定』渡悖可根據(jù)量熱數(shù)據(jù)由第三定律確定熵的絕對(duì)值熬丧，叫規(guī)定熵或量熱法。還可由分子的微觀結(jié)構(gòu)數(shù)據(jù)用統(tǒng)計(jì)熱力學(xué)的方法計(jì)算出熵的絕對(duì)值怀挠，叫統(tǒng)計(jì)熵或光譜熵析蝴。
4.信息熵
任何一個(gè)消息的自信息量都代表不了信源所包含的平均自信息量害捕。不能作為整個(gè)信源的信息測(cè)度，因此定義自信息量的數(shù)學(xué)期望為離散信源的平均自信息量：
稱之為信源的信息熵闷畸。H是從整個(gè)信源的統(tǒng)計(jì)特性來(lái)考慮的尝盼，它是從平均意義上來(lái)表征信源的總體特性的。對(duì)于某特定的信源佑菩，其信息熵只有一個(gè);不同的信源因統(tǒng)計(jì)特性不同盾沫，其熵也不同。
二.圖像互信息概述
1.互信息
互信息(Mutual Information)是信息論里一種有用的信息度量殿漠，它可以看成是一個(gè)隨機(jī)變量中包含的關(guān)于另一個(gè)隨機(jī)變量的信息量赴精，或者說(shuō)是一個(gè)隨機(jī)變量由于已知另一個(gè)隨機(jī)變量而減少的不肯定性。
圖像處理中常常需要比較兩幅圖像的相似度绞幌，例如在圖像配準(zhǔn)中蕾哟，將互信息值作為配準(zhǔn)結(jié)果的評(píng)價(jià)指標(biāo)×互信息值是其中一種較為常用的方法渐苏，其核心思想是熵，即圖像所包含的信息菇夸。假設(shè)有圖像A,B琼富，則它們互信息值計(jì)算公式為：I(A,B)=H(A)+H(B)-H(A,B)公式的意義很明顯。H(A,B)為A,B的聯(lián)合熵庄新，是使用A,B的聯(lián)合直方圖計(jì)算出的結(jié)果鞠眉，可以理解為A,B共同包含的信息。聯(lián)合熵H(A,B)是檢測(cè)隨機(jī)變量A和B相關(guān)性的統(tǒng)計(jì)量择诈。對(duì)于兩個(gè)隨機(jī)變量A械蹋、B，它們的概率分布分別為pA(a)和pB(b)羞芍，聯(lián)合分布為pAB(a,b).
則他們的聯(lián)合熵為：
若A哗戈、B共同包含信息越少(A、B信息重復(fù)越多)荷科，則H(A,B)越小唯咬，因此互信息值I越大。
2.歸一化互信息
盡管互信息測(cè)度成功地應(yīng)用于圖像配準(zhǔn)中畏浆，由于兩幅圖像重疊都分的大小對(duì)互信息的量度有很大影響胆胰，重疊部分減小，參與統(tǒng)計(jì)互信息的像素個(gè)數(shù)減小導(dǎo)致互信息值減小刻获，互信息與兩個(gè)圖像重疊部分多少成正比蜀涨，誤配數(shù)量增加可能導(dǎo)致互信息值增大。因此互信息值達(dá)到最大并不能保證得到正確的配準(zhǔn)結(jié)果。為了解決這個(gè)問(wèn)題厚柳，使目標(biāo)函數(shù)能更加準(zhǔn)確反映互信息量和配準(zhǔn)參數(shù)之間的關(guān)系氧枣。Studholme等提出了一個(gè)歸一化互信息測(cè)度，歸一化互信息使配準(zhǔn)函數(shù)更平滑别垮，它能減少對(duì)圖像重疊部分敏感性挑胸，配準(zhǔn)精度更高。歸一化互信息的定義如下：
