自信息

自信息（英語：self-information）奏候，又譯為信息本體循集，由克勞德·香農(nóng)提出，用來衡量單一事件發(fā)生時(shí)所包含的信息量多寡蔗草。它的單位是bit,或是nats咒彤。

自信息的含義包括兩個(gè)方面：

1.自信息表示事件發(fā)生前疆柔，事件發(fā)生的不確定性。

2.自信息表示事件發(fā)生后镶柱，事件所包含的信息量旷档，是提供給信宿的信息量，也是解除這種不確定性所需要的信息量歇拆。

互信息：

互信息(Mutual Information)是信息論里一種有用的信息度量鞋屈，它可以看成是一個(gè)隨機(jī)變量中包含的關(guān)于另一個(gè)隨機(jī)變量的信息量，或者說是一個(gè)隨機(jī)變量由于已知另一個(gè)隨機(jī)變量而減少的不肯定性 故觅。

離散隨機(jī)事件之間的互信息：

換句話說就是厂庇，事件x,y之間的互信息等于“x的自信息”減去 “y條件下x的自信息”。 ?I(x)表示x的不確定性输吏，I(x|y)表示在y發(fā)生條件下x的不確定性权旷，I(x;y)表示當(dāng)y發(fā)生后x不確定性的變化。 ?兩個(gè)不確定度之差评也，是不確定度消除的部分炼杖，代表已經(jīng)確定的東西，實(shí)際就是由y發(fā)生所得到的關(guān)于x的信息量盗迟±ば埃互信息可正可負(fù)(但是自信息一定是正的)，所以就有了任何兩事件之間的互信息不可能大于其中任一事件的自信息罚缕。(畢竟I(x;y)=I(y;x)=I(x)-I(x|y)=I(y)-I(y|x), ?I(x|y)和I(y|x)皆大于0 ?)

　　如果x事件提供了關(guān)于另一事件y的負(fù)的信息量艇纺，說明x的出現(xiàn)不利于y的出現(xiàn)。

　　另一個(gè)角度邮弹，如果x和y統(tǒng)計(jì)獨(dú)立黔衡，即I(x|y)=I(y|x)=0. 則就會(huì)出現(xiàn)I(x;y) = I(x) ?這種情況！腌乡，這也說明了另一個(gè)問題盟劫，就是一個(gè)事件的自信息是任何其他事件所能提供的關(guān)于該事件的最大信息量。

信息熵：

含義：

1.在信源輸出后与纽，表示每個(gè)信源符號(hào)所提供的平均信息量侣签。

2.在信源輸出前，表示信源的平均不確定性急迂。

3.表示信源隨機(jī)性大小影所，H(x)大的，隨機(jī)性大

4.當(dāng)信源輸出后僚碎，不確定性解除猴娩，熵可視為解除信源不確定性所需的信息量。

信息熵的計(jì)算：

　　離散信源的熵等于所對(duì)應(yīng)的有根概率樹上的所有節(jié)點(diǎn)(包括根節(jié)點(diǎn)，不包括葉)的分支熵用該節(jié)點(diǎn)概率加權(quán)的和卷中，即H(x)=∑q(ui)H(ui) 式中q(ui)為節(jié)點(diǎn)ui的概率矛双，H(ui)為節(jié)點(diǎn)ui的分支熵。

?條件熵：

另外 ?【 H(1/2) = 2* -1*(1/2)log2(1/2) = 1 ? ?H(1/3)=3* -1*(1/3)log2(1/3) = log23 ≈1.585 bit/符號(hào)】

聯(lián)合熵：

另外【 H(1/3,1/3,1/3)=3* -1*(1/3) ??(1/3) = log23?≈1.585 bit/符號(hào) ?,H() ?的括號(hào)中如果只有一個(gè)分?jǐn)?shù)1/2仓坞，那么就代表是 H(1/2,1/2) ?畢竟2*1/2=1,同理H(1/3)代表 H(1/3,1/3,1/3)? 】

熵的基本性質(zhì)：

1.對(duì)稱性?2.非負(fù)性 3.拓展性 ?4.可加性?

?有以下表述：

5.極值性

離散最大熵定理：對(duì)于有限離散隨機(jī)變量集合背零，當(dāng)集合中的事件等概率發(fā)生時(shí)，熵達(dá)到最大值无埃。可由散度不等式證明：

即H(x)≤logn,僅當(dāng)P(x)等概率分布時(shí)等號(hào)成立毛雇。

6.確定性 ：當(dāng)隨機(jī)變量集合中任一事件概率為1時(shí)嫉称，熵就為0. ? ? ?換個(gè)形式來說，從總體來看灵疮，信源雖含有許多消息织阅，但只有一個(gè)消息幾乎必然出現(xiàn)，而其他消息幾乎都不出現(xiàn)震捣，那么荔棉，這是一個(gè)確知信源，從熵的不確定性概念來講蒿赢，確知信源的不確定性為0.

7上凸性：H(p)=H(p1,p2,p3,...,pn)是(p1,p2,p3,...,pn)的嚴(yán)格上凸函數(shù)润樱。

各類熵之間的關(guān)系：

1.條件熵與信息熵之間的關(guān)系

H(Y|X) ≤?H(Y) ??這說明了：在信息處理的過程中，條件越多羡棵，熵越小壹若。

2.聯(lián)合熵和信息熵的關(guān)系

H(X1X2...XN)≤∑i=1N?H(Xi) ?當(dāng)且僅當(dāng)Xi相互獨(dú)立時(shí)，等式成立皂冰。

熵函數(shù)的唯一性：

如果熵函數(shù)滿足：（1）是概率的連續(xù)函數(shù) ?（2）信源符號(hào)等概率時(shí)是n（信源符號(hào)數(shù)）的增函數(shù)（H(X)=log2n）店展； ?（3）可加性 ?（H(XY) = H(X) + H(Y|X) ?=H(Y) + H(X|Y)? ?）

那么，熵函數(shù)的表示是唯一的秃流，即只與定義公式相差一個(gè)常數(shù)因子赂蕴。