香農信息公式：
1衣形、單調性。概率越大姿鸿，信息熵越小谆吴，概率越小，信息熵越大
2苛预、非負性句狼。信息熵大于0
3、可加性热某。幾個事件的同時發(fā)生的信息熵等于單個事件發(fā)生的信息熵之和腻菇。
信息熵：對信息的量化度量。用來描述信息的不確定度昔馋。
信息熵公式解釋：二進制下筹吐，對數底數是2，此時信息熵可以作為信息的度量秘遏，成為信息量骏令，單位是比特。
以下來自百度百科：
????????通常垄提，一個信源發(fā)送出什么符號是不確定的，衡量它可以根據其出現的概率來度量周拐。概率大铡俐，出現機會多，不確定性型姿凇审丘；反之就大。
????????不確定性函數f是概率P的單調遞降函數勾给；兩個獨立符號所產生的不確定性應等于各自不確定性之和滩报，即f（P1，P2）=f（P1）+f（P2）播急，這稱為可加性脓钾。同時滿足這兩個條件的函數f是對數函數，即
????????在信源中桩警，考慮的不是某一單個符號發(fā)生的不確定性可训，而是要考慮這個信源所有可能發(fā)生情況的平均不確定性。若信源符號有n種取值：U1…Ui…Un，對應概率為：P1…Pi…Pn握截，且各種符號的出現彼此獨立飞崖。這時，信源的平均不確定性應當為單個符號不確定性-logPi的統(tǒng)計平均值（E）谨胞，可稱為信息熵固歪，即
，式中對數一般取2為底胯努，單位為比特牢裳。但是，也可以取其它對數底康聂，采用其它相應的單位贰健，它們間可用換底公式換算。
????????最簡單的單符號信源僅取0和1兩個元素恬汁，即二元信源伶椿，其概率為P和Q=1-P，該信源的熵即為如圖1所示氓侧。
????????由圖可見脊另，離散信源的信息熵具有：①非負性，即收到一個信源符號所獲得的信息量應為正值约巷，H（U）≥0偎痛；②對稱性，即對稱于P=0．5（③確定性独郎，H（1踩麦，0）=0，即P=0或P=1已是確定狀態(tài)氓癌，所得信息量為零谓谦；④極值性，當P=0．5時贪婉，H（U）最大反粥；而且H（U）是P的上凸函數。
????????對連續(xù)信源疲迂，香農給出了形式上類似于離散信源的連續(xù)熵才顿，
????????????????????????????????????????????????????????????????????????????????????????????????圖1 二元信源的熵????
????????雖然連續(xù)熵HC（U）仍具有可加性，但不具有信息的非負性尤蒿，已不同于離散信源郑气。HC（U）不代表連續(xù)信源的信息量。連續(xù)信源取值無限优质，信息量是無限大竣贪，而HC（U）是一個有限的相對值军洼，又稱相對熵。但是演怎，在取兩熵的差值為互信息時匕争，它仍具有非負性。這與力學中勢能的定義相仿爷耀。
