如何量化，用數(shù)學(xué)語(yǔ)言去表述信息（information）這個(gè)概念呜袁？這似乎是一個(gè)很難的問(wèn)題敌买，因?yàn)樾畔⑺母拍钐珡V了。人們從概率論角度出發(fā)阶界，找到了Entropy虹钮，其性質(zhì)和我們所理解的information具有很多相似之處”烊冢基于entropy芙粱，我們又找到了mutual information。MI用來(lái)評(píng)價(jià)一個(gè)隨機(jī)變量與另一個(gè)隨機(jī)變量的包含關(guān)系氧映。如果將entropy理解為一個(gè)隨機(jī)變量的self-information春畔，那么MI可以理解為relative entropy，形象的說(shuō)就是兩個(gè)概率分布之間的距離。
? ? self-information? ------>? entropy
mutual information ------> relative entropy
