dt_cover.png
信息熵公式的推導(dǎo)
學(xué)過概率后,如果兩個事件 x 和 y 是獨(dú)立，這個應(yīng)該不難理解
首先我們已經(jīng)知道了信息熵和概率關(guān)系是成反比，也就是說概率越大信息熵越小四啰，這個應(yīng)該也不難理解宁玫，如果一個一定會發(fā)生事，例如太陽從東方升起柑晒，這個事件給我們帶來信息量非常小
dt_05.jpeg
我們知道函數(shù)模樣如下圖欧瘪，
是一個增函數(shù)
lnx
如果對函數(shù)添加負(fù)號就變成減函數(shù)，而且在 0 - 1 區(qū)間函數(shù)值符號我們要求就是在 1 時函數(shù)值為 0 而接近 0 時為無窮大
-lnx
然后我們進(jìn)步想象一下如果希望兩個事件的信息量也是可以做加減
而且 本質(zhì)還可將乘法變成加法匙赞，這符合我們對熵表達(dá)
| X | 0 | 1 |
|---|---|---|
| 概率 | 1 - p | p |
| 信息量 | -ln (1 - p) | -ln p |
| 期望 |
大家都知道信息熵很大事件并不是大概率事件佛掖，所有我們根據(jù)期望公式對 logP 求期望就得
信息熵的概念
上面離散情況下求信息熵
條件熵公式的推導(dǎo)
- 我們知道x 和 y 的熵，也知道 x 的熵
- 如果我們用 H(x,y) 減去 H(x) 的熵涌庭，那么就等價了 x 是確定性
- 也就是在已知 x 的條件下計算 y 的熵芥被，這就是條件熵的概念
在 x 給定掉件 y 的信息熵，(x,y) 發(fā)生所包含的熵坐榆，減去 X 單獨(dú)發(fā)生包含的熵:在 x 發(fā)生的前提下, y 發(fā)生新帶來的熵撕彤。
下面我們來推導(dǎo)一下條件熵
公式中可以寫出
把所有的 y 加起來,進(jìn)行積分去掉 y
那么我們利用學(xué)過概率就知道
上面推導(dǎo)的公式結(jié)果 要是能夠變成
形式我們看起來就會舒服多了。
我們將 替換為
可以理解為 x 給定值時候 H(y) 因此我們就可以寫成下面的公式
