信息的表示
如何來(lái)確定信息的量級(jí)呢循未，我們可以考慮陷猫，如果一個(gè)情況，明天的天氣有50%概率下雨的妖，50%的概率晴天绣檬，那么該事件多少信息量呢。
bit
一個(gè)bit嫂粟，即要么為0娇未，要么為1，上述事件要么是下雨1星虹， 要么是晴天0零抬， 即我用1個(gè)bit就能表示該事件，進(jìn)一步來(lái)考慮一個(gè)問題宽涌，25%概率晴平夜，25%概率多云，25%概率陰卸亮，25%概率下雨忽妒，這個(gè)時(shí)候信息量是多少呢，利用編碼，我們可以把4中情況分別編碼成00段直， 01吃溅， 10， 11來(lái)做出鸯檬，那么平均信息量0.25 * 2+0.25 * 2+0.25 * 2+0.25 * 2 = 2
熵
什么是熵决侈，首先要看一下什么是信息，比如我有一枚硬幣喧务，已經(jīng)可以看到正面向上赖歌，那它就有一個(gè)bit的信息量，同樣的蹂楣，反面向上俏站，也是一個(gè)bit的信息量，但如果我拋起硬幣接住并且蓋住不讓你看痊土，那么這個(gè)時(shí)候?qū)τ谀阋拊矌畔蛏舷蛳率遣淮_定的，我們可以把這個(gè)不確定時(shí)間的信息量稱為熵赁酝。
那么這個(gè)時(shí)候的熵量是多少呢犯祠，其實(shí)類似上面的晴雨天例子，這時(shí)候的量就是0.51 + 0.51 = 1 bit的信息量酌呆，其中的0.5為相關(guān)概率衡载，1為事件總數(shù)的lg結(jié)果，因?yàn)橐粋€(gè)bit是2中可能性隙袁，所以我們可以推出信息熵的公式
其實(shí)就是P(x)*lg(1/P(x))的和的轉(zhuǎn)化痰娱。
交叉熵
舉個(gè)例子，第二天的天氣如下圖所示菩收，
其交叉熵就為3梨睁，但如果在一個(gè)經(jīng)常天氣晴朗的地方，如下圖所示
其信息熵計(jì)算則為2.23bit, 天氣預(yù)報(bào)臺(tái)用3bit給我們傳遞了2.23bit的信息娜饵，若想用更少的bit傳遞信息坡贺，可以像如下圖編碼
這樣的交叉熵為2.42bit。
如果短的信息編碼給了小概率事件箱舞，如下圖
則這樣的交叉熵計(jì)算為4.58bit
交叉熵的具體公式可以看成兩個(gè)事件遍坟，用假定事件的概率分布乘以真實(shí)分布的lg，如下圖
相對(duì)熵
有了信息熵和交叉熵的概念晴股，相對(duì)熵就很簡(jiǎn)單了愿伴，就是交叉熵的值減去信息熵的值，概念上也叫KL Divergence
