1 信息熵

信息熵代表的是隨機(jī)變量或整個(gè)系統(tǒng)的不確定性浩姥，熵越大挑随，隨機(jī)變量或系統(tǒng)的不確定性就越大。

1.1 舉例

題目1：爸爸拿來(lái)一個(gè)箱子勒叠，跟小明說(shuō)：里面有橙兜挨、紫、藍(lán)及青四種顏色的小球任意個(gè)眯分，各顏色小球的占比不清楚拌汇，現(xiàn)在我從中拿出一個(gè)小球，你猜我手中的小球是什么顏色颗搂？

小明思路：在這種情況下担猛，小明什么信息都不知道，只能認(rèn)為四種顏色的小球出現(xiàn)的概率是一樣的。所以傅联，根據(jù)策略1先改，1/4概率是橙色球，小明需要猜兩次蒸走，1/4是紫色球仇奶，小明需要猜兩次，其余的小球類似比驻，所以小明預(yù)期的猜球次數(shù)為：
H = 1/4 * 2 + 1/4 * 2 + 1/4 * 2 + 1/4 * 2 = 2

題目2：爸爸還是拿來(lái)一個(gè)箱子该溯，跟小明說(shuō)：箱子里面有小球任意個(gè)，但其中1/2是橙色球别惦，1/4是紫色球狈茉，1/8是藍(lán)色球及1/8是青色球。我從中拿出一個(gè)球掸掸，你猜我手中的球是什么顏色的氯庆？

小明思路：在這種情況下，小明知道了每種顏色小球的比例扰付，比如橙色占比二分之一堤撵，如果我猜橙色，很有可能第一次就猜中了羽莺。所以实昨，根據(jù)策略2，1/2的概率是橙色球盐固，小明需要猜一次荒给，1/4的概率是紫色球，小明需要猜兩次刁卜，1/8的概率是藍(lán)色球锐墙，小明需要猜三次，1/8的概率是青色球长酗，小明需要猜三次，所以小明預(yù)期的猜題次數(shù)為：
H = 1/2 * 1 + 1/4 * 2 + 1/8 * 3 + 1/8 * 3= 1.75

題目3：跟小明說(shuō)：里面的球都是橙色桐绒，現(xiàn)在我從中拿出一個(gè)夺脾，你猜我手中的球是什么顏色？

小明思路：肯定是橙色茉继，小明需要猜0次咧叭。

上面三個(gè)題目表現(xiàn)出這樣一種現(xiàn)象：針對(duì)特定概率為p的小球，需要猜球的次數(shù)為：

烁竭，例如題目2中菲茬，1/4是紫色球， log4(以2為底) = 2 次，1/8是藍(lán)色球婉弹， log8 = 3次睬魂。那么，針對(duì)整個(gè)整體镀赌，預(yù)期的猜題次數(shù)為：

上式就是信息熵氯哮，上面三個(gè)題目的預(yù)期猜球次數(shù)都是由這個(gè)公式計(jì)算而來(lái)，第一題的信息熵為2商佛，第二題的信息熵為1.75喉钢，最三題的信息熵為1 * log1 = 0 。

1.2 分析

上述例子中良姆，信息熵的概念應(yīng)該有所感受肠虽，也就是說(shuō)，一個(gè)系統(tǒng)所反饋回來(lái)的已知條件或有用信息越多玛追，則這個(gè)系統(tǒng)的信息熵越小税课，換句話說(shuō)，也就是題目已經(jīng)告訴你了很多限制豹缀，僅剩的消息挖掘?qū)е伦约喊l(fā)揮空間有限伯复，因此就可以稱之為信息熵小。
將系統(tǒng)中的諸多已知條件轉(zhuǎn)化為概率論的知識(shí)邢笙，也就是每個(gè)系統(tǒng)的概率分布不盡相同啸如，也稱之為該系統(tǒng)的真實(shí)分布。題目一中的真實(shí)分布為(1/4,1/4,1/4,1/4)氮惯，題目二為(1/2,1/4,1/8,1/8)叮雳，而信息熵的大小就代表了該題目（該系統(tǒng)）的不確定性大小，反之妇汗，為了消除系統(tǒng)的不確定性大小所承擔(dān)的最小代價(jià)也就是我們看到的信息熵的大小帘不。這種思想有點(diǎn)類似于啟發(fā)式的方法，尋找到一個(gè)最優(yōu)值并不斷去逼近它杨箭。

2 交叉熵

然而寞焙，有些時(shí)候，每個(gè)人并不能一眼就判斷出一個(gè)系統(tǒng)中的真實(shí)分布互婿，也就是沒(méi)有得到真實(shí)的信息熵捣郊，因此在消除系統(tǒng)不確定性的時(shí)候，就有可能走了彎路慈参，花費(fèi)了更大的代價(jià)呛牲。
例如題目二，小明若沒(méi)有分析正確爸爸給的先驗(yàn)條件驮配，而是認(rèn)為系統(tǒng)的真實(shí)分布為(1/4,1/4,1/4,1/4)娘扩，此時(shí)小明的猜中任何一種顏色的次數(shù)由1.75上升到2着茸。顯然，這樣的認(rèn)知或是這樣的真實(shí)分布是假的琐旁，那么這個(gè)時(shí)候涮阔，我們?cè)撊绾稳ズ饬肯淮_定性要花費(fèi)的最小成本呢？
下面有請(qǐng)交叉熵出場(chǎng)Ｐ拧澎语！

交叉熵用來(lái)衡量在給定的真實(shí)分布下，使用非真實(shí)分布所指定的策略消除系統(tǒng)的不確定性所需要付出的努力的大小验懊。

更官方一些：對(duì)一隨機(jī)事件擅羞，其真實(shí)概率分布為p(i)p(i)，從數(shù)據(jù)中得到的概率分布為q(i)q(i)义图，則我們定義减俏，交叉熵為：

其中p(i)表示為系統(tǒng)的真實(shí)分布也就是題目二的(1/2,1/4,1/8,1/8)，q(i)表示非真實(shí)分布,相當(dāng)于題目二的(1/4,1/4,1/4,1/4)碱工，那么將非真實(shí)分布用于計(jì)算題目二要花費(fèi)的代價(jià)就是交叉熵娃承，其值為：

計(jì)算結(jié)果可以看出，該值比真實(shí)值大怕篷，也就是代價(jià)變大历筝。

那么我們可以得到，最優(yōu)策略莫過(guò)于使用真實(shí)分布去消除系統(tǒng)不確定性廊谓，也就是交叉熵越低越好梳猪，盡量使得所使用的分布接近甚至等于真實(shí)分布，這個(gè)時(shí)候交叉熵=信息熵蒸痹。這也是為什么在機(jī)器學(xué)習(xí)中的分類算法中春弥，我們總是最小化交叉熵，因?yàn)榻徊骒卦降偷妥C明由算法所產(chǎn)生的策略最接近最優(yōu)策略匿沛，也間接證明我們算法所算出的非真實(shí)分布越接近真實(shí)分布。

3 相對(duì)熵

那么如何來(lái)衡量不同策略的差異呢榛鼎，也就是說(shuō)我們使用的分布與真實(shí)分布差距多大逃呼。
引入相對(duì)熵的概念：

用來(lái)衡量?jī)蓚€(gè)取值為正的函數(shù)或概率分布之間的差異或相似性，又叫KL散度(Kullback-Leibler Divergence)者娱，即：

從式子中很容易證明：
1蜘渣、當(dāng)真實(shí)分布=使用分布時(shí)，KL=0肺然，也就是此時(shí)策略最優(yōu)。
2腿准、KL越大际起，策略越差
3拾碌、相對(duì)熵=交叉熵-信息熵，即：

對(duì)于題目2街望，相對(duì)熵=2-1.75=0.25校翔。

4 總結(jié)

熵的概念經(jīng)常出現(xiàn)在機(jī)器學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)中，利用其針對(duì)具體問(wèn)題進(jìn)行代價(jià)函數(shù)的修改可以使得模型有更好的預(yù)測(cè)效果灾前。