先簡單了解信息論中信息量和信息熵的概念痪宰，再通過信息熵引出相對熵（KL散度）和交叉熵，并說明為什么交叉熵可以用于機(jī)器學(xué)習(xí)中分類任務(wù)的損失函數(shù)。
在信息論發(fā)明出來之前赃泡，人們是無法精確地用數(shù)值衡量一個(gè)事件包含的信息量的（如来农，小明這次考試得了100分包含多少信息鞋真？），即信息的量化沃于。信息論之父香農(nóng)提出量化一個(gè)事件包含的信息量可以基于這樣的想法：一個(gè)不太可能發(fā)生的事件發(fā)生了涩咖，要比一個(gè)非常可能發(fā)生的事件提供更多的信息（如繁莹，上面的例子檩互，如果小明之前經(jīng)常考試是100分咨演，那么這次考試得100的概率本來就很高闸昨，這是在我們的預(yù)料之內(nèi)的，所以沒有什么好驚訝的，也不需要有什么信息需要進(jìn)一步了解饵较；如果小明以前是個(gè)學(xué)渣拍嵌，每次考試都是0分，所以按照以前的統(tǒng)計(jì)經(jīng)驗(yàn)循诉，他得100分的概率幾乎為0横辆，那這次考試得了100分就不得了了，這里面一定包含很多未知的信息需要我們了解（調(diào)查）：小明抄襲了打洼？痛改前非奮發(fā)圖強(qiáng)了龄糊？還是吃了叮當(dāng)貓的記憶面包，一下子變成了天才募疮？等等）炫惩，這便可以得出事件發(fā)生概率和該事件包含信息量的量化關(guān)系：
這便是香農(nóng)信息量，又稱為自信息（self-information）,其代表一個(gè)事件所能夠提供信息的多少（公式中是底數(shù)為 2 的對數(shù)阿浓，信息量用比特（bit）衡量他嚷，那么信息的多少就是多少比特）。然而芭毙，自信息只能衡量單個(gè)事件的信息量筋蓖，而整個(gè)系統(tǒng)呈現(xiàn)的是一個(gè)分布（多個(gè)事件的集合），因此在信息論中退敦，使用信息熵來對整個(gè)系統(tǒng)事件集合包含的信息進(jìn)行量化粘咖，即對概率分布進(jìn)行量化，計(jì)算公式為：
其中侈百，N為x所有可能取值的數(shù)量瓮下，為x取值
時(shí)的概率。
從公式可以看出钝域，信息熵的本質(zhì)是香農(nóng)信息量log(1/p)的期望讽坏，即各個(gè)事件包含信息的加權(quán)平均。從信息論的角度來說例证，信息熵就是按照真實(shí)分布p來衡量識別一個(gè)樣本的所需要的編碼長度(上面提到信息量使用比特衡量路呜，此處的編碼長度就是一個(gè)數(shù)據(jù)（事件）至少需要多少個(gè)比特進(jìn)行編碼)的期望，即平均最小編碼長度织咧。?
為了引出相對熵（KL散度）和交叉熵胀葱，我們先使用一個(gè)例子：含有4個(gè)字母(A,B,C,D)的數(shù)據(jù)集中，真實(shí)分布P=(1/2,1/2,0,0)笙蒙，即A和B出現(xiàn)的概率均為1/2抵屿，C和D出現(xiàn)的概率都為0。計(jì)算H(p)為1(計(jì)算方法：）手趣，即只需要1位編碼即可編碼A和B。如果使用分布Q=(1/4, 1/4, 1/4, 1/4)來編碼則得到H(p,q)=2，即需要2位來編碼識別A和B(當(dāng)然還有C和D绿渣，盡管C和D并不會出現(xiàn)朝群，因?yàn)檎鎸?shí)分布P中C和D出現(xiàn)的概率為0，這里就指定概率為0的事件不會發(fā)生中符，即
)姜胖。(引申：其實(shí)從這里就可以解釋為什么霍夫曼編碼使用長短不一的編碼方式)。從這個(gè)例子可以看出根據(jù)非真實(shí)分布q得到的平均編碼長度H(p,q)（需要使用更多的載體存儲信息）大于根據(jù)真實(shí)分布p得到的平均編碼長度H(p)（最優(yōu)的存儲信息的方式）淀散。事實(shí)上右莱，根據(jù)Gibbs'inequality可知，H(p,q)>=H(p)恒成立档插，當(dāng)q為真實(shí)分布p時(shí)二者相等慢蜓。我們將由q得到的平均編碼長度與由p得到的平均編碼長度的差（額外多出的信息載體）稱為相對熵，也稱為KL散度：
上式中的的H(p,q)便是交叉熵郭膛，在信息論編碼中晨抡，它說明的是使用q分布對原分布為p的字符集進(jìn)行編碼所需要的平均編碼長度（信息量的期望）。
如果我們將p和q的概念從上面例子中字符的概率再引申擴(kuò)展下则剃，即：p為數(shù)據(jù)的真實(shí)概率分布耘柱，而q為機(jī)器學(xué)習(xí)算法預(yù)測數(shù)據(jù)的分布，那么KL散度便可以用來衡量兩個(gè)分布的差異棍现，可以將其作為機(jī)器學(xué)習(xí)的目標(biāo)函數(shù)调煎，通過訓(xùn)練盡量降低KL散度，就可以降低兩個(gè)分布的差異己肮，預(yù)測模型分布q就越接近真實(shí)分布p士袄。然而，由上面的公式可以看出朴肺，交叉熵只是比KL散度少了H(p)一項(xiàng)窖剑，由于在機(jī)器學(xué)習(xí)中H(p)是固定的（真實(shí)分布的信息熵），所以在優(yōu)化的時(shí)候我們只需要盡量降低H(p,q)的值（這便是交叉熵可以作為分類算法損失函數(shù)的原因）戈稿。所以西土，使用交叉熵作為算法的誤差函數(shù)即可。?
下面是單個(gè)樣本的**交叉熵?fù)p失**函數(shù)公式鞍盗，其中N為分類任務(wù)中的類別數(shù)量：
多個(gè)樣本（mini-batch）的平均交叉熵?fù)p失函數(shù)公式需了，M為樣本數(shù)量：
以上的公式中，通過sigmoid（二分類）函數(shù)或者softmax（多類別分類）計(jì)算得到般甲。
參考:
作者能力有限肋乍，不正確之處歡迎斧正。
