1. 一些信息論中的概念
1. 自信息
自信息（self-information）雹有，由香農(nóng)提出潭陪，是與離散隨機(jī)變量的值相關(guān)的信息量的量度旺遮，常用 bit 作為單位陨界。通俗點(diǎn)來(lái)說(shuō)就是一個(gè)隨機(jī)事件以某個(gè)概率發(fā)生時(shí)攜帶的信息量有多大∧髟可按照如下方式計(jì)算：
思考一下為什么是上面這個(gè)形式進(jìn)行計(jì)算送膳？首先可以考慮一個(gè)事件發(fā)生的概率越大意味著它越有可能發(fā)生，極端一點(diǎn)一個(gè)概率為 1 的事件丑蛤，那么它一定會(huì)發(fā)生，所以這類(lèi)事件是一個(gè)確定性事件沒(méi)什么新鮮的撕阎，也就是說(shuō)它沒(méi)什么信息量受裹。再考慮一個(gè)反向極端例子，一個(gè)概率為 0.000001 的事而發(fā)生了虏束，這在人們心中往往是一個(gè)不可能發(fā)生的事棉饶，現(xiàn)在卻發(fā)生了，為什么會(huì)這樣镇匀？怎么發(fā)生的照藻？人們心中一定會(huì)有各種疑問(wèn)，當(dāng)需要搞清楚這個(gè)小概率事件發(fā)生的原委時(shí)汗侵，人們也就從中獲取了巨大的信息量幸缕。所以信息量是隨著隨機(jī)事件發(fā)生概率單調(diào)遞減的群发，且非負(fù)。此時(shí)符合這個(gè)規(guī)律的候選函數(shù)還很多发乔，比如 log(x)熟妓，1/x
再考慮兩個(gè)不相關(guān)的隨機(jī)事件 X 和 Y，如果它們同時(shí)發(fā)生栏尚，那我們獲得的信息量有多少起愈？
不相關(guān)意味著任何一方出現(xiàn)都不會(huì)讓對(duì)方更容易發(fā)生，也就是說(shuō)不會(huì)影響對(duì)方的發(fā)生概率译仗，所以信息量之和為：
兩個(gè)不相關(guān)事件同時(shí)發(fā)生的概率為：
也就是說(shuō)
也就是說(shuō) 的函數(shù)具有性質(zhì)：
此時(shí)不難想到對(duì)數(shù)函數(shù)就有這個(gè)性質(zhì)吧抬虽，所以得出了前面定義中的自信息的計(jì)算式，以 2 為底是因?yàn)橐?bit 作為單位纵菌，也可以以 e 和 10 為底阐污，不過(guò)單位就不是 bit 了
2. 熵
熵（entropy），表示接收到的每條消息中包含信息的平均量产艾，又稱為平均自信息量疤剑。所以可以按照下式計(jì)算：
3. 交叉熵
交叉熵（cross entropy），主要用于度量?jī)蓚€(gè)概率分布間的差異性闷堡。具體的隘膘，有真實(shí)概率分布 ，用于擬合
的概率分布
杠览，用
來(lái)表示
中事件發(fā)生所需要的平均比特?cái)?shù)弯菊，越大表示這兩個(gè)分布之間差異性越大
4. KL 散度
KL 散度（kullback-leibler divergence），用于度量使用基于概率分布 來(lái)編碼服從概率分布
的樣本所需要的額外的平均比特?cái)?shù)踱阿，也就等于交叉熵減去熵
所以管钳，KL 散度和交叉熵之間數(shù)值上只差了真實(shí)分布的熵，對(duì)于深度學(xué)習(xí)的損失來(lái)說(shuō)软舌，二者其實(shí)沒(méi)有差別都可以用作損失函數(shù)才漆，因?yàn)檎鎸?shí)分布是未知的、確定的佛点，一個(gè)常量不影響優(yōu)化過(guò)程
5. 條件熵
條件熵（conditional entropy）醇滥，表示已知隨機(jī)變量 X 的條件下隨機(jī)變量 Y 的不確定性
和熵之間的關(guān)系為：
6.互信息
互信息（mutual information），度量了兩個(gè)變量之間相互依賴的程度超营。簡(jiǎn)單來(lái)說(shuō)就是現(xiàn)有兩個(gè)變量 X 和 Y鸳玩，在 Y 的條件下，X 的不確定性較少了多少
以上就是機(jī)器學(xué)習(xí)中一些常用的信息論概念及其之間的聯(lián)系
2. 極大似然估計(jì)與交叉熵
1. 極大似然估計(jì)
假設(shè)現(xiàn)在我們有一組通過(guò)某個(gè)未知分布采樣得到的樣本演闭，現(xiàn)在我們要尋找這個(gè)分布的參數(shù)不跟，那怎么的參數(shù)算是對(duì)原分布較好的擬合的參數(shù)呢？應(yīng)該是能夠使得當(dāng)前這組樣本出現(xiàn)概率最高的參數(shù)
舉個(gè)例子米碰，現(xiàn)有一枚硬幣窝革，連續(xù)拋一百次购城，共出現(xiàn)40次正面，60次反面聊闯，現(xiàn)在要我們估計(jì)這枚硬幣拋出正面的概率 工猜。
假設(shè) ，那么得到以上100次的結(jié)果的概率為
菱蔬，
假設(shè) 篷帅，那么得到以上100次的結(jié)果的概率為
，
假設(shè) 拴泌，那么得到以上100次的結(jié)果的概率為
所以在以上 3 個(gè)選擇中魏身，很合理地我們會(huì)認(rèn)為
下面進(jìn)行數(shù)學(xué)化描述：
假設(shè)有一組獨(dú)立同分布的樣本 來(lái)自參數(shù)總體
，密度函數(shù)為
蚪腐，那么這組樣本出現(xiàn)的概率為：
然后我們要最大化這個(gè)函數(shù)箭昵，其中 視為變量，
為給定的樣本（參數(shù)）回季，優(yōu)化中通常對(duì)累乘取對(duì)數(shù)：
得到優(yōu)化目標(biāo)后家制，我們就可以使用例如梯度下降法進(jìn)行優(yōu)化求解，得到一個(gè) 使得對(duì)數(shù)似然函數(shù)最大化：
2. 交叉熵
交叉熵衡量的是兩個(gè)分布之間的差異泡一，在這里颤殴，我們有不知道 真實(shí)值的原始分布，現(xiàn)在我們希望盡可能合理地估計(jì)
的值鼻忠，也就是估計(jì)分布
涵但，另外設(shè)
為每次實(shí)驗(yàn)出現(xiàn)的是正面還是反面，正面是 1帖蔓，反面是 0矮瘟，
表示每次實(shí)驗(yàn)出現(xiàn)正面的概率， 我們的目標(biāo)是希望估計(jì)分布和原始分布的差異盡可能小塑娇，那么根據(jù)交叉熵的計(jì)算表達(dá)式有：
以上澈侠，當(dāng) 表示當(dāng)前實(shí)驗(yàn)結(jié)果對(duì)應(yīng)的估計(jì)概率，
表示當(dāng)前的實(shí)驗(yàn)結(jié)果埋酬，取 1哨啃，所以上式可化為：
然后，最小化交叉熵就可以得到我們想要的參數(shù)奇瘦。可以看到和極大似然估計(jì)的目標(biāo)函數(shù)就相差了一個(gè)符號(hào)劲弦，當(dāng)極大似然估計(jì)加上一個(gè)符號(hào)耳标，也就變成了最小化負(fù)對(duì)數(shù)極大似然估計(jì)，和交叉熵也就一致了
3. 小結(jié)
極大似然估計(jì)和交叉熵的結(jié)果是一樣的邑跪，只是它們解決問(wèn)題的角度不一樣次坡，交叉熵從信息論的角度出發(fā)呼猪，極大似然估計(jì)從概率論的角度出發(fā)。
