-
自信息
簡單來說鸵闪，自信息表述的是隨機(jī)變量的某個(gè)事件發(fā)生帶來的信息量（一個(gè)事件）
image-20200403221749825.png
-
信息熵
信息熵表述的是隨機(jī)變量所有事件發(fā)生產(chǎn)生的信息量的期望（所有時(shí)間）
使用更短的編碼來描述更可能的事件檐晕，使用更長的編碼來描述不太可能的事件“鏊希可以引出熵和最短編碼長度的關(guān)系：熵是傳輸一個(gè)隨機(jī)變量狀態(tài)所需的最短平均編碼長度辟灰。
image-20200403221954543.png
-
條件熵
image-20200403222333383.png條件熵?相當(dāng)于聯(lián)合熵?減去單獨(dú)的熵?，可以理解做：描述X本身所需的信息篡石，加上給定X條件下具體化Y所需要的額外信息
image-20200403222444993.png
-
相對(duì)熵芥喇，也稱KL散度
image-20200403222709737.png相對(duì)熵可以用來衡量兩個(gè)概率分布之間的差異
-
交叉熵
image-20200403222850066.png而使用非真實(shí)分布?來表示來自真實(shí)分布?樣本的平均編碼長度則為：
image-20200403222957092.png
image-20200403223049960.png-
以下也是我們?cè)跈C(jī)器學(xué)習(xí)中使用交叉熵作為損失函數(shù)的原因，由于真實(shí)分布是定值凰萨，因此最小化相對(duì)熵等價(jià)于最小化交叉熵继控，我們最小化交叉熵來使模型逼近真實(shí)分布
image-20200403223305349.png
-
- image-20200403223517907.png
