歡迎關(guān)注我的專欄( つ??ω??)つ【人工智能通識】
【匯總】2019年4月專題
信息量枢泰、信息熵、條件熵苹祟、信息增益的關(guān)系是怎樣的毅否？
信息熵與信息量
在信息熵和信息量中我們了解到信息熵表示的是系統(tǒng)的不確定性亚铁、隨機性，信息熵同樣也表現(xiàn)在系統(tǒng)輸出的數(shù)據(jù)統(tǒng)計中搀突，例如扔骰子系統(tǒng)的隨機性就表現(xiàn)在一次次點數(shù)的記錄數(shù)據(jù)中。
信息量是指某條消息（已知條件）所具有的消除系統(tǒng)不確定的能力熊泵。信息量的大小取決于兩個方面：系統(tǒng)原有信息熵的大小以及此條消息消除其不確定性的能力仰迁。
太陽東出西落這個事件非常確定，所以“太陽從東方升起”這個消息的信息量是零顽分；一個十面骰子和一個六面骰子徐许，同樣是“投出6點”這個信息，對于前者則是消除了其他9種可能卒蘸，后者消除5種可能雌隅，因此對于十面骰子這個系統(tǒng)來說此信息量更大翻默。
同樣“已知投出的點數(shù)大于6或小于等于6”這條信息，對于六面骰子系統(tǒng)來說恰起，它的信息量是0修械，因為這等于沒說；但而對于十二面骰子來說它的信息量則是1检盼，因為它可以直接把結(jié)果劃為均等概率的兩種情況之一肯污。
信息量計算公式
信息量和信息熵是如何計算的？可以參考信息熵和信息量的計算公式：
對于十面骰子來說吨枉，它的信息熵是:
而對于五面骰子來說蹦渣，它的信息熵是：
這其中的差值就是“十面骰子投出點數(shù)大于5或小于等于5”的信息量，同樣我們也可以直接計算這條信息的信息量：
如果我們把“已知投出的點數(shù)大于4或小于等于4”這個消息作為十面骰子的條件貌亭，那么這個條件所帶的信息量就是：
最大熵
我們看到0.97096小于1柬唯，也就是“已知投出的點數(shù)大于4或小于等于4”這個消息所攜帶的信息量要比“已知投出的點數(shù)大于5或小于等于5”的所攜帶的信息量要少。
所有可能具有均等概率的情況下圃庭，信息熵最大锄奢，叫做最大熵，所以切割成兩份的情況下55等分的信息熵最大冤议。
更多關(guān)于最大熵的內(nèi)容可以參考最大熵斟薇。
條件熵
條件熵是在某個條件變?yōu)榇_定的情況下系統(tǒng)仍然存在的不確定性即信息熵，這個不確定性H(Y|X)一定小于或等于條件變?yōu)橐阎暗男畔㈧厮∷幔驗樗扔谠瓉硐到y(tǒng)的熵減去被條件所消除的熵：
如果我們把“已知投出的點數(shù)大于4或小于等于4”這個消息看做一個條件堪滨，那么這個條件下，下一次點數(shù)的不確定性即系統(tǒng)的條件熵可以按照這樣計算：
可以看到條件熵2.351也正好是系統(tǒng)整體信息熵減去條件自身信息熵的結(jié)果蕊温，即：
也就是有：
信息增益
信息增益袱箱，是指這個條件下被消除的不確定性，即在系統(tǒng)信息熵與條件熵的差义矛，系統(tǒng)在條件變?yōu)橐阎闆r下前后信息熵的變化值发笔。
可以參考信息增益的內(nèi)容來理解。
在這里就是“已知投出的點數(shù)大于4或小于等于4”這條消息在十面骰子系統(tǒng)中的信息熵0.97096凉翻。
綜上了讨，信息增益（IG，Information Gain）可以是系統(tǒng)信息熵減去條件變?yōu)橐阎闆r下的系統(tǒng)信息熵：
另外信息增益也可以借助標(biāo)準(zhǔn)的信息熵公式單獨求出制轰，如上面直接求H(十面骰子大于4或小于等于4兩種可能)=0.97096的過程前计。
在指定系統(tǒng)內(nèi)，如果一個消息條件變?yōu)橐阎龋敲此芟牟淮_定性正好等于在此系統(tǒng)它自身中所包含的不確定性男杈，也等于這個條件已知前后系統(tǒng)不確定性的變化量，即信息量等于信息熵等于信息增益调俘。
同樣伶棒，對于“已知投出的點數(shù)大于6或小于等于6”這條信息在六面骰子系統(tǒng)中旺垒，它的信息量是：
在六面系統(tǒng)中這條消息的信息量是0，自身信息熵也是0肤无，對系統(tǒng)的不確定性沒有任何幫助先蒋。
注意這里，對于六面骰子舅锄，大于6這種條件是不可能發(fā)生的鞭达，而小于等于6這種條件是必然發(fā)生的，所以“已知投出的點數(shù)大于6或小于等于6”是等于什么也沒說皇忿。
歡迎關(guān)注我的專欄( つ??ω??)つ【人工智能通識】
每個人的智能新時代
如果您發(fā)現(xiàn)文章錯誤畴蹭，請不吝留言指正；
如果您覺得有用鳍烁，請點喜歡叨襟；
如果您覺得很有用，歡迎轉(zhuǎn)載~
END
