歡迎關(guān)注我的專欄( つ??ω??)つ【人工智能通識】
【匯總】2019年4月專題
什么是條件熵葫笼？什么是信息增益？它的作用是什么河劝？
條件熵Conditional entropy
如前面文章所說的纸俭，人工智能通識-科普-什么是熵，熵是指系統(tǒng)的不確定性萌丈、隨機性赞哗，這種性質(zhì)是以系統(tǒng)輸出的數(shù)據(jù)結(jié)果進行表現(xiàn)的，如硬幣和骰子的統(tǒng)計數(shù)據(jù)辆雾，所以也可以看做數(shù)據(jù)的不確定性肪笋、隨機性。
系統(tǒng)信息熵的計算公式是：
但當(dāng)我們獲得更多消息的時候度迂，系統(tǒng)的不確定性就會減少藤乙。
比如說這個問題，明天會下雨嗎惭墓？假設(shè)我們有歷史上每天是否下雨的1000條記錄坛梁，其中100天下雨，900天不下腊凶，那么我們這個系統(tǒng)的信息熵可以計算：
但是划咐，假如我們知道明天是否陰天。因為陰天經(jīng)常會導(dǎo)致下雨钧萍，所以那么明天下雨的確定性就會上升褐缠，不確定性就會下降，熵就會減少风瘦。
這個就是條件熵送丰，即在某個條件下，數(shù)據(jù)變化的不確定性弛秋。
條件熵的計算
仍然以下雨為例器躏，比如上面1000天的數(shù)據(jù)中俐载，200天是陰天的，800天使不陰天的（晴天）登失，其中陰天情況下90天下雨遏佣，不陰天情況也有10天下雨（太陽雨 ?′ω`?）。
那么已知陰天情況下揽浙，共200天状婶，90天下雨，110天不下雨馅巷，是否下雨的條件熵是：
這個條件熵接近1膛虫，就是陰天且下雨的概率接近一半一半。
熵是1就是正反面一半一半钓猬，信息量是1比特就是可以消除50%的不確定性稍刀。
同樣的，已知明天不陰天（晴天）的情況下敞曹，共800天账月，790天不下雨，10天下雨澳迫，這個條件熵是：
這個條件熵很低局齿，確定性很高，晴天當(dāng)然可以幾乎確定是不下雨的橄登。
如果熵為0抓歼，則說明絕對的確定。
但上面只是分開計算了陰天=是和陰天=否的情況拢锹，我們還要把它們按照概率比例相加一起才算是整個陰天與否條件下是否下雨的條件熵：
近乎于1锭部，也就是說，如果我們知道明天是否陰天面褐，那么是否下雨也就基本確定了一半拌禾，這和200個陰天有90天下雨的感性認(rèn)知基本一致。
總結(jié)上面我們計算方法展哭，整體條件熵等于條件每個可能值的條件熵之概率加權(quán)和：
而每個可能值的條件熵湃窍，計算方法基本上和信息熵公式一致：
信息增益Information Gain
信息增益是指某個信息條件下，系統(tǒng)整體的熵減少了多少匪傍，也就是整體信息熵減去條件信息熵的結(jié)果您市。
信息增益有什么用？
我們知道役衡，世界上某個結(jié)果的出現(xiàn)往往是很多原因作用的結(jié)果茵休，比如下雨這個事情就可能受到氣溫、氣壓、溫度榕莺、濕度等等多種原因的影響俐芯。
但是，各種因素中哪一個因素對下雨影響最大钉鸯？哪一些影響比較邪墒贰？
如果我們也有1000天的氣溫唠雕、氣壓贸营、溫度、濕度數(shù)據(jù)岩睁，我們就可以計算出它們分別的條件熵钞脂，因為條件熵越大，那么就對結(jié)果的影響越大捕儒。
以上面的例子冰啃，是否陰天這個條件可以讓是否下雨的不確定性下降1.6899-0.9738=0.7161，這個作用是非常明顯的肋层，相當(dāng)于問你“明天有多大概率下雨？”和“明天如果陰天的話有多大概率下雨翎迁？”的差別栋猖。
下一篇我們將用更完整一些的案例來深化信息增益的計算方法和應(yīng)用價值。
歡迎關(guān)注我的專欄( つ??ω??)つ【人工智能通識】
每個人的智能新時代
如果您發(fā)現(xiàn)文章錯誤汪榔，請不吝留言指正蒲拉；
如果您覺得有用，請點喜歡痴腌；
如果您覺得很有用雌团，歡迎轉(zhuǎn)載~
END
