今天復習了信息論與最大熵那一塊募强，信息熵作為一個信息的度量浪感，表示事件的不確定性更卒；人類在生產(chǎn)實踐的時候就是不斷地降低目標事件的不確定性少梁，通過先驗概率求后驗概率洛口，我們需要尋找降低不確定線性的最大信息熵，同時增加目標事件發(fā)生的確定性凯沪。
需要理解的概念有：
1.條件熵 ?? 2.互信息? 3. 相對熵 ? 4. 交叉熵
理解這一塊要好好復習概率分布那塊的知識第焰，對于后面的決策樹的學習有幫助。
《機器學習實戰(zhàn)》看到的關于機器學習的理解：
機器學習即把無序的數(shù)據(jù)轉(zhuǎn)換成有用的信息妨马。
