熵
又稱自信息,描述一個隨機變量的不確定性的數(shù)量岖瑰。
聯(lián)合熵
一對隨機變量平均所需要的信息量叛买。
條件熵
給定隨機變量X的條件下,隨機變量Y的條件熵蹋订。
互信息
知道了Y的值以后X的不確定性的減少量率挣。
相對熵
又稱KL距離,衡量相同事件空間里兩個概率分布相對差距的測度露戒。
交叉熵
衡量估計模型與真實概率分布之間差異情況椒功。
困惑度
代替交叉熵衡量語言模型的好壞。
又稱自信息,描述一個隨機變量的不確定性的數(shù)量岖瑰。
一對隨機變量平均所需要的信息量叛买。
給定隨機變量X的條件下,隨機變量Y的條件熵蹋订。
知道了Y的值以后X的不確定性的減少量率挣。
又稱KL距離,衡量相同事件空間里兩個概率分布相對差距的測度露戒。
衡量估計模型與真實概率分布之間差異情況椒功。
代替交叉熵衡量語言模型的好壞。