1疗认、算法描述
ID3算法是以信息熵下降速度作為選取測試屬性的標準的,決策樹生成算法伏钠。
信息熵的下降速度用信息增益度來衡量其定義是:
定義1:若存在n個相同概率的消息横漏,則每個消息的概率p是1/n,一個消息傳遞的信息量為Log2(1/n)
定義2:若有n個消息熟掂,其給定概率分布為P=(p1,p2…pn)缎浇,則由該分布傳遞的信息量稱為P的熵,記為
?
參考文檔和完整的文檔和源碼下載地址:
1疗认、算法描述
ID3算法是以信息熵下降速度作為選取測試屬性的標準的,決策樹生成算法伏钠。
信息熵的下降速度用信息增益度來衡量其定義是:
定義1:若存在n個相同概率的消息横漏,則每個消息的概率p是1/n,一個消息傳遞的信息量為Log2(1/n)
定義2:若有n個消息熟掂,其給定概率分布為P=(p1,p2…pn)缎浇,則由該分布傳遞的信息量稱為P的熵,記為
?
參考文檔和完整的文檔和源碼下載地址: