序
熵的概念中有信息熵亮靴、信息增益、信息增益比落君、基尼指數滴须，這些統(tǒng)統(tǒng)作為決策樹分裂的依據，其中叽奥，我們需要知道信息熵與基尼指數的關系扔水。
信息熵與基尼指數的關系
-
首先看二者的定義：
將 f(x) = ?lnx 在 x = 1 處進行一階泰勒展開（忽略高階無窮小）：
因此朝氓，熵可近似轉化為：
基尼指數是信息熵中﹣logP 在P = 1處一階泰勒展開后的結果魔市！所以兩者都可以用來度量數據集的純度，用于描述決策樹節(jié)點的純度赵哲！
信息熵與基尼指數的關系
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門丑勤，熙熙樓的掌柜王于貴愁眉苦臉地迎上來华嘹，“玉大人，你說我怎么就攤上這事法竞“液瘢” “怎么了？”我有些...
- 文/不壞的土叔 我叫張陵岔霸，是天一觀的道長薛躬。 經常有香客問我，道長呆细，這世上最難降的妖魔是什么型宝？ 我笑而不...
- 正文 為了忘掉前任，我火速辦了婚禮侦鹏，結果婚禮上诡曙，老公的妹妹穿的比我還像新娘。我一直安慰自己略水，他們只是感情好苦酱，可當我...
- 文/花漫 我一把揭開白布托启。 她就那樣靜靜地躺著票堵，像睡著了一般抛计。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上跨释，一...
- 文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼贯要！你這毒婦竟也來了暖侨？” 一聲冷哼從身側響起，我...
- 正文 年R本政府宣布电禀，位于F島的核電站，受9級特大地震影響笤休，放射性物質發(fā)生泄漏尖飞。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一店雅、第九天 我趴在偏房一處隱蔽的房頂上張望政基。 院中可真熱鬧，春花似錦闹啦、人聲如沸沮明。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽荐健。三九已至，卻和暖如春琳袄，著一層夾襖步出監(jiān)牢的瞬間江场，已是汗流浹背。 一陣腳步聲響...
