- 分類問題使用信息增益销部，信息增益率或者基尼系數(shù)；每個節(jié)點按少數(shù)服從多數(shù)定值
- 回歸問題使用均方誤差制跟；每個節(jié)點按均值定值舅桩；
- 葉子節(jié)點的熵的加權(quán)平均值必然小于父節(jié)點，證明信息是越來越明確雨膨；
- 葉節(jié)點的加權(quán)平均熵最小的特征優(yōu)先使用擂涛；
- 特征是連續(xù)時，隨機取若干值聊记，選取最優(yōu)值劃分撒妈；
- 基尼系數(shù)可以當成是熵的一階泰勒展開，或是方差的加和排监；
- 隨機森林可以不考慮特征間的耦合關(guān)系狰右；
- 隨機森林可以進行特征重要都排序；
- 使用iForest可以檢測異常值舆床，一般異常值會很快到達節(jié)點棋蚌，樹比較淺，綜合多顆樹挨队，即可找到異常值谷暮；
- 隨機森林與決策樹可以預(yù)測多輸出值；
- 回歸問題使用MSE盛垦，因為連續(xù)值很難切分湿弦；
- 回歸時，任意取值使得葉節(jié)點的加權(quán)MSE值最小腾夯，則為最佳劃分省撑；
- 重要度排序赌蔑，gini系數(shù)變化性取值的，隨機更改誤差變化最快的為最重要的
- 決策樹也可以給出概率竟秫，它代表訓(xùn)練集該類別的比例
決策樹與隨機森林
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來如输，“玉大人鼓黔，你說我怎么就攤上這事〔患” “怎么了澳化？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長稳吮。 經(jīng)常有香客問我缎谷，道長，這世上最難降的妖魔是什么灶似？ 我笑而不...
- 正文 為了忘掉前任列林，我火速辦了婚禮，結(jié)果婚禮上酪惭，老公的妹妹穿的比我還像新娘希痴。我一直安慰自己，他們只是感情好撞蚕，可當我...
- 文/花漫 我一把揭開白布润梯。 她就那樣靜靜地躺著，像睡著了一般甥厦。 火紅的嫁衣襯著肌膚如雪纺铭。 梳的紋絲不亂的頭發(fā)上，一...
- 文/蒼蘭香墨 我猛地睜開眼锥累，長吁一口氣：“原來是場噩夢啊……” “哼缘挑！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起桶略，我...
- 正文 年R本政府宣布，位于F島的核電站用押，受9級特大地震影響肢簿，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蜻拨，卻給世界環(huán)境...
- 文/蒙蒙 一池充、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缎讼，春花似錦收夸、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至夹纫，卻和暖如春咽瓷，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背舰讹。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 轉(zhuǎn)自小象學(xué)院 我的學(xué)習(xí)筆記 1. 復(fù)習(xí)信息熵：熵称诗，聯(lián)合熵、條件熵头遭、互信息 2. 決策樹學(xué)習(xí)算法：信息增益 | ID...
- 香農(nóng)熵 變量的不確定性越大粪狼，熵也就越大，把它搞清楚所需要的信息量也就越大任岸。例如，在一個數(shù)據(jù)集dataset中狡刘，da...
- 轉(zhuǎn)自小象學(xué)院 鄒博 學(xué)習(xí)筆記 Bootstraping 是一種有放回的抽樣方法 Bagging的策略 bootst...
