6. Random Forest 隨機(jī)森林

Random forests,又叫random decision forests,它是一個(gè)包含多個(gè)決策樹(shù)的分類(lèi)器魔招,并且其輸出的類(lèi)別是由個(gè)別樹(shù)輸出的類(lèi)別的眾數(shù)而定辰晕。

上世紀(jì)八十年代Breiman等人發(fā)明分類(lèi)樹(shù)的算法(Breiman et al. 1984),通過(guò)反復(fù)二分?jǐn)?shù)據(jù)進(jìn)行分類(lèi)或回歸明郭,計(jì)算量大大降低。2001年Breiman把分類(lèi)樹(shù)組合成隨機(jī)森林(Breiman 2001a)澈蟆,即在變量(列)的使用和數(shù)據(jù)(行)的使用上進(jìn)行隨機(jī)化趟径,生成很多分類(lèi)樹(shù)瘪吏,再匯總分類(lèi)樹(shù)的結(jié)果。

1. 算法:

它根據(jù)下列算法而建造每棵樹(shù)蜗巧,具有雙重隨機(jī):

-用N來(lái)表示訓(xùn)練用例(樣本)的個(gè)數(shù)掌眠,M表示特征數(shù)目。

-輸入特征數(shù)目m幕屹,用于確定決策樹(shù)上一個(gè)節(jié)點(diǎn)的決策結(jié)果蓝丙;其中m應(yīng)遠(yuǎn)小于M。

-從N個(gè)訓(xùn)練用例(樣本)中以有放回抽樣的方式望拖,取樣N次渺尘,形成一個(gè)訓(xùn)練集(即bootstrap取樣),并用未抽到的用例(樣本)作預(yù)測(cè)说敏,評(píng)估其誤差鸥跟。

-對(duì)于每一個(gè)節(jié)點(diǎn),隨機(jī)選擇m個(gè)特征盔沫,決策樹(shù)上每個(gè)節(jié)點(diǎn)的決定都是基于這些特征確定的医咨。根據(jù)這m個(gè)特征,計(jì)算其最佳的分裂方式架诞。

-每棵樹(shù)都會(huì)完整成長(zhǎng)而不會(huì)剪枝(Pruning拟淮,這有可能在建完一棵正常樹(shù)狀分類(lèi)器后會(huì)被采用)。

2. 隨機(jī)森林的優(yōu)點(diǎn):

a. 在數(shù)據(jù)集上表現(xiàn)良好谴忧,兩個(gè)隨機(jī)性的引入很泊,使得隨機(jī)森林不容易陷入過(guò)擬合

b. 在當(dāng)前的很多數(shù)據(jù)集上,相對(duì)其他算法有著很大的優(yōu)勢(shì)沾谓,兩個(gè)隨機(jī)性的引入委造,使得隨機(jī)森林具有很好的抗噪聲能力

c. 它能夠處理很高維度(feature很多)的數(shù)據(jù),并且不用做特征選擇搏屑,對(duì)數(shù)據(jù)集的適應(yīng)能力強(qiáng):既能處理離散型數(shù)據(jù)争涌,也能處理連續(xù)型數(shù)據(jù),數(shù)據(jù)集無(wú)需規(guī)范化

d. 可生成一個(gè)Proximities=(pij)矩陣辣恋,用于度量樣本之間的相似性: pij=aij/N, aij表示樣本i和j出現(xiàn)在隨機(jī)森林中同一個(gè)葉子結(jié)點(diǎn)的次數(shù)亮垫,N隨機(jī)森林中樹(shù)的顆數(shù)

e. 在創(chuàng)建隨機(jī)森林的時(shí)候,對(duì)generlization error使用的是無(wú)偏估計(jì)

f. 訓(xùn)練速度快伟骨,可以得到變量重要性排序(兩種:基于OOB誤分率的增加量和基于分裂時(shí)的GINI下降量

g. 在訓(xùn)練過(guò)程中饮潦,能夠檢測(cè)到feature間的互相影響

h. 容易做成并行化方法

i. 實(shí)現(xiàn)比較簡(jiǎn)單

參考來(lái)源:

1. http://www.zilhua.com/629.html

2. https://en.wikipedia.org/wiki/Random_forest

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市携狭,隨后出現(xiàn)的幾起案子继蜡,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件稀并,死亡現(xiàn)場(chǎng)離奇詭異仅颇,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)碘举,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)忘瓦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人引颈,你說(shuō)我怎么就攤上這事耕皮。” “怎么了蝙场?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵凌停,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我售滤,道長(zhǎng)罚拟,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任完箩,我火速辦了婚禮舟舒,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘嗜憔。我一直安慰自己,他們只是感情好氏仗,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布吉捶。 她就那樣靜靜地躺著,像睡著了一般皆尔。 火紅的嫁衣襯著肌膚如雪呐舔。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,682評(píng)論 1 312
  • 那天慷蠕,我揣著相機(jī)與錄音珊拼,去河邊找鬼。 笑死流炕,一個(gè)胖子當(dāng)著我的面吹牛澎现,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播每辟,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼剑辫,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了渠欺?” 一聲冷哼從身側(cè)響起妹蔽,我...
    開(kāi)封第一講書(shū)人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后胳岂,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體编整,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年乳丰,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了掌测。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡成艘,死狀恐怖赏半,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情淆两,我是刑警寧澤断箫,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站秋冰,受9級(jí)特大地震影響仲义,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜剑勾,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一埃撵、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧虽另,春花似錦暂刘、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至族展,卻和暖如春森缠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背仪缸。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工贵涵, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人恰画。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓宾茂,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親锣尉。 傳聞我的和親對(duì)象是個(gè)殘疾皇子刻炒,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容