序
集成學(xué)習(xí)大類中常見的有兩個子類：Bagging和Boosting晒屎。
本次記錄一下Bagging以及其代表模型RandomForest喘蟆。
Bagging思想
Bagging是并行式集成學(xué)習(xí)代表方法」穆常基于“自助采樣法”（bootstrap sampling）蕴轨。自助采樣法機制：給定包含m個樣本的數(shù)據(jù)集，我們先隨機取出一個樣本放入采樣集中骇吭，再把該樣本放回初始數(shù)據(jù)集橙弱，使得下一次采樣時該樣本還會被采到。這樣燥狰，經(jīng)過m次樣本采集棘脐，我們得到包含m個樣本的采樣集。采樣集中龙致，有的樣本出現(xiàn)過很多次蛀缝，有的沒有出現(xiàn)過。Bagging機制：我們采樣出T個含m個樣本的采樣集目代。然后基于每個采樣集訓(xùn)練出一個學(xué)習(xí)器屈梁，再將學(xué)習(xí)器進行結(jié)合。對分類任務(wù)使用投票法榛了，對回歸任務(wù)采用平均值法俘闯。
學(xué)習(xí)流程
1、給定一個包含m個樣本的訓(xùn)練集
2忽冻、隨機地拿一個樣本出來放入采樣集中，再將該樣本放回原始數(shù)據(jù)集中
3此疹、經(jīng)過m次隨機采樣僧诚，采樣集中出現(xiàn)了m個樣本，并且有放回地操作使得相同樣本會多次出現(xiàn)在采樣集中（也就是說隨機采樣的大小還是原始樣本集的大谢人椤）
4湖笨、上述流程重復(fù)T次，我們得到T個包含m個樣本的采樣集蹦骑，然后基于每個采樣集訓(xùn)練出一個基學(xué)習(xí)器慈省，再將基學(xué)習(xí)器結(jié)合。
預(yù)測方法
1）對于分類問題眠菇，采取簡單的投票法边败，如果某兩個類別的投票個數(shù)相同，那么就隨機取一個捎废。
2）對于回歸問題笑窜，使用簡單的平均法。
隨機森林
1 思想
在bagging的基礎(chǔ)上登疗，添加了隨機屬性選擇排截，傳統(tǒng)決策樹在選擇劃分屬性時是根據(jù)當(dāng)前節(jié)點的屬性集合中選一個最優(yōu)屬性嫌蚤，而在RF中，對基決策樹的每個節(jié)點断傲，先從該節(jié)點的屬性集合中隨機選一個包含k個屬性的子集脱吱，然后再從這個子集中選擇一個最優(yōu)屬性用于劃分。參數(shù)k控制了隨機性的引入程度，若令k=全體屬性個數(shù)，則基決策樹與傳統(tǒng)決策樹相同趟卸，一般來講训桶，推薦k=log2d，其中d是全部屬性個數(shù)语泽。
2 為何RF是有效的？
- 從統(tǒng)計層面來看：
學(xué)習(xí)任務(wù)的假設(shè)空間本身是很大的，可能有多個假設(shè)在訓(xùn)練集上達到同等性能床三，此時單學(xué)習(xí)器的泛化性能很弱，若使用學(xué)習(xí)器結(jié)合法杨幼，則能夠改善這一現(xiàn)象撇簿。 - 從計算方面來看：
學(xué)習(xí)算法往往會陷入局部極小，而局部極小值有時候反映的是泛化性能很差差购，而通過多次運行之后進行結(jié)合四瘫，則能夠降低陷入局部極小的風(fēng)險。 - 從表示方面來看：
某些學(xué)習(xí)任務(wù)的真實假設(shè)可能不在當(dāng)前學(xué)習(xí)算法多考慮的假設(shè)空間內(nèi)欲逃，此時若使用單學(xué)習(xí)器一定無效找蜜。
3 RF的預(yù)測結(jié)合策略
平均法
平均法分為完全平均和加權(quán)平均，加權(quán)平均的權(quán)重來自于基模型的權(quán)重稳析，這個權(quán)重由訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到洗做。
現(xiàn)實樣本中的噪聲點很多，這樣使得學(xué)習(xí)出的權(quán)重不完全可靠彰居，尤其是對于規(guī)模比較大的數(shù)據(jù)來說诚纸，要學(xué)習(xí)的權(quán)重比較多，容易過擬合陈惰。
因此畦徘，并不一定加權(quán)平均就一定優(yōu)于完全平均。一般而言抬闯，基學(xué)習(xí)器的差異較大時井辆，可以選擇加權(quán)，而基學(xué)習(xí)器相近時溶握，宜使用簡單平均掘剪。投票法
對分類任務(wù)來說：
1-絕對多數(shù)投票：若某標(biāo)記得票過半數(shù)，就接受奈虾。
2-相對多數(shù)投票：預(yù)測為得票最多的那個類別夺谁，若同時出現(xiàn)多個最多廉赔，則隨機選一個。
3-加權(quán)投票：由樣本學(xué)習(xí)到基學(xué)習(xí)器的權(quán)重匾鸥，然后對預(yù)測值進行加權(quán)蜡塌。
4 RF優(yōu)勢
1）一般情況下無需降維，算法本身就采取隨機抽樣降維
2）提供兩種處理缺失值的方法
3）可以輸出特征重要性
4）可以處理不均衡數(shù)據(jù)勿负，內(nèi)部原理是對高類別樣本使用下采樣馏艾，對于低類別樣本采用上采樣
5）容易并行化
6）Bagging中基學(xué)習(xí)器的“多樣性”通過樣本擾動（對初始訓(xùn)練集采樣）而獲得；隨機森林中基學(xué)習(xí)器的“多樣性”不僅來自于樣本擾動奴愉，而且還可以通過隨機屬性擾動來獲得琅摩。這使得隨機森立的泛化性能可通過個體學(xué)習(xí)器之間差異程度的增加而進一步提升。隨機森林的使其性能很差锭硼，但隨著學(xué)習(xí)器的增加房资，性能很快就會變好，且強于Bagging檀头。
轉(zhuǎn)載注明：http://www.reibang.com/p/f14481da685f
