隨機森林是在Bagging策略的基礎(chǔ)上進行修改后的一種算法。
- 隨機：數(shù)據(jù)采樣隨機，特征選擇隨機
- 森林：很多個決策樹并行放在一起
9.1 算法的基本原理
采取有放回的抽樣方式泊窘，構(gòu)造子數(shù)據(jù)集，保證不同子數(shù)據(jù)集之間的數(shù)量集一樣。
利用子數(shù)據(jù)集來構(gòu)建子決策樹谴蔑，每個子決策樹輸出一個結(jié)果豌骏。
統(tǒng)計子決策樹的投票結(jié)果，得到最終的分類隐锭，就是隨機森林的輸出結(jié)果窃躲。
具體的構(gòu)建過程如下：
- 從樣本中用 Bootstrap 采樣選出n個樣本
- 從所有屬性中隨機選擇K個屬性，選擇出最佳分割屬性作為節(jié)點創(chuàng)建決策樹
- 重復(fù)以上兩步m次
- 統(tǒng)計這m個子決策樹得出的結(jié)果钦睡，通過投票表決結(jié)果決定數(shù)據(jù)屬于哪一類蒂窒。
9.2 隨機森林的優(yōu)劣勢
優(yōu)勢：
- 它能夠處理很高維度的數(shù)據(jù)，并且不用做特征選擇
- 在訓(xùn)練完后荞怒，它能夠給出哪些特征比較重要
- 并行化處理洒琢，速度較快
- 可以進行可視化展示，便于分析
- 由于存在隨機抽樣褐桌，訓(xùn)練出來的模型方差小衰抑，泛化能力強
- 由于進行隨機選擇決策樹劃分特征列表，在樣本維度比較高時荧嵌，依然具有比較高的性能
- 對部分特征的缺失不敏感
劣勢： - 在某些噪音比較比較大的特征上呛踊，RF模型容易陷入過擬；
- 取值比較多的劃分特征對RF的決策會產(chǎn)生更大的影響啦撮，從而有可能影響模型的效果谭网。
9.3 sklearn調(diào)用及參數(shù)解釋
class sklearn.ensemble.RandomForestClassifier（
n_estimators=10, criterion='gini', max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
max_features='auto', max_leaf_nodes=None, min_impurity_decrease=0.0,
min_impurity_split=None, bootstrap=True, oob_score=False, n_jobs=1,
random_state=None, verbose=0, warm_start=False, class_weight=None)
因為隨機森林是很多個決策樹并行計算，所以隨機森林的很多參數(shù)與決策樹的類似赃春。
（1） 決策樹參數(shù)：
- criterion:"gini" or "entropy" (defaut = "gini")是計算屬性的gini(基尼不純度)還是entropy(信息增益)愉择，來選擇最合適的節(jié)點。
- splitter: ”best” or “random”(default=”best”)隨機選擇屬性還是選擇不純度最大的屬性聘鳞，建議用默認薄辅。
- max_features: 選擇最適屬性時劃分的特征不能超過此值。
當(dāng)為整數(shù)時抠璃，即最大特征數(shù)站楚；當(dāng)為小數(shù)時，訓(xùn)練集特征數(shù)*小數(shù)搏嗡；
if “auto”, then max_features=sqrt(n_features).
If “sqrt”, thenmax_features=sqrt(n_features).
If “l(fā)og2”, thenmax_features=log2(n_features).
If None, then max_features=n_features. - max_depth: (default=None)設(shè)置樹的最大深度窿春，默認為None，這樣建樹時采盒，會使每一個葉節(jié)點只有一個類別旧乞，或是達到min_samples_split。
- min_samples_split:根據(jù)屬性劃分節(jié)點時磅氨，每個劃分最少的樣本數(shù)尺栖。
- min_samples_leaf:葉子節(jié)點最少的樣本數(shù)。
- max_leaf_nodes: (default=None)葉子樹的最大樣本數(shù)烦租。
- min_weight_fraction_leaf: (default=0) 葉子節(jié)點所需要的最小權(quán)值
- verbose:(default=0) 是否顯示任務(wù)進程
（2）隨機森林特有的參數(shù) - n_estimators=10：決策樹的個數(shù)延赌，越多越好除盏，但是性能就會越差，至少100左右（具體數(shù)字忘記從哪里來的了）可以達到可接受的性能和誤差率挫以。
- bootstrap=True：是否有放回的采樣者蠕。
- oob_score=False：oob（out of band，帶外）數(shù)據(jù)掐松，即：在某次決策樹訓(xùn)練中沒有被bootstrap選中的數(shù)據(jù)踱侣。多單個模型的參數(shù)訓(xùn)練，我們知道可以用cross validation（cv）來進行大磺，但是特別消耗時間抡句，而且對于隨機森林這種情況也沒有大的必要，所以就用這個數(shù)據(jù)對決策樹模型進行驗證量没，算是一個簡單的交叉驗證玉转。性能消耗小，但是效果不錯殴蹄。
- n_jobs=1：并行job個數(shù)究抓。這個在ensemble算法中非常重要，尤其是bagging（而非boosting袭灯，因為boosting的每次迭代之間有影響刺下，所以很難進行并行化），因為可以并行從而提高性能稽荧。1=不并行橘茉；n：n個并行；-1：CPU有多少core姨丈，就啟動多少job畅卓。
- warm_start=False：熱啟動，決定是否使用上次調(diào)用該類的結(jié)果然后增加新的蟋恬。
- class_weight=None：各個label的權(quán)重翁潘。
參數(shù)解釋來自sklearn中隨機森林的參數(shù)
