姓名：孫賓
學(xué)號(hào)：17011210280
學(xué)院：通信工程學(xué)院
轉(zhuǎn)自：微信公眾號(hào)python 開發(fā)
【嵌牛導(dǎo)讀】本文介紹機(jī)器學(xué)習(xí)算法中關(guān)于隨機(jī)森林和決策樹的相關(guān)知識(shí)
【嵌牛鼻子】Random Forest，SVM
【嵌牛提問】隨機(jī)森林和決策樹相比垢油，有什么優(yōu)點(diǎn)
【嵌牛正文】
01 樹與森林
在構(gòu)建決策樹的時(shí)候臊恋，可以讓樹進(jìn)行完全生長怖侦，也可以通過參數(shù)控制樹的深度或者葉子節(jié)點(diǎn)的數(shù)量教藻，通常完全生長的樹會(huì)帶來過擬合問題距帅。過擬合一般由數(shù)據(jù)中的噪聲和離群點(diǎn)導(dǎo)致，一種解決過擬合的方法是進(jìn)行剪枝怖竭，去除樹的一些雜亂的枝葉锥债。
注：你可能需要參考前面的文章：《0x0B 菩提決策樹，姻緣算法求》
實(shí)際應(yīng)用中痊臭，一般可用隨機(jī)森林來代替哮肚，隨機(jī)森林在決策樹的基礎(chǔ)上，會(huì)有更好的表現(xiàn)广匙，尤其是防止過擬合允趟。
在機(jī)器學(xué)習(xí)算法中，有一類算法比較特別鸦致，叫組合算法(Ensemble)潮剪，即將多個(gè)基算法(Base)組合起來使用。每個(gè)基算法單獨(dú)預(yù)測分唾，最后的結(jié)論由全部基算法進(jìn)行投票（用于分類問題）或者求平均（包括加權(quán)平均抗碰，用于回歸問題）。
組合算法中绽乔，一類是Bagging（裝袋）弧蝇，另一類是Boosting（提升），隨機(jī)森林便是Bagging中的代表折砸。使用多顆樹進(jìn)行單獨(dú)預(yù)測看疗，最后的結(jié)論由這些樹預(yù)測結(jié)果的組合共同來決定，這也是“森林”名字的來源睦授。每個(gè)基分類器可以很弱两芳，但最后組合的結(jié)果通常能很強(qiáng)，這也類似于：“三個(gè)臭皮匠頂個(gè)諸葛亮”的思想去枷。
《統(tǒng)計(jì)學(xué)習(xí)方法》作者李航博士的文章：http://blog.sina.com.cn/s/blog_7ad48fee0102vb9c.html 有說明：“來自JMLR（Journal of Machine Learning Research怖辆，機(jī)器學(xué)習(xí)頂級(jí)期刊）雜志的文章，有人讓179種不同的分類學(xué)習(xí)算法在UCI 121個(gè)數(shù)據(jù)集上進(jìn)行了“大比武”（UCI是機(jī)器學(xué)習(xí)公用數(shù)據(jù)集删顶，每個(gè)數(shù)據(jù)集的規(guī)模都不大）竖螃。結(jié)果發(fā)現(xiàn)Random Forest（隨機(jī)森林）和SVM（支持向量機(jī)）名列第一、第二名翼闹，但兩者差異不大”斑鼻。英文的原文在這兒http://jmlr.org/papers/v15/delgado14a.html, 感興趣的可以參考。
上面文章?lián)Q一種理解猎荠，即為：掌握了隨機(jī)森林坚弱，基本上可以處理很多常見的機(jī)器學(xué)習(xí)問題蜀备。由此可見，組合算法在很多時(shí)候荒叶，其預(yù)測的性能都會(huì)優(yōu)于單獨(dú)的算法碾阁，這也正是隨機(jī)森林的魅力所在。
02 處處隨機(jī)
多個(gè)人組成的團(tuán)隊(duì)些楣，是不是一定就強(qiáng)于一個(gè)人呢脂凶？團(tuán)隊(duì)的產(chǎn)出并不能把每個(gè)人的力量相加，并非和“眾人拾柴火焰高”的道理一樣愁茁。要讓團(tuán)隊(duì)的總產(chǎn)出高于單個(gè)人的產(chǎn)出蚕钦，那必須是每個(gè)人都有其它人不具備的知識(shí)或者能力，如果大家都是完全相同的知識(shí)或者能力鹅很，在解決難題上并沒有幫助嘶居。假設(shè)對(duì)一個(gè)數(shù)據(jù)的預(yù)測，大家的結(jié)論都是1促煮，最后組合結(jié)論依然是1，沒有任何改變佑吝。對(duì)預(yù)測準(zhǔn)確率绳匀，沒有任何提升芋忿。
這也是“森林”前面還有“隨機(jī)”這個(gè)修飾詞的原因，隨機(jī)就是讓每個(gè)顆樹不一樣襟士，如果都一樣嚷量，組合后的效果不會(huì)有任何提升。假設(shè)每顆樹不一樣蝶溶，單獨(dú)預(yù)測錯(cuò)誤率大概都是40%(夠弱了吧嗜历，很多時(shí)候都會(huì)犯錯(cuò))，但三顆樹組合的后的錯(cuò)誤率就變成了35.2%（至少一半以上（兩顆樹）同時(shí)犯錯(cuò)結(jié)果才會(huì)犯錯(cuò)）抖所，其計(jì)算方法為：
3個(gè)全錯(cuò)(一種情況) + 2個(gè)錯(cuò)1個(gè)對(duì)(3種組合):
1 0.4^3 + 3 0.4^2 * (1-0.4)^1 = 0.352
因此，隨機(jī)森林算法中暴匠，“隨機(jī)”是其核心靈魂傻粘，“森林”只是一種簡單的組合方式而已帮掉。隨機(jī)森林在構(gòu)建每顆樹的時(shí)候窒典，為了保證各樹之間的獨(dú)立性，通常會(huì)采用兩到三層的隨機(jī)性涩搓。
從數(shù)據(jù)抽樣開始劈猪，每顆樹都隨機(jī)地在原有數(shù)據(jù)的基礎(chǔ)上進(jìn)行有放回的抽樣。假定訓(xùn)練數(shù)據(jù)有1萬條疾层，隨機(jī)抽取8千條數(shù)據(jù)贡避，因?yàn)槭怯蟹呕氐某闃樱赡茉瓟?shù)據(jù)中有500條被抽了兩次湖饱，即最后的8千條中有500條是重復(fù)的數(shù)據(jù)杀捻。每顆樹都進(jìn)行獨(dú)立的隨機(jī)抽樣，這樣保證了每顆樹學(xué)習(xí)到的數(shù)據(jù)側(cè)重點(diǎn)不一樣仅仆，保證了樹之間的獨(dú)立性垢袱。
抽取了數(shù)據(jù)，就可以開始構(gòu)建決策分支了咳榜，在每次決策分支時(shí)爽锥，也需要加入隨機(jī)性，假設(shè)數(shù)據(jù)有20個(gè)特征（屬性）臣樱，每次只隨機(jī)取其中的幾個(gè)來判斷決策條件。假設(shè)取4個(gè)屬性奢啥，從這4個(gè)特征中來決定當(dāng)前的決策條件嘴拢，即忽略其它的特征。取特征的個(gè)數(shù)赌结，通常不能太小孝冒，太小了使得單顆樹的精度太低，太大了樹之間的相關(guān)性會(huì)加強(qiáng)量承，獨(dú)立性會(huì)減弱穴店。通常取總特征的平方根，或者log2(特征數(shù))+1忧风，在scikit-learn的實(shí)現(xiàn)中球凰，支持sqrt與log2，而spark還支持onethird(1/3)缘厢。
在結(jié)點(diǎn)進(jìn)行分裂的時(shí)候，除了先隨機(jī)取固定個(gè)特征贴硫，然后選擇最好的分裂屬性這種方式捶闸，還有一種方式夜畴，就是在最好的幾個(gè)（依然可以指定sqrt與log2)分裂屬性中隨機(jī)選擇一個(gè)來進(jìn)行分裂删壮。scikit-learn中實(shí)現(xiàn)了兩種隨機(jī)森林算法兑牡，一種是RandomForest，另外一種是ExtraTrees，ExtraTrees就是用這種方式菱涤。在某些情況下，會(huì)比RandomForest精度略高粘秆。
總結(jié)起來，使用隨機(jī)性的三個(gè)地方：
隨機(jī)有放回的抽取數(shù)據(jù)攻走，數(shù)量可以和原數(shù)據(jù)相同此再，也可以略形袈А输拇；
隨機(jī)選取N個(gè)特征策吠，選擇最好的屬性進(jìn)行分裂；
在N個(gè)最好的分裂特征中别凹，隨機(jī)選擇一個(gè)進(jìn)行分裂洽糟；
因此，理解了這幾個(gè)地方的隨機(jī)性拍霜，以及隨機(jī)性是為了保證各個(gè)基算法模型之間的相互獨(dú)立薪介，從而提升組合后的精度汁政。當(dāng)然，還需要保證每個(gè)基分類算法不至于太弱勺鸦，至少要強(qiáng)于隨機(jī)猜測目木，即錯(cuò)誤率不能高于0.5。
03 sklearn與mllib
scikit-learn和spark中都實(shí)現(xiàn)了隨機(jī)森林军拟，但各自有些細(xì)小的區(qū)別。
在scikit-learn中肾档，同樣只是簡單幾行代碼即可：
# sklearn_rf.py
importpandasaspd
fromsklearn.ensembleimportRandomForestClassifier
df=pd.read_csv('sklearn_data.csv')
train,test=df.query("is_date != -1"),df.query("is_date == -1")
y_train,X_train=train['is_date'],train.drop(['is_date'],axis=1)
X_test=test.drop(['is_date'],axis=1)
model=RandomForestClassifier(n_estimators=50,
criterion='gini',
max_features="sqrt",
min_samples_leaf=1,
n_jobs=4,
)
model.fit(X_train,y_train)
printmodel.predict(X_test)
printzip(X_train.columns,model.feature_importances_)
調(diào)用RandomForestClassifier時(shí)的參數(shù)說明：
n_estimators：指定森林中樹的顆數(shù)阁最，越多越好骇两，只是不要超過內(nèi)存；
criterion：指定在分裂使用的決策算法配阵；
max_features：指定了在分裂時(shí)示血，隨機(jī)選取的特征數(shù)目，sqrt即為全部特征的平均根瘫拣；
min_samples_leaf：指定每顆決策樹完全生成告喊，即葉子只包含單一的樣本黔姜；
n_jobs：指定并行使用的進(jìn)程數(shù)；
從前面的隨機(jī)森林構(gòu)建過程來看淮椰，隨機(jī)森林的每顆樹之間是獨(dú)立構(gòu)建的纳寂，而且盡量往獨(dú)立的方向靠，不依賴其它樹的構(gòu)建忽媒，這一特點(diǎn)爷肝，在當(dāng)前的大數(shù)據(jù)環(huán)境下灯抛，尤其被人喜愛，因?yàn)樗懿⑿屑锌梗⑿凶菔⑿小?/p>
能完全并行的算法，一定會(huì)被人們追捧已脓，在資源夠的情況下通殃，可以同時(shí)并行構(gòu)建大量的決策樹画舌。scikit-learn雖然是單機(jī)版本，不能做分布式霹购，但也可以利用單機(jī)的多枋來并行朋腋。
spark中，更是能發(fā)揮分布式的特點(diǎn)了：
frompprintimportpprint
frompysparkimportSparkContext
frompyspark.mllib.treeimportRandomForest
frompyspark.mllib.regressionimportLabeledPoint
sc=SparkContext()
data=sc.textFile('spark_data.csv').map(lambdax:x.split(',')).map(lambdax:(float(x[0]),int(x[1]),int(x[2]),float(x[3]),int(x[4]),int(x[5])))
train=data.filter(lambdax:x[5]!=-1).map(lambdav:LabeledPoint(v[-1],v[:-1]))
test=data.filter(lambdax:x[5]==-1)#.map(lambda v: LabeledPoint(v[-1], v[:-1]))
model=RandomForest.trainClassifier(train,
numClasses=2,
numTrees=50,
categoricalFeaturesInfo={1:2,2:2,4:3},
impurity='gini',
maxDepth=5,
)
print'The predict is:',model.predict(test).collect()
print'The Decision tree is:',model.toDebugString()
和決策樹版本相比，唯一的變化轻专，就是將DecistionTree換成了RandomForest请垛，另外增加了一個(gè)指定樹顆數(shù)的參數(shù)：numTrees=50。
而和scikit-learn版本相比漫拭，spark中會(huì)通過categoricalFeaturesInfo={1:2, 2:2, 4:3}參數(shù)指定第5個(gè)屬性(工作屬性)具有3種不同的類別混稽，因此spark在劃分的時(shí)候，是按類別變量進(jìn)行處理礼旅。而scikit-learn中，依然當(dāng)成連續(xù)的變量處理菲嘴，所以在條件判斷的時(shí)候汰翠，才會(huì)有house
當(dāng)有多個(gè)最優(yōu)分割的時(shí)候芜茵，spark與scikit-learn在選擇上也有區(qū)別佛纫，spark會(huì)按屬性順序進(jìn)行選擇雳旅，而scikit-learn會(huì)隨機(jī)選擇一個(gè)。這也是導(dǎo)致scikit-learn在多次運(yùn)行中會(huì)輸出0和1的問題攒盈。
scikit-learn中型豁，還可以輸出參數(shù)重要性，這也是決策樹和隨機(jī)森林的優(yōu)點(diǎn)之一(目前pyspark還不支持輸入?yún)?shù)重要性)：
# scikit-learn中
printzip(X_train.columns,model.feature_importances_)
[(‘height’, 0.25), (‘house’,’car’, 0.0), (‘handsome’, 0.60), (‘job’, 0.0)]
04 特點(diǎn)與應(yīng)用
隨機(jī)森林基本上繼承決策樹的全部優(yōu)點(diǎn)充尉，只需做很少的數(shù)據(jù)準(zhǔn)備驼侠，其他算法往往需要數(shù)據(jù)歸一化谆吴。決策樹能處理連續(xù)變量，還能處理離散變量笋熬，當(dāng)然也能處理多分類問題腻菇，多分類問題依然還是二叉樹。決策樹就是if-else語句糖耸，區(qū)別只是哪些條件寫在if蔬捷，哪些寫在else榔袋，因此易于理解和解釋。
決策樹的可解釋性強(qiáng) 妥粟，你可以打印出整個(gè)樹出來吏够，從哪個(gè)因素開始決策锅知，一目了然。但隨機(jī)森林的可解釋性就不強(qiáng)了桩警。所謂可解釋性昌妹，就是當(dāng)你通過各種調(diào)參進(jìn)行訓(xùn)練飞崖，得出一個(gè)結(jié)論，你老大來問你蒜鸡，這個(gè)結(jié)論是怎么得出來的牢裳？你說是模型自己訓(xùn)練出來的贰健，老大又問了，比如舉一條具體的數(shù)據(jù)辜伟，你說一說得出結(jié)論的過程呢？因?yàn)殡S機(jī)森林引入了隨機(jī)取特征约巷，而且是由多顆樹共同決定旱捧，樹一旦多了枚赡，很難說清楚得出結(jié)論的具體過程。雖然可以打印每顆樹的結(jié)構(gòu)贪婉，但很難分析卢肃。
雖然不好解釋，但它解決了決策樹的過擬合問題尤蒿，使模型的穩(wěn)定性增加腰池，對(duì)噪聲更加魯棒军洼，從而使得整體預(yù)測精度得以提升。
因?yàn)殡S機(jī)森林能計(jì)算參數(shù)的重要性避乏，因此也可用于對(duì)數(shù)據(jù)的降維拍皮，只選取少量幾維重要的特征來近似表示原數(shù)據(jù)跑杭。同理德谅，在數(shù)據(jù)有眾多的特征時(shí)，也可以用于特征選擇愧驱，選擇關(guān)鍵的特征用于算法中。
隨機(jī)森林還有天生的并行性吻商，可以很好的處理大規(guī)模數(shù)據(jù)糟红，也可以很容易的在分布式環(huán)境中使用盆偿。
最后，在大數(shù)據(jù)環(huán)境下揍鸟，隨著森林中樹的增加句旱，最后生成的模型可能過大谈撒，因?yàn)槊款w樹都是完全生長匾南，存儲(chǔ)了用于決策的全部數(shù)據(jù)蛆楞，導(dǎo)致模型可能達(dá)到幾G甚至幾十G。如果用于在線的預(yù)測裆悄，光把模型加載到內(nèi)存就需要很長時(shí)間臂聋，因此比較適合離線處理孩等。
