寫在前面
Ensemble methods 組合模型的方式大致為四個(gè)：/bagging / boosting / voting / stacking 崎脉，此文主要簡單敘述 bagging算法。
算法主要特點(diǎn)
Bagging:
- 平行合奏：每個(gè)模型獨(dú)立構(gòu)建
- 旨在減少方差所禀，而不是偏差
- 適用于高方差低偏差模型（復(fù)雜模型）
- 基于樹的方法的示例是隨機(jī)森林肴颊，其開發(fā)完全生長的樹（注意空骚，RF修改生長的過程以減少樹之間的相關(guān)性）
接下來進(jìn)入主題
Bagging 算法：
WIKI百科：
Bagging算法 （英語：Bootstrap aggregating偷遗，引導(dǎo)聚集算法）粱年，又稱裝袋算法圈盔，是機(jī)器學(xué)習(xí)領(lǐng)域的一種團(tuán)體學(xué)習(xí)算法豹芯。最初由Leo Breiman于1994年提出。Bagging算法可與其他分類驱敲、回歸算法結(jié)合铁蹈，提高其準(zhǔn)確率、穩(wěn)定性的同時(shí)众眨，通過降低結(jié)果的方差握牧，避免過擬合的發(fā)生。
實(shí)現(xiàn)原理：
-
數(shù)學(xué)基礎(chǔ)
這里寫圖片描述 -
圖例描述
這里寫圖片描述 -
實(shí)現(xiàn)描述
在scikit-learn中娩梨，
參數(shù) max_samples 和 max_features 控制子集的大醒匮（在樣本和特征方面）
參數(shù) bootstrap 和 bootstrap_features 控制是否在有或沒有替換的情況下繪制樣本和特征。
- Bagging又叫自助聚集狈定，是一種根據(jù)均勻概率分布從數(shù)據(jù)中重復(fù)抽樣（有放回）的技術(shù)颂龙。
- 每個(gè)抽樣生成的自助樣本集上习蓬，訓(xùn)練一個(gè)基分類器；對(duì)訓(xùn)練過的分類器進(jìn)行投票措嵌，將測試樣本指派到得票最高的類中躲叼。
- 每個(gè)自助樣本集都和原數(shù)據(jù)一樣大
- 有放回抽樣，一些樣本可能在同一訓(xùn)練集中出現(xiàn)多次企巢，一些可能被忽略枫慷。
實(shí)例分析：
-
實(shí)例環(huán)境
sklearn + anconda + jupyter
-
實(shí)例步驟
- 數(shù)據(jù)：可以采用 datasets 的數(shù)據(jù)，在此作者使用的是自己整理的股票行情
- 訓(xùn)練浪规、測試數(shù)據(jù)歸一化
- 參數(shù)尋優(yōu)可以使用GridSearch蝙泼，在此不作贅述
參數(shù)描述：
[圖片上傳失敗...(image-2e684a-1518054828425)] 代碼實(shí)現(xiàn)
import time
import pandas as pd
from pandas import Series,DataFrame
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.model_selection import cross_val_score
from sklearn import preprocessing
from sklearn import datasets
iris = datasets.load_iris()
X,y = iris.data[:,1:3],iris.target
start = time.clock() # 計(jì)時(shí)
min_max_scaler = preprocessing.MinMaxScaler()
# 讀取訓(xùn)練數(shù)據(jù) 并數(shù)據(jù)規(guī)整化
raw_data = pd.read_csv('train_data.csv')
raw_datax = raw_data[:20000]
X1_scaled = min_max_scaler.fit_transform(raw_datax.ix[:,3:7])
y1 = raw_datax['Y1']
y1 = list(y1)
# 讀取測試數(shù)據(jù) 并數(shù)據(jù)規(guī)整化
raw_datat = pd.read_csv('test_data.csv')
raw_datatx = raw_datat[:10000]
X1t_scaled = min_max_scaler.fit_transform(raw_datatx.ix[:,3:7])
y1t = raw_datatx['Y1']
y1t = list(y1t)
print len(X1_scaled)
print len(X1t_scaled)
end = time.clock()
print '運(yùn)行時(shí)間:',end - start
clf = DecisionTreeClassifier().fit(X1_scaled,y1)
clfb = BaggingClassifier(base_estimator= DecisionTreeClassifier()
,max_samples=0.5,max_features=0.5).fit(X1_scaled,y1)
predict = clf.predict(X1t_scaled)
predictb = clfb.predict(X1t_scaled)
print clf.score(X1t_scaled,y1t)
print clfb.score(X1t_scaled,y1t)
# print Series(predict).value_counts()
# print Series(predictb).value_counts()
[圖片上傳失敗...(image-790f8-1518054828425)]
方法總結(jié)
- Bagging通過降低基分類器的方差似舵，改善了泛化誤差
- 其性能依賴于基分類器的穩(wěn)定性沥匈；如果基分類器不穩(wěn)定挠将，bagging有助于降低訓(xùn)練數(shù)據(jù)的隨機(jī)波動(dòng)導(dǎo)致的誤差；如果穩(wěn)定萌抵，則集成分類器的誤差主要由基分類器的偏倚引起
- 由于每個(gè)樣本被選中的概率相同，因此bagging并不側(cè)重于訓(xùn)練數(shù)據(jù)集中的任何特定實(shí)例
1.運(yùn)用注意點(diǎn)
2.優(yōu)化方向點(diǎn)
資料參考：http://blog.csdn.net/qq_30189255/article/details/51532442
