1.? Bagging
①? Bagging又叫自助聚集,是一種根據(jù)均勻概率分布從數(shù)據(jù)中重復抽樣(有放回)的技術御雕。
②? 每個抽樣生成的自助樣本集上顿乒,訓練一個基分類器;對訓練過的分類器進行投票冤留,將測試樣本指派到得票最高的類中。
③? 每個自助樣本集都和原數(shù)據(jù)一樣大
④? 有放回抽樣树灶,一些樣本可能在同一訓練集中出現(xiàn)多次纤怒,一些可能被忽略。
2. ? boosting
Boosting算法的工作機制是首先從訓練集用初始權重訓練出一個弱學習器1天通,根據(jù)弱學習的學習誤差率表現(xiàn)來更新訓練樣本的權重泊窘,使得之前弱學習器1學習誤差率高的訓練樣本點的權重變高,使得這些誤差率高的點在后面的弱學習器2中得到更多的重視像寒。
3. ?? 實現(xiàn)對比
4. ?? 集成學習之結合策略:
平均法州既,算數(shù)平均或帶權重的平均
投票法,直接比最大票數(shù)萝映,加權投票
學習法吴叶,代表方法是stacking,就是加上一層學習器我們首先用初級學習器預測一次序臂,得到次級學習器的輸入樣本蚌卤,再用次級學習器預測一次,得到最終的預測結果奥秆。
5. ? 參考
https://www.cnblogs.com/pinard/p/6131423.html
https://blog.csdn.net/qq_30189255/article/details/51532442
https://www.cnblogs.com/royhoo/p/8941686.html