[機(jī)器學(xué)習(xí)入門] 李宏毅機(jī)器學(xué)習(xí)筆記-35（Ensemble；集成方法）
| VIDEO |
|---|
上接part 1
Ensemble
Ensemble Boosting
AdaBoost
Algorithm for AdaBoost
上面
空白處為+1或-1戈稿，由下式?jīng)Q定西土。
于是：
我們要把這些classifier通通aggregate集合起來，怎么集合呢鞍盗？
對 smaller error ,larger weight 的通俗理解就是需了，如果這個 f 本來就比較真確，那么最后算集合時投票權(quán)自然就大一點般甲。
For example：
T=3, weak classifier = decision stump
ε1：error rate
d1：讓example weight增加或減少的weight
α1：f1的weight肋乍，=ln(d1)
改變training data 的distribution，讓 f1 廢掉（紅圈是分錯的敷存，乘以d1墓造，其他除以d1），然后train f2锚烦。
與上一步同理觅闽。
最后把三個classifier合起來。
合起來后平面被分成六塊涮俄，每一塊都有自己的decision蛉拙。
接下來要證明一句話：
warning of math
AdaBoost 有一個神奇的現(xiàn)象，左圖禽拔，當(dāng)classifer越來越多刘离，training data 的error rate 很快變成0，但奇怪的是 test data 的error rate 依然會下降睹栖。右圖硫惕，后來有人分析margin，classifer的增多會把margin往右推野来。
For example：
Adaboost + Decision Tree (depth = 5)
General Formulation of Boosting
Adaboost是一個特例恼除。
