提升算法有兩個問題需要回答:一是每一輪如何改變迅雷數(shù)據(jù)的權(quán)值和概率分布;二是如何將弱分類器組合成一個強(qiáng)分類器赃额。關(guān)于第一個問題谐算,AdaBoost的做法是,提高那些被前一輪弱分類器錯誤分類樣本的權(quán)值弊仪,而降低那些被正確分類樣本的權(quán)值熙卡。所以,沒有被正確分類的樣本數(shù)據(jù)励饵,在加大權(quán)值后收到后一輪弱分類器的更大關(guān)注再膳。關(guān)于第二個問題,AdaBoost采取加權(quán)多數(shù)表決的方法曲横。具體的喂柒,加大分類誤差率小的弱分類器的權(quán)值,使其在表決中起較大的作用禾嫉,減少分類誤差率大的弱分類器的權(quán)值灾杰,使其在表決中起到較小的作用。
AdaBoost算法描述如下:
這就是基本的算法描述熙参,接下來我們在舉個具體的例子來說明這個問題艳吠。例子來自于李航的140的AdaBoost的例子。
這個鏈接有詳細(xì)的說明孽椰,我就不在贅述了昭娩。
https://blog.csdn.net/tiandijun/article/details/48036025(說明一下凛篙,G3寫反了,樓主也說了)
每一個弱分類器我知道是啥栏渺,那基分類器咋用呢呛梆?參考這個鏈接
https://blog.csdn.net/px_528/article/details/72963977
然后,我用一張圖解釋為啥能分類正確磕诊。