提升方法Adaboost算法
提升方法的基本思路
對于一個復雜的任務來說魁莉,多個專家給出判斷要比單個專家的判斷要好。換句話說就是“三個臭皮匠頂個諸葛亮”
對于分類問題稠项,提升方法就是從弱學習算法出發(fā)反復學習天揖,得到一系列弱分類器景埃,然后組合這些弱分類器,組成一個強分類器
提升方法需要明白的兩個問題
- 一是在每一輪如何改變訓練數(shù)據(jù)的權值或概率分布
回答: 提高那些前一輪弱分類器錯誤分類樣本的權值粱哼,降低那些正確分類樣本的權值季二,這樣錯誤分類的樣本會得到后一輪更大的關注。 - 二是如何將弱分類器組合成強分類器