- bagging： 對訓(xùn)練樣本進(jìn)行自助采樣瘟裸，產(chǎn)生若干個不同的子集，再從每個數(shù)據(jù)子集中訓(xùn)練出一個基學(xué)習(xí)器，再將這些基學(xué)習(xí)器進(jìn)行結(jié)合严就。 Bagging主要降低方差，同時由于各輪學(xué)習(xí)器之間相互獨立器罐，因此可以并行運行
- Boosting：boosting是一族可將弱學(xué)習(xí)器提升至強(qiáng)學(xué)習(xí)器的算法梢为。先從初始訓(xùn)練集訓(xùn)練出一個基學(xué)習(xí)器，再根據(jù)基學(xué)習(xí)器的表現(xiàn)對訓(xùn)練樣本分布進(jìn)行調(diào)整，使得先前基學(xué)習(xí)器做錯的訓(xùn)練樣本在后續(xù)受到更多關(guān)注铸董，然后在基于調(diào)整后的樣本分布來訓(xùn)練下一個學(xué)習(xí)器祟印。如此重復(fù)進(jìn)行，直至基學(xué)習(xí)器數(shù)目達(dá)到事先指定的值T粟害，最后將這T個基學(xué)習(xí)器進(jìn)行加權(quán)結(jié)合蕴忆。Boosting主要降低偏差，每個弱學(xué)習(xí)器都有相應(yīng)的權(quán)重悲幅，學(xué)習(xí)誤差小的學(xué)習(xí)器有較大的權(quán)重套鹅。
這里結(jié)合《機(jī)器學(xué)習(xí)》對Adaboost進(jìn)行了詳細(xì)的推導(dǎo)
image-20200407231847075.png
image-20200407231928352.png
image-20200407232004595.png
也有另一種推到方式：
