? ? ? ? 在包括違約預(yù)測在內(nèi)的諸多場景中庸诱，越來越多的建模人員應(yīng)用集成模型取得了不錯(cuò)的成效闷堡。典型的集成方式包括bagging,boosting和stacking镀梭。
1.集成模型
把多種單一模型組合取來共同解決一個(gè)問題
必要性
- 能夠?yàn)轱L(fēng)控模型提供更為廣闊的發(fā)展空間
- 能夠?yàn)轱L(fēng)險(xiǎn)評(píng)估的準(zhǔn)確性虹茶、穩(wěn)健性最優(yōu)選擇問題給出答案
- 提高風(fēng)控模型的效率
image.png
理想情況下組合模型誤差分析
考慮二分類問題和真實(shí)函數(shù)
逝薪，假定元模型的錯(cuò)誤率為
，每個(gè)元模型
都有
写烤，如果使用簡單投票法翼闽，即超過半數(shù)的元模型的投票結(jié)果作為最后的結(jié)果，則有：
,在
從上式看出：
1.元模型的誤差越大感局，集成模型的誤差越小暂衡；
2.當(dāng)元模型的誤差小于0.5時(shí)询微，集成模型的元模型個(gè)數(shù)越多，集成模型效果越好狂巢。
根據(jù)元模型之間的種類關(guān)系可以把集成模型劃分為異態(tài)集成和同態(tài)集成撑毛；只用不同種類的分類、回歸算法建立單一模型并進(jìn)行集成唧领，成為異態(tài)集成藻雌；使用同一算法建立單一模型并集成，稱為同態(tài)集成斩个。
單一模型需要滿足以下基本要求： - 單一模型之間的數(shù)據(jù)或者假設(shè)要求基本相同
- 單一模型的分類錯(cuò)誤率要低于0.5
- 單一模型要保證相互獨(dú)立
- 單一模型的復(fù)雜度要適度
- 單一模型的數(shù)量要適度
2.Bagging
Bagging的代表是隨機(jī)森林模型胯杭，這種集成方式的步驟是：
隨機(jī)森林構(gòu)建步驟
? ? ? ? 在Bagging集成中，需要從原訓(xùn)練集中有放回地抽取數(shù)據(jù)形成新的訓(xùn)練集受啥，在此基礎(chǔ)上構(gòu)造元模型做个。假設(shè)原訓(xùn)練集有M個(gè)樣本，則每次需要從中有放回地抽取M次滚局。由于每次抽樣是隨機(jī)的居暖，因此每條數(shù)據(jù)被抽取到的概率為，每次沒有被抽取到的概率為藤肢，M次都沒有被抽取到的概率為太闺，由于，沒有被抽取到的數(shù)據(jù)組成的子集稱為袋外數(shù)據(jù)（out of bag,OOB）嘁圈，可以用作驗(yàn)證集跟束。此外莺奸，利用Bagging的方式集成模型，中間不同元模型的構(gòu)建可以并行完成冀宴。
3.Boosting
? ? ? ? Boosting是另一種常見的集成方式灭贷，其基本思想是，根據(jù)當(dāng)前得到的模型的錯(cuò)誤率（或者其他與損失相關(guān)的量略贮，例如損失函數(shù)）對(duì)樣本進(jìn)行調(diào)整甚疟，再構(gòu)建下一個(gè)模型，最終將所有模型的結(jié)果進(jìn)行加權(quán)逃延。由此可見览妖，與Bagging不同的是，Boosting中訓(xùn)練元模型是串行生成的揽祥。之前介紹的GBDT和XGBoost模型就是其中一類讽膏，此外根據(jù)代表性的Adaboost模型，其表達(dá)式為：
拄丰，其中
為若干個(gè)元模型,
為元模型權(quán)重,
為元模型的參數(shù)府树，
為所有參數(shù)集合。
基本思路
Adaboost基本思路
Adaboost訓(xùn)練步驟
權(quán)重求解1
權(quán)重求解2
4.Stacking
? ? ? ?
image.png
image.png
