? ? ? ? 以下以申請(qǐng)?jiān)u分卡(A卡)建模為例秘车，描述模型開(kāi)發(fā)的基本流程：
1.數(shù)據(jù)準(zhǔn)備：定義目標(biāo)變量载城，整合樣本特征；劃分?jǐn)?shù)據(jù)集：訓(xùn)練集、驗(yàn)證集與測(cè)試集，由于金融業(yè)務(wù)中的樣本的積累周期比較長(zhǎng)，因此測(cè)試集有必要?jiǎng)澐譃閮煞N檩电，一種為訓(xùn)練集時(shí)間跨度內(nèi)拄丰，一種為訓(xùn)練集時(shí)間跨度之外府树，用時(shí)間外的測(cè)試集驗(yàn)證模型特征的穩(wěn)定性。
2.探索性數(shù)據(jù)分析：統(tǒng)計(jì)每個(gè)特征取值的分布料按；統(tǒng)計(jì)每個(gè)特征的覆蓋率奄侠，去掉覆蓋率較低的特征；處理樣本的異常值和缺失值载矿。
3.數(shù)據(jù)預(yù)處理：根據(jù)經(jīng)驗(yàn)對(duì)特征作預(yù)篩選垄潮，篩除于目標(biāo)變量無(wú)關(guān)的特征；特征分箱闷盔；WOE轉(zhuǎn)換弯洗。
4.特征選擇：計(jì)算IV值，特征選擇逢勾。
5.模型開(kāi)發(fā)：常用邏輯回歸模型進(jìn)行擬合牡整。
6.模型評(píng)估：模型常見(jiàn)的評(píng)估指標(biāo)有AUC,ROC,KS,Gani-chat,Lift-chat，特征穩(wěn)定性的評(píng)估指標(biāo)psi溺拱。
7.生成評(píng)分卡逃贝。
流程示意圖如下所示：
1.數(shù)據(jù)準(zhǔn)備
? ? ? ? 不同的評(píng)分模型需要的數(shù)據(jù)是不同的谣辞，在建模之前需要對(duì)對(duì)要解決的問(wèn)題建立明確的數(shù)學(xué)定義。
1.排除一些特定的建模用戶
? ? ? ? 用于建模的用戶必須是日常審批中接觸到的用戶沐扳，不能是異常情況泥从，比如欺詐等。
2.明確用戶的屬性
? ? ? ? 用戶的基本屬性沪摄，比如學(xué)歷躯嫉、年齡、收入情況等杨拐；征信機(jī)構(gòu)的數(shù)據(jù)和其他外部數(shù)據(jù)和敬，比如芝麻分。
3.目標(biāo)變量的確立
? ? ? ? 評(píng)分模型是利用歷史的數(shù)據(jù)預(yù)測(cè)未來(lái)的行為戏阅，需要明確定義正負(fù)樣本的標(biāo)簽昼弟。不能出現(xiàn)歧義，重疊等奕筐。
4.劃分?jǐn)?shù)據(jù)集
? ? ? ? 通常訓(xùn)練模型需要?jiǎng)澐钟?xùn)練集舱痘、驗(yàn)證集與測(cè)試集。信貸業(yè)務(wù)中樣本成熟的經(jīng)歷的時(shí)間比較長(zhǎng)离赫，因此測(cè)試集需要時(shí)間內(nèi)和時(shí)間外的數(shù)據(jù)芭逝，時(shí)間內(nèi)外是相對(duì)訓(xùn)練集的時(shí)間跨度而言，避免經(jīng)過(guò)一段時(shí)間后特征波動(dòng)或失效的發(fā)生渊胸。
2.探索性數(shù)據(jù)分析(EDA,Exploratory Data Analysis)
EDA的實(shí)施主要包括：
1.描述性統(tǒng)計(jì)
? ? ? ? 描述性統(tǒng)計(jì)是用一些統(tǒng)計(jì)量來(lái)對(duì)變量分析旬盯，如：平均值，標(biāo)準(zhǔn)差翎猛，最小值胖翰，最大值等。
2.統(tǒng)計(jì)每個(gè)變量值的分布切厘、特征覆蓋率及檢驗(yàn)正態(tài)分布
? ? ? ? 通常使用直方圖繪制變量不同取值的樣本分布萨咳，以及變量在樣本中的覆蓋率，篩除樣本中有值特別少的變量疫稿。
3.極值的識(shí)別與處理
? ? ? ? 每個(gè)變量需要設(shè)定一個(gè)正常的取值范圍培他。對(duì)數(shù)量較少的超出正常范圍的極端值作替換處理，若極端值的數(shù)量超過(guò)10%,則說(shuō)明數(shù)據(jù)的生成機(jī)制不止一個(gè)遗座。
4.缺失值的處理
4.1缺失值機(jī)制
- 完全隨機(jī)缺失(missing completely at random,MCAR)
缺失數(shù)據(jù)與該變量真實(shí)值無(wú)關(guān)舀凛，與其他變量的數(shù)值也無(wú)關(guān)。舉例：一位老師丟失幾張學(xué)生試卷途蒋，導(dǎo)致幾位學(xué)生沒(méi)有成績(jī)猛遍。成績(jī)的缺失與成績(jī)本身變量無(wú)關(guān)，也與性別無(wú)關(guān)，是完全隨機(jī)的螃壤。 - 隨機(jī)缺失（MAR）:缺失變量與其他變量有關(guān)抗果。舉例：統(tǒng)計(jì)學(xué)生信息時(shí)，體重缺失奸晴，一般來(lái)說(shuō)冤馏，女生的體重缺失，與性別有關(guān)寄啼。
- 非隨機(jī)缺失（NNAR）:缺失數(shù)量與該變量本身有關(guān)逮光。舉例：統(tǒng)計(jì)收入數(shù)據(jù)時(shí)，一般缺失的是收入過(guò)高或過(guò)低墩划。
- 完全變量：數(shù)據(jù)集中不含缺失值的變量涕刚。
- 不完全變量：數(shù)據(jù)集中含有缺失值的變量。
? ? ? ? 1,對(duì)缺失特別多的變量直接剔除乙帮；2,利用統(tǒng)計(jì)值替換杜漠，比如平均值，對(duì)離散變量察净，取同類樣本中取值最多的特征值驾茴。
3.數(shù)據(jù)預(yù)處理
1.特征初篩
? ? ? ? 根據(jù)業(yè)務(wù)經(jīng)驗(yàn)預(yù)先篩除掉與目標(biāo)變量無(wú)關(guān)的變量。
2.特征分箱
1)對(duì)于連續(xù)變量可以使用等頻分箱氢卡、等距分箱锈至、卡方分箱與最優(yōu)分箱；
2)對(duì)于離散變量译秦，可以卡方分箱峡捡，對(duì)離散變量取值合并分箱。
3.特征編碼
1)特征分箱離散化后可計(jì)算每個(gè)bin的woe值筑悴，形成每個(gè)bin的woe編碼
2)one-hot編碼
3)dummy編碼们拙，與one-hot編碼類似
4.特征選擇
1.計(jì)算IV值與psi值
? ? ? ? IV(Information Value):信息價(jià)值。IV可以用來(lái)衡量自變量的預(yù)測(cè)能力雷猪；WOE(Weight of Evidence,證據(jù)權(quán)重)和IV使用來(lái)衡量變量的預(yù)測(cè)能力睛竣，值越大晰房，表示此變量的預(yù)測(cè)能力越強(qiáng)求摇。PSI可以用來(lái)衡量特征的穩(wěn)定性。
? ? ? ? 在訓(xùn)練模型時(shí)殊者，挑選特征是一個(gè)比較復(fù)雜的過(guò)程与境，要考慮的因素有很多，比如猖吴，變量的預(yù)測(cè)能力摔刁，變量之間的相關(guān)性，變量的簡(jiǎn)單性(容易生成和使用)海蔽，變量的強(qiáng)壯性(不容易被繞過(guò))共屈，變量在業(yè)務(wù)中的可解釋性绑谣。其中變量的預(yù)測(cè)能力可以通過(guò)IV值衡量。IV的計(jì)算是以WOE為基礎(chǔ)的拗引。
(1).WOE
? ? ? ? 要對(duì)一個(gè)變量進(jìn)行WOE編碼借宵，必須對(duì)變量離散化(分箱)，分箱后矾削，第i組的woe值得計(jì)算公式為:
其中壤玫，為這個(gè)組中響應(yīng)客戶(風(fēng)險(xiǎn)模型中為違約客戶，正樣本)的哼凯，占總體正樣本的比例欲间，
為負(fù)樣本所占比例，
為該分組中正樣本數(shù)量断部，
為該組負(fù)樣本數(shù)量猎贴，
代表總體樣本中的正負(fù)樣本數(shù)量，WOE實(shí)際代表該分組中的正負(fù)樣本比例的差異蝴光，值越大嘱能，差異越大，該分組越能區(qū)分正負(fù)樣本虱疏。第i組的IV 值為:
整個(gè)變量的IV值為(n個(gè)分組值得嘉和)：
| 特征信息值(IV) | 預(yù)測(cè)能力 |
|---|---|
| <0.03 | 無(wú)預(yù)測(cè)能力 |
| 0.03~0.09 | 低 |
| 0.1~0.29 | 中 |
| 0.3~0.49 | 高 |
| 0.5~ | 極高 |
2.特征篩選
選擇IV值高惹骂，PSI值低，覆蓋率高的特征入模做瞪。
5.模型開(kāi)發(fā)
1.模型擬合
常用lr邏輯回歸模型進(jìn)行分類对粪。
2.step-wise模型優(yōu)化
根據(jù)p值篩選模型變量，原假設(shè)(變量不重要装蓬，與目標(biāo)變量無(wú)光)著拭，在此假設(shè)基礎(chǔ)上計(jì)算chi-square,若chi-square值大，則p值小牍帚，p值<0.01說(shuō)明變量很重要儡遮。
6.模型評(píng)估
? ? ? ? 模型擬合之后，需要評(píng)估模型的好壞暗赶。好的模型一般要有以下三個(gè)基本要求：
1.精確性鄙币。模型在預(yù)測(cè)時(shí)，要有一定的精確性蹂随；2.穩(wěn)健性十嘿。模型必須對(duì)從總體樣本中抽取的所有樣本都有效；3.有意義
以下介紹幾個(gè)常用的評(píng)價(jià)指標(biāo)：
1.混淆矩陣
2.KS曲線
3.AUC曲線
4.ROC指標(biāo)
5.Gini系數(shù)
6.Lift-chart提升圖
7.生成評(píng)分卡
? ? ? ? 一個(gè)事件發(fā)生的幾率（Odds）岳锁，是指該事件發(fā)生的概率與該事件不發(fā)生概率的比值绩衷。若一個(gè)客戶違約概率為p，則其正常的概率為1-p，由此可得：
此時(shí)咳燕，客戶違約的概率p可以表示為:
評(píng)分卡表達(dá)式為：
其中A勿决、B為常數(shù)。由于log函數(shù)在(0→+∞)單調(diào)遞增招盲，所以當(dāng)用戶違約幾率Odds越大時(shí)剥险，Score評(píng)分越低。通過(guò)給定 :
（1）某特定Odds時(shí)的Score值S0宪肖；
（2）該特定Odds值翻倍時(shí)Score增加值PD0;
通過(guò)給定值S0與PD0帶入評(píng)分卡表達(dá)式表制，可求得A、B控乾。
(未完待續(xù)么介。。蜕衡。)
