關(guān)鍵詞：R語(yǔ)言 ；信用評(píng)分诲宇；數(shù)據(jù)挖掘际歼；機(jī)器學(xué)習(xí)
本身是數(shù)學(xué)，統(tǒng)計(jì)出生姑蓝，不想當(dāng)碼農(nóng)鹅心，于是覺(jué)得風(fēng)控是一個(gè)是挺適合我的職業(yè)。但是對(duì)相關(guān)知識(shí)纺荧，專業(yè)術(shù)語(yǔ)還是很缺乏旭愧，希望通過(guò)學(xué)習(xí)颅筋，對(duì)這個(gè)領(lǐng)域有一個(gè)全面的了解。
變量篩選
特征工程（對(duì)變量進(jìn)行初篩输枯，可用隨機(jī)森林议泵，xgboost）
- 過(guò)濾法：通過(guò)指標(biāo)，設(shè)定閾值篩選變量桃熄。比如方差選擇先口，相關(guān)系數(shù)，卡方值瞳收，信息值
- 封裝法：建立模型碉京，通過(guò)模型性能評(píng)估特征。遞歸特征消除法（recursive feature elimination）逐步回歸
- 基于懲罰項(xiàng)螟深，L1-lasso回歸谐宙，L2-嶺回歸（L1主要用于特征選擇，L2多用于解決共線性）
- 基于樹(shù)的特征選擇法（熵血崭，信息增益）
- 深度學(xué)習(xí)
缺失值處理與分析
缺失值處理步驟
數(shù)據(jù)情況：str卧惜，summary查看數(shù)據(jù)結(jié)構(gòu)。
sapply(data,function(x) sum(is.na(x)))計(jì)算數(shù)據(jù)缺失率：:
miss<-sapply(data,function(x(sum(is.na(x))/length(x)*100))
對(duì)數(shù)據(jù)的缺失比例進(jìn)行統(tǒng)計(jì)夹纫，超過(guò)一定比例就舍棄咽瓷。 相關(guān)的命令還有:complecase;any.na;查看各個(gè)列的數(shù)據(jù)類型：
sapply(names(data),function(x)class(data[,x))對(duì)于integer類型的數(shù)據(jù)，是否需要轉(zhuǎn)化為factor
判斷各個(gè)離散特征的分類數(shù)舰讹，分類不能小于5.
sapply(data,function(x)length(unique(x)))查看各個(gè)特征是否存在空值
實(shí)用VIM對(duì)缺失值進(jìn)行可視化：
library(VIM)
aggr_plot<-aggr()
- 缺失值填充：
手動(dòng)填充：數(shù)值填充為中位數(shù)茅姜，因子填充為眾數(shù)。
#把空白的填充為NA
dataset[dataset==""]<-NA
# 刪除全部是NA的列
dataset<- dataset[,which(apply(dataset,2,function(x)all(is.na(x))))
# 缺失值填充,連續(xù)填充為中位數(shù)月匣，離散填充為眾數(shù)
for(i in 1:ncol(dataset)){
if(class(dataset[1,i)%in%c('integer','numeric'))
dataset[,i][is.na(dataset[,i)]<- median(dataset[,i),na.rm=T
if(class(dataset[1,i)=='factor')
dataset[,i][is.na(dataset[,i)]<- as.factor(names(which.max(table(dataset[,i))))
# 查看缺失值
anyNA(dataset)
還可以用mice钻洒，caret包進(jìn)行缺失值處理。
另外還有預(yù)測(cè)差值
- caret的preProcess
- mice包蒙特卡洛模擬
- DMwR包眾的knnImputation
- missForest包
異常值分析以及處理（評(píng)分卡一般采用IV值來(lái)篩選變量）
http://youhaolin.blog.163.com/blog/static/224494120201422110628586/
- 單變量異常值檢測(cè)：boxplot.stats
- 使用LOF（局部異常因子）檢測(cè)異常值：DMwR和dprep包眾的lofactor
- 聚類分析檢測(cè)異常值：DBSCAN锄开，k-means
- lsolationForest
install.packages("devtools") devtools::install_github("Zelazny7/isofor")
數(shù)據(jù)集合的切分
caret包
- 生成訓(xùn)練測(cè)試集合createDataPArtition
- 有放回的抽樣（BoostStrap） createResample
- 基于交叉驗(yàn)證的樣本抽樣 createFolds
woe轉(zhuǎn)換
分箱算法（optimal binning）
- smbinning包
使用smbinning對(duì)連續(xù)變量進(jìn)行分箱素标，不能小于5個(gè)類別，對(duì)factor沒(méi)有限制萍悴。
- 預(yù)處理头遭，連續(xù)值
as.numeric，離散值as.factor - 要求y為數(shù)值型
手動(dòng)分箱
按分位數(shù)變量篩選
計(jì)算woe值：
klaR包癣诱；
information包IV值 klaR包
逐步回歸篩選：glmnet计维，bestglm，leaps撕予，step
推薦使用glmnet或者bestglm
變量小于20可用bestglm鲫惶，大于20時(shí)用glmnet，lasso較好共線性
相關(guān)系數(shù)：caret的findCorrelation实抡；cor();方差膨脹因子VIF
library(car)
vif(lm1,digits=3)
當(dāng)VIF小于10欠母，不存在共線性欢策。大于100存在高度共線性。
評(píng)分卡的創(chuàng)建與實(shí)施
- 使用logistic回歸:
glm_model=glm(y~.,data=data,family=binomial(link="logit"))
pred=predict(glm_model,newdata=data,type="respinse)
- 生成評(píng)分卡
模型評(píng)估
- ROC
x為FPR赏淌，y為T(mén)PR - k-s指標(biāo)
x為RPP猬腰，y為T(mén)PR-FPR
RPP=（TP+FP）／（FP+TP+FN+TN） - 洛倫茲圖
x為RPP，y為T(mén)PR - lift圖：
lift=PV／K 猜敢；
K=（TP+FN）／（FP+TP+FN+TN）
PV=TP／（TP+FP）
x軸為RPP，y軸為L(zhǎng)ift - gini系數(shù)
x為T(mén)NR盒延，y為FNR
GINI=2*AUC-1 - 群體穩(wěn)定性
PSI計(jì)算公式為：
sum（實(shí)際占比-預(yù)期占比）*ln（實(shí)際占比／預(yù)期占比）
PSI小于0.1穩(wěn)定性較好 - 特征穩(wěn)定性：CSI
決策點(diǎn) cut-off
- 好壞比（good／bad=odds）
- 核準(zhǔn)率（approval rate）
- 核準(zhǔn)件眾好客戶數(shù)
- 核準(zhǔn)件眾壞客戶數(shù)
評(píng)分卡監(jiān)控
https://valiancesolutions.com/credit-risk-scorecard-monitoring-traking/
- 前段監(jiān)控：
總體穩(wěn)定性：PSI小于0.1缩擂，穩(wěn)定
特征穩(wěn)定性：CSI>5認(rèn)為特征不穩(wěn)定 - 后端監(jiān)控
總體識(shí)別度：
K-S：41-75 越大越好
GINI：0.4-1.越大越好 - 特征識(shí)別度：IV值大于0.3就很不錯(cuò)了
4.資產(chǎn)質(zhì)量監(jiān)控
VIntage analysis
遷移率 Flow Rate
滾動(dòng)率 Roll Rate
