信用評(píng)分卡主要有三種（A卡牌捷、B卡、C卡）：
- A卡：申請(qǐng)?jiān)u分卡涡驮，側(cè)重貸前暗甥，在客戶獲取期，建立信用風(fēng)險(xiǎn)評(píng)分捉捅，預(yù)測(cè)客戶帶來(lái)違約風(fēng)險(xiǎn)的概率大谐贩馈；
- B卡：行為評(píng)分卡棒口，側(cè)重貸中寄月，在客戶申請(qǐng)?zhí)幚砥冢⑸暾?qǐng)風(fēng)險(xiǎn)評(píng)分模型无牵，預(yù)測(cè)客戶開戶后一定時(shí)期內(nèi)違約拖欠的風(fēng)險(xiǎn)概率漾肮，有效排除了信用不良客戶和非目標(biāo)客戶的申請(qǐng)；
- C卡：催收評(píng)分卡茎毁，側(cè)重貸后克懊，在帳戶管理期，建立催收評(píng)分模型充岛，對(duì)逾期帳戶預(yù)測(cè)催收策略反應(yīng)的概率保檐，從而采取相應(yīng)的催收措施。
簡(jiǎn)單來(lái)講崔梗，評(píng)分卡用分?jǐn)?shù)來(lái)預(yù)測(cè)客戶的好壞夜只。當(dāng)一個(gè)評(píng)分卡已經(jīng)構(gòu)建完成，并且有一組個(gè)人分?jǐn)?shù)和其對(duì)應(yīng)的好壞狀態(tài)的數(shù)據(jù)時(shí)蒜魄，我們想知道所構(gòu)建的評(píng)分卡是否可靠扔亥？可靠程度如何？而這取決于如何去定義這個(gè)“好”字谈为。一般有三種角度可以來(lái)評(píng)估：
- 評(píng)分卡分類劃分的準(zhǔn)確程度旅挤，如錯(cuò)誤率、準(zhǔn)確率伞鲫、召回率粘茄、F1
- 評(píng)分卡的判別能力，評(píng)估評(píng)分卡將好人和壞人分離開的程度，如KS統(tǒng)計(jì)量柒瓣、ROC曲線儒搭、GINI系數(shù)
- 評(píng)分卡概率預(yù)測(cè)的校準(zhǔn)精度
令s是分類學(xué)習(xí)器預(yù)測(cè)的結(jié)果，可以是好人壞人這樣的類別芙贫，也可以是一個(gè)概率值搂鲫，大于多少才進(jìn)一步判定為壞人，還可以是一個(gè)信用評(píng)分磺平，大于多少才進(jìn)一步判定為好人魂仍。至于是哪種跟我們選用的模型有關(guān)，不過(guò)目前邏輯回歸和隨機(jī)森林等都支持輸出概率值或者信用評(píng)分拣挪。
從測(cè)度論的角度來(lái)看擦酌，模型評(píng)估的是預(yù)測(cè)變量和實(shí)際變量之間的相似度或距離。在這塊有很多的指標(biāo)媒吗，有統(tǒng)計(jì)檢驗(yàn)的仑氛，有信息論的，也有概率論的闸英，每個(gè)指標(biāo)都有其優(yōu)劣和適用場(chǎng)景锯岖。
因?yàn)槭欠诸惼鳎詫?shí)際分類變量比較簡(jiǎn)單甫何，肯定是因子型的離散變量出吹，在評(píng)分卡中其分布就是pG 和pB。而預(yù)測(cè)變量的類型就不確定辙喂，不過(guò)沒(méi)關(guān)系捶牢，我們統(tǒng)一考慮它的密度函數(shù)f(s)和分布函數(shù)F(s)。
當(dāng)預(yù)測(cè)變量的閾值選好后巍耗，即每一個(gè)樣本都被預(yù)測(cè)了秋麸，這時(shí)候預(yù)測(cè)變量也變成了與實(shí)際類別變量相同的離散變量，則預(yù)測(cè)類別變量和實(shí)際類別變量的混淆矩陣為：
| 實(shí)際壞人 | 實(shí)際好人 | |
|---|---|---|
| 預(yù)測(cè)壞人 | TP（真正例） | FP（假反例） |
| 預(yù)測(cè)好人 | FN（假正例） | TN（真反例） |
要注意的是炬太，此時(shí)預(yù)測(cè)變量雖然是離散的灸蟆，但我們?nèi)匀豢梢杂酶怕蕘?lái)表示混淆矩陣。設(shè)樣本數(shù)為N亲族，f(s|G)和f(s|B)分別為好人和壞人的條件密度函數(shù)炒考，nG和nB分別表示總體中好人和壞人的數(shù)量，則上述的混淆矩陣可以表示為：
| 實(shí)際壞人 | 實(shí)際好人 | |
|---|---|---|
| 預(yù)測(cè)壞人 | p(s ∈ 壞人|B) nB | p(s ∈ 壞人|G) nG |
| 預(yù)測(cè)好人 | p(s ∈ 好人|B) nB | p(s ∈ 好人|G) nG |
| 總體 | nB | nG |
接下來(lái)我們就可以定義和分析各種距離/指標(biāo)啦霎迫。
1斋枢、分類學(xué)習(xí)器的性能度量
性能度量反映了任務(wù)需求，在對(duì)比不同的模型能力時(shí)知给，使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果瓤帚；這意味者模型的“好壞”是相對(duì)的，什么樣的模型是好的，不僅取決于算法和數(shù)據(jù)缘滥，還決定于任務(wù)需求轰胁。
在預(yù)測(cè)任務(wù)中谒主，給定樣例集
1.1 準(zhǔn)確率懂缕、召回率與F1
假定農(nóng)夫拉來(lái)一車西瓜允跑，我們用訓(xùn)練好的模型對(duì)這些西瓜進(jìn)行判別，顯然搪柑，錯(cuò)誤率衡量了有多少比例的瓜被判別錯(cuò)誤聋丝。但是若我們關(guān)心的是“挑出的西瓜中有多少比例是好瓜”，或者“所有好瓜中有多少比例被挑了出來(lái)”工碾，那么錯(cuò)誤率顯然就不夠用了弱睦。
對(duì)于二分類問(wèn)題，可將樣本根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測(cè)類別的組合劃分為真正例（true positive）渊额、假正例（false positive）况木、真反例（true negative）、假反例（false negative）四種情形旬迹。分類結(jié)果的“混淆矩陣”如下表所示：
| 預(yù)測(cè)正例 | 預(yù)測(cè)反例 | |
|---|---|---|
| 實(shí)際正例 | TP（真正例） | FN（假反例） |
| 實(shí)際反例 | FP（假正例） | TN（真反例） |
我們將準(zhǔn)確率(查準(zhǔn)率) 與 召回率(查全率)分別定義如下：
準(zhǔn)確率和召回率是一對(duì)矛盾的度量火惊。在垃圾郵件分類模型中，我們更加看重準(zhǔn)確率奔垦，因?yàn)轭A(yù)測(cè)為垃圾郵件的實(shí)例中要盡可能少的出現(xiàn)正常郵件屹耐。而在生產(chǎn)線的次品判定模型中，我們更看重召回率宴倍，因?yàn)轭A(yù)測(cè)是正品的實(shí)例中要盡可能少的出現(xiàn)次品（這樣需要召回的商品就少）张症。
將準(zhǔn)確率作為y軸，召回率作為x軸，可以得到P-R曲線，其直觀顯示出分類學(xué)習(xí)期在樣本集上的準(zhǔn)確率卦洽、召回率淑蔚。另外為綜合考慮兩個(gè)指標(biāo)，我們有P和R的調(diào)和平均數(shù)牛隅，F1度量：
注：相對(duì)于幾何平均數(shù)和算術(shù)平均數(shù)摩疑，調(diào)和平均數(shù)更注重較小者，且當(dāng)各平均數(shù)相等時(shí)畏铆，調(diào)和平均數(shù)對(duì)應(yīng)的P和R之間的差值相對(duì)更小雷袋。
在第三節(jié)中，我們還會(huì)介紹ROC曲線辞居，其也是一種很好的性能度量楷怒。
1.2 代價(jià)敏感錯(cuò)誤率與代價(jià)曲線
以二分類任務(wù)為例，我們可以設(shè)定一個(gè)“代價(jià)矩陣”瓦灶。
| 預(yù)測(cè)正例 | 預(yù)測(cè)反例 | |
|---|---|---|
| 實(shí)際正例 | 0 | cost1 |
| 實(shí)際反例 | cost2 | 0 |
令D+與D-分別代表樣例集D的正例子集和反例子集鸠删，則可以定義“代價(jià)敏感錯(cuò)誤率為”：
1.3 信息熵、條件熵贼陶、互信息
-
熵：隨機(jī)變量X的熵被定義為：其中p(x)=Pr(X=x)是X的密度函數(shù)刃泡。熵度量了隨機(jī)變量X的不確定性程度，如8種均勻可能需要log28=3個(gè)字節(jié)來(lái)存儲(chǔ)碉怔。
如果實(shí)際類別變量中烘贴，好人的占比為80%，壞人的占比為20%眨层，則實(shí)際類別變量的熵為：
H(Y)=-(0.8log0.8+0.2log0.2)=0.72
-
聯(lián)合熵 和 條件熵：
兩個(gè)隨機(jī)變量的聯(lián)合熵被定義為：條件熵被定義為：另外可以證明： -
相對(duì)熵(K-L散度)：相對(duì)熵是兩個(gè)隨機(jī)分布之間距離的度量庙楚。在統(tǒng)計(jì)學(xué)中，它對(duì)應(yīng)的是似然比的對(duì)數(shù)期望趴樱。相對(duì)上D(p||q)度量當(dāng)真實(shí)分布為p而假定分布為q時(shí)的無(wú)效性馒闷。
相對(duì)熵總是非負(fù)的，注意到其并不對(duì)程叁征，也不滿足三角不等式纳账，所以嚴(yán)格來(lái)講，它并不能稱為“距離”捺疼，所以實(shí)際使用中疏虫，我們可以作對(duì)稱化處理：K-L散度是一個(gè)非常不錯(cuò)的“距離”，在下一節(jié)我們還會(huì)繼續(xù)講這個(gè)指標(biāo)啤呼，但是要注意K-L散度是無(wú)界的卧秘。 -
互信息(信息增益)：互信息是一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量信息量的度量，也是在給定另一隨機(jī)變量知識(shí)的條件下官扣，原隨機(jī)變量不確定度的縮減量翅敌。
注意到互信息(信息增益)關(guān)于X和Y是對(duì)稱的，即H(X)-H(X|Y)=H(Y)-H(Y|X)惕蹄。而且它與相對(duì)熵存在如下等價(jià)關(guān)系：從該等價(jià)式可以看出蚯涮，當(dāng)X和Y之間幾乎相互獨(dú)立治专，即相互所包含的信息很少時(shí)，聯(lián)合分布p(x,y)與乘積分布p(x)p(y)之間的K-L距離相應(yīng)的也很小遭顶。 -
交叉熵：假設(shè)已知隨機(jī)變量的真實(shí)分布為p张峰，預(yù)測(cè)分布為q，可以構(gòu)造平均描述長(zhǎng)度為H(p)的碼棒旗。但是如果使用分布q的編碼喘批，那么在平均意義上就需要H(p) + D(p||q)比特來(lái)描述這個(gè)隨機(jī)變量。
也就是說(shuō)交叉熵度量了從q到p還需要的信息量嗦哆。交叉熵常用作部分分類模型(如邏輯回歸算法)的損失函數(shù)(參考文章)
1.4 卡方距離
設(shè)N為樣本數(shù)谤祖，fo和fe分別為觀察頻數(shù)和期望頻數(shù)：
則卡方距離(卡方統(tǒng)計(jì)量)可以定義為：
注意到上式的最右邊等價(jià)于：
而fo/N可以看成是聯(lián)合分布的概率，fe/N可以看成是乘積分布的概率老速，又
所有我們有
從這個(gè)角度來(lái)看，卡方距離是互信息和相對(duì)熵結(jié)合下的一種近似凸主。
1.5 方差分析橘券、F-score
方差分析可以度量分組之間的期望差異
還沒(méi)想好和測(cè)度之間的聯(lián)系，待續(xù)卿吐。旁舰。。嗡官。
2箭窜、性能度量的實(shí)驗(yàn)估計(jì)方法
選擇一個(gè)能在一定評(píng)判準(zhǔn)則L下達(dá)到最優(yōu)的函數(shù)：可以是使然函數(shù)婆咸，也可以是MSE竹捉，還可以是F1值、散度等各種評(píng)估指標(biāo)尚骄。再選擇一個(gè)評(píng)分函數(shù)s_D()使得：一個(gè)分類學(xué)習(xí)器最主要的目的在于預(yù)測(cè)新樣本，所以更多的應(yīng)該考慮它的泛化誤差衍腥。無(wú)論是哪種評(píng)價(jià)指標(biāo)磺樱，我們都應(yīng)該應(yīng)用在不同于訓(xùn)練樣本之外的數(shù)據(jù)集上。
我們需要找到在樣本上使得測(cè)量指標(biāo)最大化的分類學(xué)習(xí)器块差。為了得到無(wú)偏估計(jì)，我們必須考察其在保留樣本或檢驗(yàn)樣本V上的表現(xiàn)倔丈。通常我們會(huì)有足夠充分的數(shù)據(jù)建立分類學(xué)習(xí)器憨闰，能夠?qū)?shù)據(jù)分成訓(xùn)練樣本和檢驗(yàn)樣本。否則需五，我們只能用一些標(biāo)準(zhǔn)的統(tǒng)計(jì)學(xué)習(xí)方法如交叉驗(yàn)證或bootstrap法來(lái)獲得無(wú)偏估計(jì)鹉动。
注：當(dāng)樣本不足夠充分時(shí)，D只能當(dāng)成總體的一個(gè)抽樣警儒。此時(shí)通過(guò)交叉驗(yàn)證或者bootstrap法可以有效降低模型的泛化方差训裆，同時(shí)也能充分利用好每一個(gè)數(shù)據(jù)眶根，畢竟都來(lái)之不易。
2.1 留出法
''留出法''將數(shù)據(jù)集D劃分成兩部分边琉，一部分為訓(xùn)練集：train_set属百，另一部分為測(cè)試集：test_set. 測(cè)試集不參與模型的訓(xùn)練，僅用于計(jì)算模型的泛化誤差变姨。一般來(lái)講族扰，訓(xùn)練集的占比為2/3-4/5.
留出法常用于比較多個(gè)分類模型的泛化誤差能力，當(dāng)我們要更好的估計(jì)單個(gè)分類模型的泛化誤差時(shí)定欧，特殊的渔呵，可以用"留一法"。即建立|D|個(gè)分類模型砍鸠，其中每一個(gè)分類模型的測(cè)試集僅有一個(gè)扩氢。
2.2 交叉驗(yàn)證法
如k-fold，形成k個(gè)模型爷辱，將模型的平均值作為最終的分類結(jié)果
2.3 bootstrap法
每次有放回的抽樣|D|個(gè)樣本录豺，這樣大概有的樣本不會(huì)被抽中，可以將他們作為測(cè)試集饭弓。
考慮到只有0.632的樣本用于測(cè)量誤差双饥，我們有一個(gè)更穩(wěn)定的誤差估計(jì)：
3、判別能力的測(cè)量
這一節(jié)我們來(lái)判定評(píng)分卡區(qū)分好人和壞人的能力弟断。需要清楚的是咏花，這個(gè)判別能力并不是指概率閾值的選取問(wèn)題，它評(píng)估的是評(píng)分卡是否能很明顯的把好人和壞人區(qū)分開來(lái)阀趴，常用于判定單個(gè)評(píng)分卡是否滿足實(shí)用要求或者從多個(gè)評(píng)分卡中選取判定能力最好的那個(gè)昏翰。
給定評(píng)分分?jǐn)?shù)s或者評(píng)定概率，令f(s|G)舍咖、f(s|B)分別為好人與壞人子群體分?jǐn)?shù)的條件概率密度函數(shù)（對(duì)應(yīng)的F(s|G)矩父、F(s|B)為分布函數(shù)）接下來(lái)的統(tǒng)計(jì)量將都是從概率的角度出發(fā)。
3.1 馬氏距離
馬氏量比較簡(jiǎn)單攻柠，它就是兩個(gè)概率密度函數(shù)的眾數(shù)之差/標(biāo)準(zhǔn)差3.2 信息比率、K-L散度和信息量
如果想考察預(yù)測(cè)變量區(qū)分好壞借款人的表現(xiàn)瑰钮，我們可以用兩個(gè)分布的期望之差：
一般情況 s 往往不是連續(xù)的因苹，這時(shí)候我們可以把分?jǐn)?shù)劃分成很多個(gè)小區(qū)間來(lái)近似散度。假定有I個(gè)區(qū)間篇恒，每個(gè)區(qū)間i中有好人 gi 個(gè)扶檐、壞人 bi 個(gè)，且總共有 nG 個(gè)好人和 nB 個(gè)壞人胁艰。則我們用 gi / nG代替f(s|G)款筑，于是散度可以近似為（信息量，IV）：
注意到上式并不是真正的K-L散度腾么，設(shè)p和q是在x上的兩個(gè)分布奈梳，則我們定義p和q的K-L散度（相對(duì)熵）為：
3.3 其他概率分布距離
K-L散度的壞處在于它是無(wú)界的攘须。事實(shí)上K-L散度 屬于更廣泛的 f-divergence 中的一種。如果p和q被定義成空間中的兩個(gè)概率分布饭寺，則 f 散度被定義為：
這其中常用的有：
-
卡方散度(f(t)=(t-1)2):
這正好是卡方值抹恳，其中p(x)和q(x)分別是觀察頻數(shù)分布和期望頻數(shù)分布员凝。 -
Hellinger distance( f(t)=(t1/2-1)2 )：
用測(cè)度論來(lái)看，它就是 -
Total variation distance( f(t)=|t-1|/2 )：
除了f-divergence奋献，還有一些不錯(cuò)的距離：
-
巴氏距離（Bhattacharyya Distance）：
仔細(xì)觀察健霹，會(huì)發(fā)現(xiàn)，相對(duì)于Hellinger distance瓶蚂，Bhattacharyya Distance就是用ln(x) 替換x-1而已
MMD距離（Maximum mean discrepancy)
最大均值差異（Maximum mean discrepancy）糖埋，度量在再生希爾伯特空間中兩個(gè)分布的距離，是一種核學(xué)習(xí)方法窃这。兩個(gè)隨機(jī)變量的距離為
3.4 KS統(tǒng)計(jì)量
散度與其相關(guān)的統(tǒng)計(jì)量都是為了測(cè)量好人分?jǐn)?shù)函數(shù)和壞人分?jǐn)?shù)函數(shù)期望值之間的差異瞳别。第二類判別能力的測(cè)量方法則強(qiáng)調(diào)這兩類分?jǐn)?shù)分布函數(shù)的差異。
我們將KS統(tǒng)計(jì)量定義如下：
KS值反映的判別能力沒(méi)有一個(gè)確定的標(biāo)準(zhǔn)杭攻，經(jīng)驗(yàn)上KS統(tǒng)計(jì)量至少要等于0.4才反應(yīng)一個(gè)較好的判別能力祟敛。
KS統(tǒng)計(jì)量的缺點(diǎn)在于它描述的是在“最優(yōu)區(qū)分分?jǐn)?shù)”下的情形，但商業(yè)決策中需要一個(gè)相關(guān)或合適的臨界分?jǐn)?shù)兆解。我們只能理解成馆铁，實(shí)際臨界分?jǐn)?shù)處的條件分布的距離比KS統(tǒng)計(jì)量小，換句話說(shuō)锅睛，KS統(tǒng)計(jì)量?jī)H是好壞距離或區(qū)分度的上限埠巨。
3.5 ROC曲線
信用評(píng)分中最常用的判別能力的度量工具是ROC（Receiver Operating Characteristic）曲線和與之很相似的CAP（Cumulative Accuracy profile）曲線历谍。這些曲線下方的區(qū)域引出了兩種判別能力的度量：Gini系數(shù)和準(zhǔn)確率AR。
ROC曲線是好人條件分?jǐn)?shù)相對(duì)于壞人條件分?jǐn)?shù)的累計(jì)分布的圖形辣垒。如下圖望侈，x軸代表
注：在很多機(jī)器學(xué)習(xí)的書中仪召，ROC曲線是通過(guò)混淆矩陣來(lái)定義的寨蹋，本質(zhì)上與上述定義是等價(jià)的。給定一個(gè)判定分?jǐn)?shù)s扔茅，當(dāng)分?jǐn)?shù)大于s時(shí)已旧，模型判定為好人，當(dāng)分?jǐn)?shù)小于s*時(shí)召娜，模型判定為壞人运褪。這樣真正率（正樣本預(yù)測(cè)為正的比例，此時(shí)壞人是正樣本）TPR=F(s|B)玖瘸，假正率（負(fù)樣本預(yù)測(cè)為正）FPR=F(s|G)秸讹。且用概率表示的混淆矩陣如下：
ROC曲線下的面積（Area under the ROC curve，簡(jiǎn)稱AUROC或者AUC）可評(píng)價(jià)判別能力的大小雅倒。一般評(píng)分卡的AUROC通常介于0.5~1之間璃诀，且面積越大，判別能力越好蔑匣。
我們更傾向于用范圍0到1來(lái)標(biāo)準(zhǔn)化測(cè)量結(jié)果劣欢，0代表完全隨機(jī)，1代表完美隨機(jī)能力殖演。此時(shí)我們可以將AUROC轉(zhuǎn)換成Gini系數(shù)氧秘，其等于ROC曲線與對(duì)角線之間面積的兩倍。
每個(gè)分?jǐn)?shù)在ROC曲線上的點(diǎn)（F(s|G)趴久，F(xiàn)(s|B)）丸相，該點(diǎn)垂直投射到對(duì)角線上的點(diǎn)的橫縱坐標(biāo)相等。所以曲線上這點(diǎn)的垂直距離變成了|F(s|G)-F(s|B)|彼棍。很明顯灭忠，KS統(tǒng)計(jì)量就是這個(gè)最大距離的最大值膳算，而Gini系數(shù)是這個(gè)距離在整個(gè)曲線上積分的兩倍，因此GINI<2KS弛作。
另外可以證明GINI>KS涕蜂，如果進(jìn)一步放縮GINI系數(shù)，還可以證明GINI<2KS-(KS)2映琳，于是我們有：
注：ROC曲線的繪制
在畫ROC曲線和計(jì)算Gini系數(shù)時(shí)机隙，分值大小并不重要，真正重要的是這些人分?jǐn)?shù)的相對(duì)排序萨西。將分?jǐn)?shù)按升序排列有鹿，得到BGBBGGBGGG·······。依次將前n個(gè)樣本預(yù)測(cè)為B即可得到ROC曲線谎脯。
3.6 CAP曲線
在市場(chǎng)營(yíng)銷文獻(xiàn)中葱跋，有一個(gè)和ROC曲線很類似的方法叫做累積準(zhǔn)確性（cumulative accuracy profile，CAP）源梭，或者成為提升曲線（lift curve）娱俺。與ROC曲線不同，它的橫縱坐標(biāo)不是F(s|G)和F(s|B)废麻，而是F(s)和F(s|B)荠卷。所以橫坐標(biāo)表示的是總體被拒絕的比例，縱坐標(biāo)表示好人被拒絕的比例烛愧。
完美判別評(píng)分卡的CAP曲線會(huì)經(jīng)過(guò)B（pB僵朗，1）點(diǎn)，其中 pB 是總體中壞人的比例屑彻。
就像ROC曲線和Gini系數(shù)一樣，曲線到對(duì)角線的面積與完美判別到隨機(jī)判別面積的比例可以整合CAP曲線包含的信息顶吮。這個(gè)比例成為準(zhǔn)確率（accuracy rate社牲，AR）
可以證明AR=GINI，但兩個(gè)曲線并不一樣悴了。ROC曲線不需要指導(dǎo)原始總體的分布搏恤，而只看評(píng)分卡本身。但CAP曲線包含了總體的信息湃交，隨總體變化而變化熟空。
注：可用數(shù)據(jù)集：
UCI澳大利亞信用卡數(shù)據(jù)、UCI德國(guó)信用卡數(shù)據(jù)搞莺、LendingClub數(shù)據(jù)集
操盤過(guò)程見文章：評(píng)分卡實(shí)踐(先挖坑息罗，待續(xù))
參考文獻(xiàn)
[1]. 機(jī)器學(xué)習(xí)之分類性能度量指標(biāo) : ROC曲線、AUC值才沧、正確率迈喉、召回率
[2]. 消費(fèi)信用模型：定價(jià)绍刮、利潤(rùn)與組合
[3]. 機(jī)器學(xué)習(xí)
[4]. 統(tǒng)計(jì)學(xué)習(xí)方法
[5]. 評(píng)分卡模型構(gòu)建介紹
[6]. 信用評(píng)分的簡(jiǎn)單小結(jié)（ROC，IV挨摸，WOE）
[7]. 利用LendingClub數(shù)據(jù)建模
[8]. 知乎：分布的相似度（距離）用什么模型比較好孩革？
[9] 概率分布之間的距離度量以及python實(shí)現(xiàn)
