?? 關(guān)注一下~枯芬，更多商業(yè)數(shù)據(jù)分析案例等你來(lái)撩
本文已在公眾號(hào) " 數(shù)據(jù)分析與商業(yè)實(shí)踐 " 首發(fā)剧董，更多統(tǒng)計(jì)學(xué)知識(shí)，數(shù)據(jù)科學(xué)案例破停，Python 數(shù)據(jù)分析常用騷操作與案例源數(shù)據(jù)源代碼等你來(lái)撩 ~~
引言
Python 實(shí)現(xiàn)的邏輯回歸后翅楼，不像 SAS 那樣會(huì)自動(dòng)給出模型精確度的評(píng)價(jià)，需要人為操作計(jì)算 Python 專(zhuān)屬的 AUC (Area Under Curve)真慢，ROC 曲線與 X 軸圍成的面積大小反映了模型的精度毅臊。本文將著重 AUC 值和 ROC 曲線背后的原理和 Python 代碼實(shí)現(xiàn)。
下圖為利用 SAS 進(jìn)行邏輯回歸后的模型評(píng)價(jià)表黑界，c 為模型精度
上圖中左邊列的”一致部分管嬉，不一致部分，和結(jié)值“表示的是評(píng)價(jià)邏輯回歸模型精度的三個(gè)很重要的指標(biāo)朗鸠，其中蚯撩，結(jié)值又可以稱(chēng)為”相等對(duì)“。（三個(gè)指標(biāo)的含義見(jiàn)下文）
- 通常我們希望一致對(duì)的占比高烛占，不一致對(duì)和相等對(duì)的占比低胎挎。
- Python 的 AUC 即 SAS 中的 c 統(tǒng)計(jì)量，計(jì)算方式為”一致對(duì) + 1/2*結(jié)值對(duì)“忆家，圖中即：86.1% + 1/2 * 2.6% = 0.874
評(píng)價(jià)指標(biāo)原理
為什么需要引入”對(duì)“這個(gè)概念犹菇？
以邏輯回歸常用場(chǎng)景——預(yù)測(cè)客戶(hù)是否流失為例，如果你的貸款經(jīng)歷越長(zhǎng)芽卿，那你應(yīng)該就越了解貸款的流程和注意事項(xiàng)（在貸款和還貸方面更有經(jīng)驗(yàn)）揭芍，那你也就應(yīng)該越清晰的知道違約的后果，所以你違約的概率就越低卸例〕蒲睿基于此背景肌毅，研究人員認(rèn)為開(kāi)設(shè)貸款賬號(hào)距今時(shí)間越長(zhǎng)的，P（履約）的預(yù)測(cè)值越大姑原。
隨機(jī)選取 5 條建模預(yù)測(cè)結(jié)果
建模后悬而，我們只知道預(yù)測(cè)違約的概率與違約情況，如果針對(duì)單個(gè)用戶(hù)而言页衙，又怎么知道模型預(yù)測(cè)對(duì)了 TA 的違約情況呢？難道只是簡(jiǎn)單的認(rèn)為預(yù)測(cè)違約概率大于 0.5 且違約情況為 1（是）時(shí)阴绢，這就算對(duì)了嗎店乐？
其實(shí)為了找到一致對(duì)、不一致對(duì)以及相等對(duì)呻袭，要將每一個(gè)獲得相關(guān)結(jié)果的人與每一個(gè)沒(méi)有獲得相關(guān)結(jié)果的人進(jìn)行比較（否則怎么體現(xiàn)”對(duì)“字眨八，這句話輕微拗口，得繼續(xù)往下看）左电。
下圖表示將數(shù)據(jù)集劃分為 履約 和 違約 兩個(gè)群體廉侧。
什么是一致對(duì)？
下圖是一個(gè)（橙）對(duì)篓足。小人頭上面的文字描述了該客戶(hù)開(kāi)設(shè)貸款賬號(hào)距今的時(shí)間和 TA 是否違約的情況段誊。
綠衣女士的賬號(hào)開(kāi)設(shè)時(shí)間長(zhǎng)于光頭男士，所以程序給出的 P(履約) 更大栈拖，這一點(diǎn)無(wú)需多言连舍，而且也與現(xiàn)實(shí)情況相符，P(履約) 大的就是履約涩哟，小的就是違約索赏；即實(shí)際排序與模型相符（頭頂左違右履，腳底左1右0 橙）贴彼，這是一個(gè)一致對(duì)潜腻。
注意：不少朋友可能還以為 P(履約) 超過(guò) 0.5 就算履約，低于則表示違約器仗；其實(shí)這個(gè)并不一定融涣，這個(gè)履違約閾值還需要根據(jù)實(shí)際業(yè)務(wù)情況考量，比如我要貸款十億精钮，我的履約率怎么也得滿銀行它才有信心貸這么一大筆錢(qián)給我暴心。
什么是不一致對(duì)？
先給新的一對(duì)客戶(hù)換套衣服
有了一致對(duì)的經(jīng)驗(yàn)杂拨，判斷不一致對(duì)就容易多了专普。紅發(fā)女士比光頭男士(為什么男士總是光頭)的開(kāi)戶(hù)時(shí)間長(zhǎng)，P(履約) 更高弹沽，但結(jié)果確是違約檀夹。兩人相比之下筋粗，模型給出的履約概率高的人反倒違約了，即實(shí)際排序與模型不符炸渡，這是一個(gè)不一致對(duì)娜亿。
什么是相等對(duì)（結(jié)值）？
上套艷麗點(diǎn)的衣服吧蚌堵！
這次我們發(fā)現(xiàn)模型給出二者的預(yù)測(cè)概率相等买决，均為0.3697，還是分別從履約和違約這兩個(gè)群體中各抽一個(gè)吼畏，但巧合的是督赤，兩者的開(kāi)戶(hù)時(shí)長(zhǎng)都一樣，所以很明顯可以看到模型在這個(gè)對(duì)中預(yù)測(cè)正確了一半泻蚊。
綜上躲舌，二分類(lèi)邏輯回歸的精度 = 1* 一致對(duì) + 0* 不一致對(duì) + 1/2* 相等對(duì)，按照常識(shí)性雄，從履約組和違約組中各抽一個(gè)客戶(hù)没卸，P(履約) 相等的概率是十分小的，讓我們?cè)賮?lái)看看文章開(kāi)頭的 SAS 模型結(jié)果圖
混淆矩陣與 ROC 曲線
混淆矩陣這個(gè)老概念不必多說(shuō)秒旋，直接看下表即可约计，但它卻是 Python 邏輯回歸模型評(píng)價(jià)指標(biāo) ROC 曲線背后的非常重要的一個(gè)知識(shí)點(diǎn)。
ROC（Receiver Operating Characterstic）曲線一一接收者操作特征曲線迁筛。
最早應(yīng)用于雷達(dá)信號(hào)檢測(cè)領(lǐng)域病蛉，用于區(qū)分信號(hào)與噪聲。信號(hào)檢測(cè)論：在聽(tīng)覺(jué)感受性相同的情況下瑰煎，判斷標(biāo)準(zhǔn)不一樣铺然。
①冒進(jìn)：每次出現(xiàn)不會(huì)“漏報(bào)”，感覺(jué)有就報(bào)告酒甸。
②保守：每次出現(xiàn)不會(huì)“虛報(bào)”魄健，沒(méi)有把握不會(huì)報(bào)告。
AUC 的值即 ROC 曲線與 X 軸圍城的面積插勤。
代碼實(shí)現(xiàn)
建模結(jié)果
- churn：1.0 - 違約沽瘦；0.0 - 履約
-
proba：違約的概率
image
# sklearn 包繪制 Python 專(zhuān)門(mén)用來(lái)評(píng)估邏輯回歸模型精度的 ROC 曲線
import sklearn.metrics as metrics
# 分別對(duì)測(cè)試集和訓(xùn)練集進(jìn)行 ROC 曲線的繪制
fpr_test, tpr_test, th_test = metrics.roc_curve(test.churn, test.proba)
# 傳入三個(gè)變量，一致對(duì)农尖，相等對(duì)析恋，不一致對(duì)，
## 調(diào)用 metrics 的 roc_curve 函數(shù)盛卡，傳入兩個(gè)參數(shù)：原本值和預(yù)測(cè)值
fpr_train, tpr_train, th_train = metrics.roc_curve(train.churn, train.proba)
plt.figure(figsize=[3, 3])
plt.plot(fpr_test, tpr_test, 'b--')
plt.plot(fpr_train, tpr_train, 'r--')
plt.title('ROC curve'); plt.show()
print(f'AUC = {metrics.auc(fpr_test, tpr_test)}')
# metrics 下的 auc 函數(shù)
通過(guò) AUC 值助隧，我們可以發(fā)現(xiàn)模型精度較高。
至于如何利用邏輯回歸完整的實(shí)現(xiàn)客戶(hù)流失預(yù)警模型的構(gòu)建滑沧，可參考如下文章：
