目錄
- 混淆矩陣
- ROC曲線
- AUC定義
- AUC計算
- AUC 優(yōu)點和缺點
- AUC的python實現(xiàn)代碼
1. 混淆矩陣
混淆矩陣是了解AUC的必要前提。它是一個總結(jié)分類器所得結(jié)果的矩陣挠进，一般為k行k列（k為分類的類別數(shù)）请垛。以二分類為例，混淆矩陣如下圖所示食磕。
首先牢記這2個公式：
- 假陽性率(False Positive Rate)
(意義是在所有真實的負樣本中，預(yù)測結(jié)果為正的負例。越小越好)
- 真陽性率(True Positive Rate)
(意義是在所有真實的正樣本中价涝，預(yù)測結(jié)果為正的正例。等于Recall)
2. ROC曲線
ROC曲線是Receiver Operating Characteristic Curve的簡稱持舆，中文名是受試者工作特征曲線色瘩。
這一節(jié)主要來學(xué)如何繪制ROC曲線
(1) 首先，ROC曲線的橫坐標是假陽性率FPR逸寓，縱坐標是真陽性率TPR居兆。怎么計算上一節(jié)已詳述。
(2) 其次竹伸，明確計算AUC的時候泥栖，預(yù)測值y_pred一般都是[0, 1]的小數(shù)（代表預(yù)測為正樣本的概率），真實值y_true為0或1佩伤。如果計算FPR和TPR聊倔，我們就需要知道預(yù)測的正負樣本情況，但給的預(yù)測值是小數(shù)生巡，如何劃分預(yù)測的正負樣本呢耙蔑？答案是選取截斷點。
(3) 截斷點是指區(qū)分正負預(yù)測結(jié)果的閾值孤荣。比如截斷點=0.1甸陌，那就表示y_pred<0.1的為預(yù)測為負樣本须揣，y_pred>=0.1預(yù)測正樣本。所以繪制AUC曲線需要不斷移動“截斷點”來得到所有的(FPR钱豁，TPR)點耻卡，然后把這些點用線段連起來就是ROC曲線了。
(4) 截斷點取值為就夠了牲尺。
表示所有都預(yù)測為負樣本卵酪，(fpr,tpr)=(0,0)。
表示所有都預(yù)測為正樣本谤碳，(fpr,tpr)=(1,1)溃卡。也就是這兩個坐標點固定有，所以一般截斷點默認取值就是預(yù)測值的所有唯一值蜒简。
如何繪制瘸羡，如下圖所示：
3. AUC定義
AUC（Area Under ROC Curve）犹赖，顧名思義，即ROC曲線下的面積卷仑。
AUC越大峻村，說明分類器越可能把正樣本排在前面，衡量的是一種排序的性能锡凝。
那么問題來了雀哨，ROC曲線下的面積怎么就能衡量分類器的排序能力？且聽慢慢道來私爷。
如果ROC面積越大雾棺，說明曲線越往左上角靠過去。那么對于任意截斷點衬浑，(FPR捌浩，TPR)坐標點越往左上角（0,1）靠，說明FPR較小趨于0（根據(jù)定義得知工秩，就是在所有真實負樣本中尸饺，基本沒有預(yù)測為正的樣本），TRP較大趨于1（根據(jù)定義得知助币，也就是在所有真實正樣本中浪听，基本全都是預(yù)測為正的樣本）。并且上述是對于任意截斷點來說的眉菱，很明顯迹栓，那就是分類器對正樣本的打分基本要大于負樣本的打分（一般預(yù)測值也叫打分），衡量的不就是排序能力嘛俭缓！
So克伊，現(xiàn)在可以給一個比較常用的AUC的定義
即：隨機從正樣本和負樣本中各選一個酥郭，分類器對于該正樣本打分大于該負樣本打分的概率。
4. AUC計算
AUC如果按照原始定義ROC曲線下的面積來計算愿吹，非常之麻煩不从。
可以轉(zhuǎn)換一下思路，按照上述給出的常用的AUC定義犁跪，即隨機選出一對正負樣本椿息，分類器對于正樣本打分大于負樣本打分的概率。咱們就來算算這個概率到底是多少坷衍，那么也就算出AUC是多少了撵颊。
假設(shè)數(shù)據(jù)集一共有M個正樣本，N個負樣本惫叛，預(yù)測值也就是M+N個。我們將所有樣本按照預(yù)測值進行從小到大排序逞刷，并且排序編號由1到M+N嘉涌。
那么在所有情況下，正樣本打分大于負樣本的個數(shù)=
所以夸浅，AUC的正式計算公式也就有了仑最，如下：
表示正樣本
的編號，
表示隨機從正負樣本各取一個的情況數(shù)帆喇。一般考代碼題警医，比如用python寫個AUC計算，也是用上述公式原理坯钦。
但是预皇，還沒有完，有一個小問題婉刀，可能大家沒注意到吟温。那就是如果有預(yù)測值是一樣的，那么怎么進行排序編號呢突颊？
其實很簡單鲁豪，對于預(yù)測值一樣的樣本，我們將這些樣本原先的排號平均一下律秃，作為新的排序編號就完事啦爬橡。仔細理解可看下圖：
上圖中，正樣本個數(shù)M=5棒动，負樣本個數(shù)N=3糙申，預(yù)測值相同有4個。我們將預(yù)測值pred相等的情況（上圖紅色字體）船惨，對其進行新的排序編號郭宝，變成4.5辞槐。
那么根據(jù)公式就可以算出上圖中的AUC=
用sklearn的auc計算驗證一下，一樣粘室。
所以榄檬，你掌握了嗎？
掌握了的話衔统，可看看這里給出的筆者經(jīng)歷的騰訊面試題鹿榜。
有一堆樣本，其中2000個負樣本锦爵，8000個正樣本舱殿，其中負樣本的預(yù)測值為均勻分布U(0.4, 0.6)，正樣本的預(yù)測值為均勻分布U(0.5, 0.7)险掀。求AUC沪袭。需要給出詳細解答過程。（答案可翻到最后）
5. AUC的有點和缺點（八股）
優(yōu)點：
- AUC衡量的是一種排序能力樟氢，因此特別適合排序類業(yè)務(wù)冈绊。
- AUC對正負樣本均衡并不敏感，在樣本不均衡的情況下埠啃，也可以做出合理的評估死宣。
- 其他指標比如precision, recall, F1，根據(jù)區(qū)分正負樣本閾值的變化會有不同的結(jié)果碴开，而AUC不需要手動設(shè)定閾值毅该，是一種整體上的衡量方法。
缺點：
- 忽略了預(yù)測的概率值和模型的擬合程度潦牛；
- AUC反應(yīng)了太過籠統(tǒng)的信息眶掌。無法反應(yīng)召回率、精確率等在實際業(yè)務(wù)中經(jīng)常關(guān)心的指標巴碗；
- 它沒有給出模型誤差的空間分布信息畏线，AUC只關(guān)注正負樣本之間的排序，并不關(guān)心正樣本內(nèi)部良价，或者負樣本內(nèi)部的排序寝殴，這樣我們也無法衡量樣本對于好壞客戶的好壞程度的刻畫能力；
- AUC的Python實現(xiàn)代碼
AUC的具體計算公式都給了明垢，理解了其中邏輯蚣常，實現(xiàn)起來就比較容易了。代碼如下痊银，核心代碼也就10行左右：
import numpy as np
import pandas as pd
# 正例
y_pred = list(np.random.uniform(0.4,0.6,2000))+list(np.random.uniform(0.5,0.7,8000))
# 負例
y_true = [0] * 2000 + [1]*8000
def calc_auc(y_true, y_pred):
pair = list(zip(y_true,y_pred))
pair = sorted(pair, key = lambda x:x[1]) # 進行排序
df = pd.DataFrame([[x[0],x[1],i+1] for i,x in enumerate(pair)],
columns=['y_true','y_pred','rank'])
# 下面需要將預(yù)測值為一樣的進行重新編號
for k,v in df.y_pred.value_counts().items():
if v==1: # 說明該預(yù)測值k只出現(xiàn)了一次抵蚊，沒有重復(fù)，不考慮
continue
rank_mean = df[df.y_pred==k]['rank'].mean()
df.loc[df.y_pred==k, 'rank'] = rank_mean
pos_df = df[df.y_true==1] # 正樣本的表
m = pos_df.shape[0] # 正樣本數(shù)
n = df.shape[0]-m # 負樣本數(shù)
return (pos_df['rank'].sum()-m*(m+1)/2)/(m*n)
print(calc_auc(y_true,y_pred))
from sklearn.metrics import roc_auc_score
print(roc_auc_score(y_true,y_pred))
看完上述結(jié)果，你應(yīng)該知道了上面的騰訊面試題結(jié)果是什么了（7/8贞绳，幾何概率模型）
