[ML] 性能評估指標2---ROC-AUC

1. ROC曲線的橫縱坐標分別是什么劫侧?

roc曲線:接收者操作特征(receiveroperating characteristic),roc曲線上每個點反映著對同一信號刺激的感受性。

ROC曲線的橫軸:
負正類率(false postive rate FPR)特異度,劃分實例中所有負例占所有負例的比例叨橱;(1-Specificity)
預測為正樣本但是實際為負樣本的數目占所有負樣本的數目的比例
ROC 縱軸:
真正類率(true postive rate TPR)靈敏度呢铆,Sensitivity(正類覆蓋率)
預測為正樣本實際也為正樣本的數目 占 所有正樣本數目的比例

ROC曲線是顯示Classification模型真正率和假正率之間折中的一種圖形化方法朗恳。

解讀ROC圖的一些概念定義::
真正(True Positive , TP)被模型預測為正的正樣本;
假負(False Negative , FN)被模型預測為負的正樣本叨襟;
假正(False Positive , FP)被模型預測為正的負樣本;
真負(True Negative , TN)被模型預測為負的負樣本幔荒。

真正率(True Positive Rate , TPR)或靈敏度(sensitivity)
TPR = TP /(TP + FN) (正樣本預測結果數 / 正樣本實際數)
假負率(False Negative Rate , FNR)
FNR = FN /(TP + FN) (被預測為負的正樣本結果數 / 正樣本實際數 )
假正率(False Positive Rate , FPR)
FPR = FP /(FP + TN) (被預測為正的負樣本結果數 /負樣本實際數)
真負率(True Negative Rate , TNR)或特指度(specificity)
TNR = TN /(TN + FP) (負樣本預測結果數 / 負樣本實際數)

目標屬性的被選中的那個期望值稱作是“正”(positive)

2. AUC

在統(tǒng)計和機器學習中糊闽,常常用AUC來評估二分類模型的性能。AUC的全稱是 area under the curve爹梁,即曲線下的面積右犹。 通常這里的曲線指的是受試者操作曲線(Receiver operating characteristic, ROC)。 相比于準確率卫键、召回率傀履、F1值等依賴于判決閾值的評估指標,AUC則沒有這個問題莉炉。

一個關于AUC的很有趣的性質是钓账,它和Wilcoxon-Mann-Witney Test是等價的。Wilcoxon-Mann-Witney Test就是測試任意給一個正類樣本和一個負類樣本絮宁,正類樣本的score有多大的概率大于負類樣本的score梆暮。

計算方法:https://blog.csdn.net/pzy20062141/article/details/48711355

深入了解AUC的博客:https://tracholar.github.io/machine-learning/2018/01/26/auc.html

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市绍昂,隨后出現的幾起案子啦粹,更是在濱河造成了極大的恐慌,老刑警劉巖窘游,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件唠椭,死亡現場離奇詭異,居然都是意外死亡忍饰,警方通過查閱死者的電腦和手機贪嫂,發(fā)現死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來艾蓝,“玉大人力崇,你說我怎么就攤上這事∮” “怎么了亮靴?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長于置。 經常有香客問我茧吊,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任饱狂,我火速辦了婚禮曹步,結果婚禮上,老公的妹妹穿的比我還像新娘休讳。我一直安慰自己讲婚,他們只是感情好,可當我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布俊柔。 她就那樣靜靜地躺著筹麸,像睡著了一般。 火紅的嫁衣襯著肌膚如雪雏婶。 梳的紋絲不亂的頭發(fā)上物赶,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天,我揣著相機與錄音留晚,去河邊找鬼酵紫。 笑死,一個胖子當著我的面吹牛错维,可吹牛的內容都是我干的奖地。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼赋焕,長吁一口氣:“原來是場噩夢啊……” “哼参歹!你這毒婦竟也來了?” 一聲冷哼從身側響起隆判,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤犬庇,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后侨嘀,有當地人在樹林里發(fā)現了一具尸體臭挽,經...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年咬腕,在試婚紗的時候發(fā)現自己被綠了埋哟。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡郎汪,死狀恐怖,靈堂內的尸體忽然破棺而出闯狱,到底是詐尸還是另有隱情煞赢,我是刑警寧澤,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布哄孤,位于F島的核電站照筑,受9級特大地震影響,放射性物質發(fā)生泄漏。R本人自食惡果不足惜凝危,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一波俄、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蛾默,春花似錦懦铺、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至牧挣,卻和暖如春急前,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背瀑构。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工裆针, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人寺晌。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓世吨,卻偏偏與公主長得像,于是被迫代替她去往敵國和親折剃。 傳聞我的和親對象是個殘疾皇子另假,可洞房花燭夜當晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內容