1. ROC曲線的橫縱坐標分別是什么劫侧?
roc曲線:接收者操作特征(receiveroperating characteristic),roc曲線上每個點反映著對同一信號刺激的感受性。
ROC曲線的橫軸:
負正類率(false postive rate FPR)特異度,劃分實例中所有負例占所有負例的比例叨橱;(1-Specificity)
預測為正樣本但是實際為負樣本的數目占所有負樣本的數目的比例
ROC 縱軸:
真正類率(true postive rate TPR)靈敏度呢铆,Sensitivity(正類覆蓋率)
預測為正樣本實際也為正樣本的數目 占 所有正樣本數目的比例
ROC曲線是顯示Classification模型真正率和假正率之間折中的一種圖形化方法朗恳。
解讀ROC圖的一些概念定義::
真正(True Positive , TP)被模型預測為正的正樣本;
假負(False Negative , FN)被模型預測為負的正樣本叨襟;
假正(False Positive , FP)被模型預測為正的負樣本;
真負(True Negative , TN)被模型預測為負的負樣本幔荒。
真正率(True Positive Rate , TPR)或靈敏度(sensitivity)
TPR = TP /(TP + FN) (正樣本預測結果數 / 正樣本實際數)
假負率(False Negative Rate , FNR)
FNR = FN /(TP + FN) (被預測為負的正樣本結果數 / 正樣本實際數 )
假正率(False Positive Rate , FPR)
FPR = FP /(FP + TN) (被預測為正的負樣本結果數 /負樣本實際數)
真負率(True Negative Rate , TNR)或特指度(specificity)
TNR = TN /(TN + FP) (負樣本預測結果數 / 負樣本實際數)
目標屬性的被選中的那個期望值稱作是“正”(positive)
2. AUC
在統(tǒng)計和機器學習中糊闽,常常用AUC來評估二分類模型的性能。AUC的全稱是 area under the curve爹梁,即曲線下的面積右犹。 通常這里的曲線指的是受試者操作曲線(Receiver operating characteristic, ROC)。 相比于準確率卫键、召回率傀履、F1值等依賴于判決閾值的評估指標,AUC則沒有這個問題莉炉。
一個關于AUC的很有趣的性質是钓账,它和Wilcoxon-Mann-Witney Test是等價的。Wilcoxon-Mann-Witney Test就是測試任意給一個正類樣本和一個負類樣本絮宁,正類樣本的score有多大的概率大于負類樣本的score梆暮。
計算方法:https://blog.csdn.net/pzy20062141/article/details/48711355
深入了解AUC的博客:https://tracholar.github.io/machine-learning/2018/01/26/auc.html