首先褂策，有如下預(yù)備知識(shí)需要清楚，即分類(lèi)的四個(gè)基本屬性颓屑，而其他相關(guān)指標(biāo)均是通過(guò)該四項(xiàng)屬性進(jìn)行組合計(jì)算得出的斤寂。
1. TP、TN揪惦、FP遍搞、FN
| - | Relevant | NonRelevant |
|---|---|---|
| Retrieved | true positives （tp） | false positives（fp） |
| Not Retrieved | false negatives（fn） | true negatives （tn） |
2. TPR、FPR
其中器腋，
TPR = TP / (TP+FN);
表示當(dāng)前分到正樣本中真實(shí)的正樣本所占所有正樣本的比例溪猿；
FPR = FP / (FP + TN);
表示當(dāng)前被錯(cuò)誤分到正樣本類(lèi)別中真實(shí)的負(fù)樣本所占所有負(fù)樣本總數(shù)的比例；
3. Precision纫塌、Recall诊县、F-Score
其中常見(jiàn)的Precision 和 Recall 定義如下：
實(shí)際上：
Recall = TPR，即當(dāng)前被分到正樣本類(lèi)別中措左，真實(shí)的正樣本占所有正樣本的比例翎冲，即召回率（召回了多少正樣本比例）个初；
Precision就是當(dāng)前劃分到正樣本類(lèi)別中拆火，被正確分類(lèi)的比例（即正式正樣本所占比例），就是我們一般理解意義上所關(guān)心的正樣本的分類(lèi)準(zhǔn)確率脸狸；
雖然Precision 和 Recall 的值我們預(yù)期是越高越好钳枕，但是這兩個(gè)值在某些場(chǎng)景下卻是存在互斥的缴渊，比如僅僅取一個(gè)樣本，并且這個(gè)樣本也確實(shí)是正樣本鱼炒，那么Precision = 1.0衔沼， 然而 Recall 可能就會(huì)比較低（在該樣本集中可能存在多個(gè)樣本）；相反昔瞧，如果取所有樣本指蚁，那么Recall = 1.0，而Precision就會(huì)很低了自晰。所以在這個(gè)意義上凝化，該兩處值需要有一定的約束變量來(lái)控制。
F-Score就是 Precision和 Recall的加權(quán)調(diào)和平均：
其中酬荞，當(dāng) α = 1時(shí)搓劫，則 F-Score 即為F1：
當(dāng)然 F1 綜合了 Precision 和 Recall 的結(jié)果瞧哟，因此當(dāng) F1/F-Score 較高時(shí)，說(shuō)明結(jié)果較為理想枪向。
4. ROC curve
有了如上的預(yù)備知識(shí)勤揩，現(xiàn)在來(lái)看ROC curve就比較容易了。關(guān)于ROC的由來(lái)秘蛔，以及相關(guān)概念這里就不在贅述陨亡，網(wǎng)上資料特別多，但是關(guān)鍵在于理解其中重要的相關(guān)概念深员。ROC是用來(lái)形象展現(xiàn)二分類(lèi)的效果的数苫。先看一個(gè)栗子：
十分清晰，對(duì)于ROC來(lái)說(shuō)辨液，橫坐標(biāo)就是FPR虐急，而縱坐標(biāo)就是TPR，因此可以想見(jiàn)滔迈，當(dāng) TPR越大止吁，而FPR越小時(shí)，說(shuō)明分類(lèi)結(jié)果是較好的燎悍。因此充分說(shuō)明ROC用于二分類(lèi)器描述的優(yōu)勢(shì)敬惦，但是除此之外，有一個(gè)新的問(wèn)題：
ROC曲線(xiàn)并不能完美的表征二分類(lèi)器的分類(lèi)性能谈山，那么如何評(píng)價(jià)俄删？
5. AUC
AUC 即ROC曲線(xiàn)下的面積，計(jì)算方式即為ROC Curve的微積分值奏路，其物理意義可以表示為：隨機(jī)給定一正一負(fù)兩個(gè)樣本畴椰，將正樣本排在負(fù)樣本之前的概率，因此AUC越大鸽粉，說(shuō)明正樣本越有可能被排在負(fù)樣本之前斜脂，即分類(lèi)額結(jié)果越好。
除了計(jì)算積分面積之外触机，還能如何計(jì)算AUC呢帚戳？
1）ROC Curve 面積計(jì)算法；
2）根據(jù)物理意義：對(duì)于所有的二元組合儡首，假設(shè)樣本集合包含 M個(gè)正樣本片任、N個(gè)負(fù)樣本，那么二元組即有 M* N個(gè)蔬胯，對(duì)于M* N個(gè)根據(jù)各自的Score計(jì)算所有的正樣本是否排在負(fù)樣本之前对供，正確的技術(shù)所占比例即為AUC；
6. ROC Curve 繪制
ROC本質(zhì)上就是在設(shè)定某一閾值之后笔宿，計(jì)算出該閾值對(duì)應(yīng)的TPR & FPR犁钟，便可以繪制出ROC上對(duì)應(yīng)的一個(gè)點(diǎn)，當(dāng)設(shè)定若干個(gè)閾值之后泼橘，便可以連成ROC曲線(xiàn)涝动，因此可以想見(jiàn)，當(dāng)所采樣的閾值越多炬灭，ROC Curve越平滑醋粟。
7. ROC的相關(guān)總結(jié)
- 1） ROC 可以反映二分類(lèi)器的總體分類(lèi)性能，但是無(wú)法直接從圖中識(shí)別出分類(lèi)最好的閾值重归，事實(shí)上最好的閾值也是視具體的場(chǎng)景所定米愿；
- 2）ROC Curve 對(duì)應(yīng)的AUC越大（或者說(shuō)對(duì)于連續(xù)凸函數(shù)的ROC曲線(xiàn)越接近(0,1) )說(shuō)明分類(lèi)性能越好;
- 3）ROC曲線(xiàn)一定是需要在 y = x之上的，否則就是一個(gè)不理想的分類(lèi)器鼻吮；
以上為ROC相關(guān)理解育苟，如有問(wèn)題請(qǐng)指出，謝謝椎木。
CSDN同步發(fā)布：CSDN同步發(fā)布
