前言
前一篇文章講了Precision和Recall券勺。但只是在一個(gè)簡(jiǎn)單的二分分類的情況下進(jìn)行評(píng)價(jià)檀蹋。當(dāng)基于同一數(shù)據(jù)集多次訓(xùn)練/測(cè)試不同模型松申,或者基于多個(gè)數(shù)據(jù)集測(cè)試評(píng)價(jià)同一個(gè)模型,再或者執(zhí)行多分類的任務(wù)時(shí)俯逾,會(huì)產(chǎn)生很多混淆矩陣(上一篇文章劃分的矩陣贸桶,TP,FP,TN,FN)。
怎么評(píng)價(jià)桌肴?
macro-P宏查準(zhǔn)率和macro-R宏查全率以及macro-F1
由上面公式我們可以看出皇筛,就是對(duì)獲得的多個(gè)混淆矩陣,分別求得P和R坠七,然后算術(shù)平均水醋,獲得macro-P 和 macro-R。macro-F1則是由macro-P 和 macro-R計(jì)算得來(lái)彪置。
micro-P微查準(zhǔn)率和micro-P微查全率以及micro-F1
與上面的宏不同拄踪,微查準(zhǔn)查全,先將多個(gè)混淆矩陣的TP,FP,TN,FN對(duì)應(yīng)位置求平均拳魁,然后按照P和R的公式求得micro-P和micro-R惶桐。最后根據(jù)micro-P和micro-R求得micro-F1
Average Precision (AP)
AP是對(duì)不同召回率點(diǎn)(查全率Recall)上的Precision進(jìn)行平均。
- 未插值的AP: 某個(gè)查詢Q共有6個(gè)相關(guān)結(jié)果潘懊,某系統(tǒng)排序返回了5篇相關(guān)文檔姚糊,其位置分別是第1,第2卦尊,第5叛拷,第10,第20位岂却,則AP=(1/1+2/2+3/5+4/10+5/20+0)/6
- 插值的AP:在召回率分別為0,0.1,0.2,…,1.0的十一個(gè)點(diǎn)上的正確率求平均忿薇,等價(jià)于11點(diǎn)平均
- 只對(duì)返回的相關(guān)文檔進(jìn)行計(jì)算的AP, AP=(1/1+2/2+3/5+4/10+5/20)/5裙椭,傾向那些快速返回結(jié)果的系統(tǒng),沒(méi)有考慮召回率署浩。
Mean Average Precision(mAP)
上文可以看出揉燃,AP只是對(duì)一個(gè)混淆矩陣進(jìn)行計(jì)算的〗疃埃基于多個(gè)數(shù)據(jù)集測(cè)試時(shí)炊汤,或者執(zhí)行多分類任務(wù)時(shí)(比如目標(biāo)檢測(cè)算法中,有很多分類對(duì)象)弊攘,會(huì)產(chǎn)生多個(gè)AP抢腐,那么,參照macro-P的計(jì)算方法襟交,將多個(gè)AP進(jìn)行平均迈倍,得到mAP。