多分類的評(píng)價(jià)指標(biāo)Macro-P/R和Micro-P/R以及Average Precision(AP)和mAP

前言

前一篇文章講了Precision和Recall券勺。但只是在一個(gè)簡(jiǎn)單的二分分類的情況下進(jìn)行評(píng)價(jià)檀蹋。當(dāng)基于同一數(shù)據(jù)集多次訓(xùn)練/測(cè)試不同模型松申,或者基于多個(gè)數(shù)據(jù)集測(cè)試評(píng)價(jià)同一個(gè)模型,再或者執(zhí)行多分類的任務(wù)時(shí)俯逾,會(huì)產(chǎn)生很多混淆矩陣(上一篇文章劃分的矩陣贸桶,TP,FP,TN,FN)。
怎么評(píng)價(jià)桌肴?

macro-P宏查準(zhǔn)率和macro-R宏查全率以及macro-F1

marcoP = \frac{1}{n}\sum_1^nP_i
marcoR = \frac{1}{n}\sum_1^nR_i
marcoF1 = \frac{2 \times macroP \times macroR}{macroP + macroR}

公式1.png

由上面公式我們可以看出皇筛,就是對(duì)獲得的多個(gè)混淆矩陣,分別求得P和R坠七,然后算術(shù)平均水醋,獲得macro-P 和 macro-R。macro-F1則是由macro-P 和 macro-R計(jì)算得來(lái)彪置。

micro-P微查準(zhǔn)率和micro-P微查全率以及micro-F1

與上面的宏不同拄踪,微查準(zhǔn)查全,先將多個(gè)混淆矩陣的TP,FP,TN,FN對(duì)應(yīng)位置求平均拳魁,然后按照P和R的公式求得micro-P和micro-R惶桐。最后根據(jù)micro-P和micro-R求得micro-F1
microP = \frac{\overline{TP}}{\overline{TP} \times \overline{FP}}
microR = \frac{\overline{TP}}{\overline{TP} \times \overline{FN}}
mircoF1 = \frac{2 \times microP \times microR}{microP + microR}

公式2.png

Average Precision (AP)

AP是對(duì)不同召回率點(diǎn)(查全率Recall)上的Precision進(jìn)行平均。

  1. 未插值的AP: 某個(gè)查詢Q共有6個(gè)相關(guān)結(jié)果潘懊,某系統(tǒng)排序返回了5篇相關(guān)文檔姚糊,其位置分別是第1,第2卦尊,第5叛拷,第10,第20位岂却,則AP=(1/1+2/2+3/5+4/10+5/20+0)/6
  2. 插值的AP:在召回率分別為0,0.1,0.2,…,1.0的十一個(gè)點(diǎn)上的正確率求平均忿薇,等價(jià)于11點(diǎn)平均
  3. 只對(duì)返回的相關(guān)文檔進(jìn)行計(jì)算的AP, AP=(1/1+2/2+3/5+4/10+5/20)/5裙椭,傾向那些快速返回結(jié)果的系統(tǒng),沒(méi)有考慮召回率署浩。

Mean Average Precision(mAP)

上文可以看出揉燃,AP只是對(duì)一個(gè)混淆矩陣進(jìn)行計(jì)算的〗疃埃基于多個(gè)數(shù)據(jù)集測(cè)試時(shí)炊汤,或者執(zhí)行多分類任務(wù)時(shí)(比如目標(biāo)檢測(cè)算法中,有很多分類對(duì)象)弊攘,會(huì)產(chǎn)生多個(gè)AP抢腐,那么,參照macro-P的計(jì)算方法襟交,將多個(gè)AP進(jìn)行平均迈倍,得到mAP。
mAP = \frac{1}{n}\sum_1^n(AP)_i

image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末捣域,一起剝皮案震驚了整個(gè)濱河市啼染,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌焕梅,老刑警劉巖迹鹅,帶你破解...
    沈念sama閱讀 211,265評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異贞言,居然都是意外死亡斜棚,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門蜗字,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)打肝,“玉大人,你說(shuō)我怎么就攤上這事挪捕〈炙螅” “怎么了?”我有些...
    開封第一講書人閱讀 156,852評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵级零,是天一觀的道長(zhǎng)断医。 經(jīng)常有香客問(wèn)我,道長(zhǎng)奏纪,這世上最難降的妖魔是什么鉴嗤? 我笑而不...
    開封第一講書人閱讀 56,408評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮序调,結(jié)果婚禮上醉锅,老公的妹妹穿的比我還像新娘。我一直安慰自己发绢,他們只是感情好硬耍,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,445評(píng)論 5 384
  • 文/花漫 我一把揭開白布垄琐。 她就那樣靜靜地躺著,像睡著了一般经柴。 火紅的嫁衣襯著肌膚如雪狸窘。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,772評(píng)論 1 290
  • 那天坯认,我揣著相機(jī)與錄音翻擒,去河邊找鬼。 笑死牛哺,一個(gè)胖子當(dāng)著我的面吹牛陋气,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播荆隘,決...
    沈念sama閱讀 38,921評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼恩伺,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了椰拒?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,688評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤凰荚,失蹤者是張志新(化名)和其女友劉穎燃观,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體便瑟,經(jīng)...
    沈念sama閱讀 44,130評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡缆毁,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,467評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了到涂。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片脊框。...
    茶點(diǎn)故事閱讀 38,617評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖践啄,靈堂內(nèi)的尸體忽然破棺而出浇雹,到底是詐尸還是另有隱情,我是刑警寧澤屿讽,帶...
    沈念sama閱讀 34,276評(píng)論 4 329
  • 正文 年R本政府宣布昭灵,位于F島的核電站,受9級(jí)特大地震影響伐谈,放射性物質(zhì)發(fā)生泄漏烂完。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,882評(píng)論 3 312
  • 文/蒙蒙 一诵棵、第九天 我趴在偏房一處隱蔽的房頂上張望抠蚣。 院中可真熱鬧,春花似錦履澳、人聲如沸嘶窄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,740評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)护侮。三九已至敌完,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間羊初,已是汗流浹背滨溉。 一陣腳步聲響...
    開封第一講書人閱讀 31,967評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留长赞,地道東北人晦攒。 一個(gè)月前我還...
    沈念sama閱讀 46,315評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像得哆,于是被迫代替她去往敵國(guó)和親脯颜。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,486評(píng)論 2 348