測量物體檢測模型 - mAP - 什么是平均精度桑逝?

對于使用機器學(xué)習(xí)解決的大多數(shù)常見問題棘劣,通常有多種模型可用。每個人都有自己的怪癖楞遏,并根據(jù)各種因素表現(xiàn)不同茬暇。

每個模型都是通過其在數(shù)據(jù)集上的性能來判斷的,通常稱為“驗證/測試”數(shù)據(jù)集寡喝。這種性能是使用各種統(tǒng)計數(shù)據(jù)來衡量的 - 準(zhǔn)確性糙俗,精確度,召回等预鬓。選擇的統(tǒng)計數(shù)據(jù)通常特定于您的特定應(yīng)用和用例臼节。對于每個應(yīng)用程序,找到可用于客觀地比較模型的度量標(biāo)準(zhǔn)至關(guān)重要珊皿。

在本文中,我們將討論用于對象檢測問題的最常見的選擇度量 -?平均平均精度巨税,即mAP蟋定。

大多數(shù)情況下,指標(biāo)很容易理解和計算草添。例如驶兜,在二進制分類中,精度和召回用作簡單直觀的統(tǒng)計。

另一方面抄淑,對象檢測是一個相當(dāng)不同且有趣的問題屠凶。

即使您的物體探測器在圖像中檢測到貓,如果您無法找到圖像中的位置肆资,也無效矗愧。

既然你預(yù)測occurence??位置的圖像中的物體,這是相當(dāng)有趣的郑原,我們?nèi)绾斡嬎阍撝笜?biāo)唉韭。

首先,讓我們定義對象檢測問題犯犁,以便我們在同一頁面上属愤。

對象檢測問題

通過“物體檢測問題”這就是我的意思,

給定圖像酸役,找到其中的對象住诸,找到它們的位置并對它們進行分類。

對象檢測模型通常在一組固定的類上進行訓(xùn)練涣澡,因此模型只能定位和分類圖像中的那些類贱呐。

此外,對象的位置通常是邊界矩形的形式暑塑。

因此吼句,對象檢測涉及對象在圖像中的定位以及對該對象的分類


圖1 - 幾個突出的圖像處理問題圖像取自斯坦福大學(xué)的CS231n課程幻燈片(講座8)如下所述事格,平均平均精度特別用于我們預(yù)測對象的位置以及類的算法惕艳。因此,從圖1中驹愚,我們可以看到它對評估本地化模型远搪,對象檢測模型和分割模型很有用。

評估對象檢測模型

為何選擇mAP逢捺?

對象檢測問題中的每個圖像都可以具有不同類的不同對象谁鳍。如前所述,需要評估模型的分類和本地化劫瞳。?

因此倘潜,圖像分類問題中使用的標(biāo)準(zhǔn)精度度量不能直接應(yīng)用于此。這是mAP(平均平均精度)進入圖片的地方志于。我希望在本文的最后涮因,您將能夠理解它的含義和代表。

關(guān)于地面真相

對于任何算法伺绽,總是與地面實況數(shù)據(jù)進行比較來評估度量养泡。我們只知道培訓(xùn)嗜湃,驗證和測試數(shù)據(jù)集的Ground Truth信息。

對于對象檢測問題澜掩,基本事實包括圖像购披,其中對象類以及圖像中每個對象**真實邊界框

一個例子


人類可視化的基礎(chǔ)事實

我們給出了實際圖像(jpg肩榕,png等)和其他注釋作為文本(邊界框坐標(biāo)(x刚陡,y,寬度和高度)和類)点把,紅色框和文本標(biāo)簽僅在此圖像上為我們繪制人類可視化橘荠。

因此,對于這個特定的例子郎逃,我們的模型在培訓(xùn)期間得到的是這個


實際圖形

3組數(shù)字定義了地面實況(假設(shè)這個圖像是1000x800px哥童,所有這些坐標(biāo)都以像素為單位,也近似


讓我們親自動手褒翰,看看如何計算mAP贮懈。

我將在另一篇文章中介紹各種對象檢測算法,它們的方法和性能∮叛担現(xiàn)在朵你,假設(shè)我們有一個訓(xùn)練有素的模型,我們正在驗證集上評估其結(jié)果揣非。

計算mAP

讓我們說原始圖像和地面實況注釋就像我們在上面看到的那樣抡医。訓(xùn)練和驗證數(shù)據(jù)以相同的方式注釋所有圖像。

該模型將返回大量預(yù)測早敬,但在這些預(yù)測中忌傻,其中大多數(shù)將具有非常低的置信度得分,因此我們僅考慮高于某個報告的置信度得分的預(yù)測搞监。

我們通過模型運行原始圖像水孩,這是在置信度閾值處理后對象檢測算法返回的,

帶邊框的圖像 -


我們的模型結(jié)果

現(xiàn)在琐驴,由于我們?nèi)祟愂菍<椅矬w探測器俘种,我們可以說這些探測是正確的。但是我們?nèi)绾瘟炕兀?/p>

我們首先需要知道判斷每個檢測的正確性绝淡。告訴我們給定邊界框正確性的度量標(biāo)準(zhǔn)是 -?IoU?-?聯(lián)合交叉點宙刘。這是一個非常簡單的視覺量。

就單詞而言牢酵,有些人會說這個名字是自我解釋的荐类,但我們需要更好的解釋。我將以簡短的方式解釋IoU茁帽,對于那些真正需要詳細(xì)解釋的人玉罐,Adrian Rosebrock有一篇?非常好的文章?,你可以參考潘拨。

期票

Union上的交叉點是交叉點與預(yù)測框和地面實況框的并集之間的比率吊输。?該統(tǒng)計數(shù)據(jù)也稱為Jaccard指數(shù),由Paul Jaccard于20世紀(jì)初首次出版铁追。

為了獲得交集和并集值季蚂,我們首先將預(yù)測框覆蓋在地面實況框上。(見圖)

現(xiàn)在琅束,對于每個類扭屁,與預(yù)測框和地面實況框重疊的區(qū)域是交叉區(qū)域,并且跨越的總區(qū)域是聯(lián)合涩禀。


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末料滥,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子艾船,更是在濱河造成了極大的恐慌葵腹,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,430評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屿岂,死亡現(xiàn)場離奇詭異践宴,居然都是意外死亡,警方通過查閱死者的電腦和手機爷怀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評論 3 398
  • 文/潘曉璐 我一進店門阻肩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人运授,你說我怎么就攤上這事烤惊。” “怎么了徒坡?”我有些...
    開封第一講書人閱讀 167,834評論 0 360
  • 文/不壞的土叔 我叫張陵撕氧,是天一觀的道長。 經(jīng)常有香客問我喇完,道長伦泥,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,543評論 1 296
  • 正文 為了忘掉前任锦溪,我火速辦了婚禮不脯,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘刻诊。我一直安慰自己防楷,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,547評論 6 397
  • 文/花漫 我一把揭開白布则涯。 她就那樣靜靜地躺著复局,像睡著了一般冲簿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上亿昏,一...
    開封第一講書人閱讀 52,196評論 1 308
  • 那天峦剔,我揣著相機與錄音,去河邊找鬼角钩。 笑死吝沫,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的递礼。 我是一名探鬼主播惨险,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼脊髓!你這毒婦竟也來了辫愉?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,671評論 0 276
  • 序言:老撾萬榮一對情侶失蹤供炼,失蹤者是張志新(化名)和其女友劉穎一屋,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體袋哼,經(jīng)...
    沈念sama閱讀 46,221評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡冀墨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,303評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了涛贯。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片诽嘉。...
    茶點故事閱讀 40,444評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖弟翘,靈堂內(nèi)的尸體忽然破棺而出虫腋,到底是詐尸還是另有隱情,我是刑警寧澤稀余,帶...
    沈念sama閱讀 36,134評論 5 350
  • 正文 年R本政府宣布悦冀,位于F島的核電站,受9級特大地震影響睛琳,放射性物質(zhì)發(fā)生泄漏盒蟆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,810評論 3 333
  • 文/蒙蒙 一师骗、第九天 我趴在偏房一處隱蔽的房頂上張望历等。 院中可真熱鬧,春花似錦辟癌、人聲如沸寒屯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,285評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽寡夹。三九已至处面,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間要出,已是汗流浹背鸳君。 一陣腳步聲響...
    開封第一講書人閱讀 33,399評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留患蹂,地道東北人。 一個月前我還...
    沈念sama閱讀 48,837評論 3 376
  • 正文 我出身青樓砸紊,卻偏偏與公主長得像传于,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子醉顽,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,455評論 2 359

推薦閱讀更多精彩內(nèi)容