對于使用機器學(xué)習(xí)解決的大多數(shù)常見問題棘劣,通常有多種模型可用。每個人都有自己的怪癖楞遏,并根據(jù)各種因素表現(xiàn)不同茬暇。
每個模型都是通過其在數(shù)據(jù)集上的性能來判斷的,通常稱為“驗證/測試”數(shù)據(jù)集寡喝。這種性能是使用各種統(tǒng)計數(shù)據(jù)來衡量的 - 準(zhǔn)確性糙俗,精確度,召回等预鬓。選擇的統(tǒng)計數(shù)據(jù)通常特定于您的特定應(yīng)用和用例臼节。對于每個應(yīng)用程序,找到可用于客觀地比較模型的度量標(biāo)準(zhǔn)至關(guān)重要珊皿。
在本文中,我們將討論用于對象檢測問題的最常見的選擇度量 -?平均平均精度巨税,即mAP蟋定。
大多數(shù)情況下,指標(biāo)很容易理解和計算草添。例如驶兜,在二進制分類中,精度和召回用作簡單直觀的統(tǒng)計。
另一方面抄淑,對象檢測是一個相當(dāng)不同且有趣的問題屠凶。
即使您的物體探測器在圖像中檢測到貓,如果您無法找到圖像中的位置肆资,也無效矗愧。
既然你預(yù)測occurence?和?位置的圖像中的物體,這是相當(dāng)有趣的郑原,我們?nèi)绾斡嬎阍撝笜?biāo)唉韭。
首先,讓我們定義對象檢測問題犯犁,以便我們在同一頁面上属愤。
對象檢測問題
通過“物體檢測問題”這就是我的意思,
給定圖像酸役,找到其中的對象住诸,找到它們的位置并對它們進行分類。
對象檢測模型通常在一組固定的類上進行訓(xùn)練涣澡,因此模型只能定位和分類圖像中的那些類贱呐。
此外,對象的位置通常是邊界矩形的形式暑塑。
因此吼句,對象檢測涉及對象在圖像中的定位以及對該對象的分類。
評估對象檢測模型
為何選擇mAP逢捺?
對象檢測問題中的每個圖像都可以具有不同類的不同對象谁鳍。如前所述,需要評估模型的分類和本地化劫瞳。?
因此倘潜,圖像分類問題中使用的標(biāo)準(zhǔn)精度度量不能直接應(yīng)用于此。這是mAP(平均平均精度)進入圖片的地方志于。我希望在本文的最后涮因,您將能夠理解它的含義和代表。
關(guān)于地面真相
對于任何算法伺绽,總是與地面實況數(shù)據(jù)進行比較來評估度量养泡。我們只知道培訓(xùn)嗜湃,驗證和測試數(shù)據(jù)集的Ground Truth信息。
對于對象檢測問題澜掩,基本事實包括圖像购披,其中對象的類以及該圖像中每個對象**的真實邊界框。
一個例子
我們給出了實際圖像(jpg肩榕,png等)和其他注釋作為文本(邊界框坐標(biāo)(x刚陡,y,寬度和高度)和類)点把,紅色框和文本標(biāo)簽僅在此圖像上為我們繪制人類可視化橘荠。
因此,對于這個特定的例子郎逃,我們的模型在培訓(xùn)期間得到的是這個
3組數(shù)字定義了地面實況(假設(shè)這個圖像是1000x800px哥童,所有這些坐標(biāo)都以像素為單位,也近似)
讓我們親自動手褒翰,看看如何計算mAP贮懈。
我將在另一篇文章中介紹各種對象檢測算法,它們的方法和性能∮叛担現(xiàn)在朵你,假設(shè)我們有一個訓(xùn)練有素的模型,我們正在驗證集上評估其結(jié)果揣非。
計算mAP
讓我們說原始圖像和地面實況注釋就像我們在上面看到的那樣抡医。訓(xùn)練和驗證數(shù)據(jù)以相同的方式注釋所有圖像。
該模型將返回大量預(yù)測早敬,但在這些預(yù)測中忌傻,其中大多數(shù)將具有非常低的置信度得分,因此我們僅考慮高于某個報告的置信度得分的預(yù)測搞监。
我們通過模型運行原始圖像水孩,這是在置信度閾值處理后對象檢測算法返回的,
帶邊框的圖像 -
現(xiàn)在琐驴,由于我們?nèi)祟愂菍<椅矬w探測器俘种,我們可以說這些探測是正確的。但是我們?nèi)绾瘟炕兀?/p>
我們首先需要知道判斷每個檢測的正確性绝淡。告訴我們給定邊界框正確性的度量標(biāo)準(zhǔn)是 -?IoU?-?聯(lián)合交叉點宙刘。這是一個非常簡單的視覺量。
就單詞而言牢酵,有些人會說這個名字是自我解釋的荐类,但我們需要更好的解釋。我將以簡短的方式解釋IoU茁帽,對于那些真正需要詳細(xì)解釋的人玉罐,Adrian Rosebrock有一篇?非常好的文章?,你可以參考潘拨。
期票
Union上的交叉點是交叉點與預(yù)測框和地面實況框的并集之間的比率吊输。?該統(tǒng)計數(shù)據(jù)也稱為Jaccard指數(shù),由Paul Jaccard于20世紀(jì)初首次出版铁追。
為了獲得交集和并集值季蚂,我們首先將預(yù)測框覆蓋在地面實況框上。(見圖)
現(xiàn)在琅束,對于每個類扭屁,與預(yù)測框和地面實況框重疊的區(qū)域是交叉區(qū)域,并且跨越的總區(qū)域是聯(lián)合涩禀。