參考網(wǎng)站
Keypoint Evaluation
本篇描述了COCO數(shù)據(jù)集的 Keypoint估計 的度量方法，提供的估計代碼可以用于獲得公共驗證集的估計結(jié)果护赊，但是測試集的真實標(biāo)注是隱藏的惠遏，要想獲得測試集上的評估則需要上傳代碼至服務(wù)器
綜述
COCO關(guān)節(jié)點檢測需要同時檢測目標(biāo)并定位 Keypoint 的坐標(biāo)，同時進行檢測和關(guān)節(jié)點估計的任務(wù)相對來說較為新穎骏啰，我們受目標(biāo)檢測度量方法的啟發(fā)爽哎，采用了了一種新奇的度量方法。簡單地說器一，就是將這項任務(wù)看作是 Keypoint detection ，將預(yù)測算法看作是 Keypoint detector厨内，在此之前祈秕，建議先會看一下有關(guān) Object detection 的度量方法
Keypoint detection 度量方法的核心思想就是模仿 Object detection 的度量方法 : average precision (AP) and average recall (AR)和他們的變種渺贤。所有這些度量方法的核心都是去檢測真實目標(biāo)和預(yù)測目標(biāo)之間的相似度。在 Object detection 中请毛，IoU 是作為一種相似度度量志鞍，它定義了在真實目標(biāo)和預(yù)測值目標(biāo)之間的匹配程度并允許計算 precision-recall 曲線。為了將 AP/AR 應(yīng)用到關(guān)節(jié)點檢測方仿，我們只需要定義一個相似的度量方法固棚，于是我們就定義了一個類似于 IoU 的 OKS(object keypoint similarity) 方法
AP、AR仙蚜、mAP此洲、mAR、Precision-Recall曲線
-
為什么同時需要準(zhǔn)確率和召回率
例如委粉，有一個池塘呜师，里面共有1000條魚，含100條鯽魚贾节。機器學(xué)習(xí)分類系統(tǒng)將這1000條魚全部分類為“不是鯽魚”汁汗，那么準(zhǔn)確率也有90%（顯然這樣的分類系統(tǒng)是失敗的），然而查全率為0%栗涂，因為沒有鯽魚樣本被分對知牌。這個例子顯示出一個成功的分類系統(tǒng)必須同時考慮Precision和Recall，尤其是面對一個不平衡分類問題斤程。
分類目的： 取出測試集中所有飛機的圖片角寸，而不是大雁的圖片。
tp(true positives):飛機的圖片被正確識別為飛機（好瓜）
tn(true nagetives):大雁的圖片沒有被識別暖释，正確認(rèn)為它們是大雁（壞瓜）
fp(false positives):大雁的圖片被錯誤的預(yù)測為飛機（壞瓜被當(dāng)做好瓜袭厂，實際是壞瓜）
fn(false nagetives):飛機的圖片沒有被識別出來，被錯誤的認(rèn)為是大雁（好瓜被當(dāng)做壞瓜球匕，實際是好瓜）
true:好瓜是好瓜纹磺，壞瓜是壞瓜（預(yù)測對了）
false:好瓜當(dāng)做壞瓜，壞瓜當(dāng)做好瓜（預(yù)測錯了）
positives:被預(yù)測為好瓜（好瓜+壞瓜當(dāng)做好瓜）
nagetives:被預(yù)測為壞瓜（壞瓜+好瓜當(dāng)做壞瓜）
-
AP(average precision) : 挑出來的西瓜中有多少是好瓜
- mAP(mean average precision) : 針對于所有類別的AP
-
AR(average recall) : 所有好瓜中有多少比例被挑出來
-
mAR : mean average recall（針對于所有類別）
image.png
Object Keypoint Similarity（OKS）
- 真實關(guān)節(jié)點的格式 :
其中為Keypoint的坐標(biāo)亮曹，
為可見標(biāo)志
: 未標(biāo)注點
: 標(biāo)注了但是圖像中不可見（例如遮擋）
: 標(biāo)注了并圖像可見
實際預(yù)測時橄杨，不要求預(yù)測每個關(guān)節(jié)點的可見性
Object Keypoint Similarity (OKS)
是標(biāo)注和預(yù)測關(guān)節(jié)點之間的歐氏距離
為標(biāo)準(zhǔn)差
每個關(guān)節(jié)點的相似度都會在之間，完美的預(yù)測將會得到
照卦，預(yù)測值與真實值差距太大將會得到
Tuning OKS
我們通過調(diào)整使得
更符合直覺意義并更容易描述相似度量式矫，首先，使用5000多余的標(biāo)注圖片組成驗證集役耕，對于隸屬于
類型的每個關(guān)節(jié)點都定義了一個與目標(biāo)尺度
相關(guān)的標(biāo)準(zhǔn)差采转。計算標(biāo)準(zhǔn)差
，不同的關(guān)節(jié)點有著相差極大的
: 位于身體上的關(guān)節(jié)點(shoulders, knees, hips, etc.)的
要大于位于頭部上的關(guān)節(jié)點(eyes, noses, ears)
設(shè)置，經(jīng)如此設(shè)置故慈，當(dāng)標(biāo)準(zhǔn)差為原來的(
)一板熊、二、三倍時察绷，代入公式可以得到
的值為
干签，剛好為正態(tài)分布。根據(jù)68-95-99.7法則拆撼，設(shè)置
意味著68%, 95%, 99.7%標(biāo)注的關(guān)節(jié)點將會有0.88, 0.61, 0.32以上的相似度（實際測得為75%, 95%, 99.7%）
Metrics
