整體信息：

??? 這篇文章題目言簡(jiǎn)意賅，就非常吸引人眼球。不同于CornerNet預(yù)測(cè)一對(duì)角點(diǎn)得到bbox帝际，以及基于CornerNet改進(jìn)的CenterNet預(yù)測(cè)三個(gè)點(diǎn)得到bbox，本文提出的CenterNet同樣作為一種anchor-free的目標(biāo)檢測(cè)方法，化繁去簡(jiǎn)镀虐，直接將目標(biāo)作為一個(gè)點(diǎn)去預(yù)測(cè)，徹底丟掉了nms等后處理操作沟绪，而且將這種方法應(yīng)用到姿態(tài)估計(jì)和3D目標(biāo)檢測(cè)問(wèn)題上刮便。相對(duì)于一些偽Anchor-free，個(gè)人覺(jué)得這篇文章非常有創(chuàng)新點(diǎn)绽慈，考慮精度和速度trade-off恨旱，同時(shí)在coco上也取得不俗的成績(jī)：28.1%mAP/142FPS，37.4%mAP/52FPS坝疼，45.1%mAP/1.4FPS搜贤。

圖 1

簡(jiǎn)介

??? 目標(biāo)檢測(cè)驅(qū)動(dòng)了很多基于視覺(jué)的任務(wù)，如 實(shí)例分割钝凶，姿態(tài)估計(jì)仪芒，跟蹤，動(dòng)作識(shí)別耕陷。目前大部分檢測(cè)器都以bounding box軸對(duì)稱(chēng)框的形式（其實(shí)就是矩形）框住目標(biāo)掂名。對(duì)于每個(gè)目標(biāo)框，分類(lèi)器來(lái)確定每個(gè)框中是否是特定類(lèi)別目標(biāo)還是背景哟沫。

One stage detectors在圖像上滑動(dòng)復(fù)雜排列的可能bbox（即錨點(diǎn)）,然后直接對(duì)框進(jìn)行分類(lèi)铆隘，而不會(huì)指定框中內(nèi)容。

Two-stage detectors對(duì)每個(gè)潛在框重新計(jì)算圖像特征南用，然后將那些特征進(jìn)行分類(lèi)膀钠。

后處理，即 NMS（非極大值抑制）裹虫，通過(guò)計(jì)算Bbox間的IOU來(lái)刪除同個(gè)目標(biāo)的重復(fù)檢測(cè)框肿嘲。雖然基于NMS改進(jìn)的算法也有很多，但是這種后處理很難區(qū)分和訓(xùn)練筑公，因此現(xiàn)有大多檢測(cè)器都不是端到端可訓(xùn)練的雳窟。（個(gè)人覺(jué)得NMS的作用其實(shí)類(lèi)似于在語(yǔ)義分割中CRF的作用，都是對(duì)于算法的一種后處理。隨著分割精度的不斷提升封救，CRF已經(jīng)漸漸淡出人們眼球拇涤。同樣我相信在未來(lái)NMS這種后處理操作也會(huì)步入它的后塵。）

??? 本文通過(guò)目標(biāo)中心點(diǎn)來(lái)找到目標(biāo)（見(jiàn)圖2）誉结，然后在中心點(diǎn)位置回歸出目標(biāo)的一些屬性鹅士，例如：size, dimension, 3D extent, orientation, pose。 這樣就可以把目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)換為一個(gè)標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問(wèn)題惩坑。我們僅僅將圖像傳入全卷積網(wǎng)絡(luò)掉盅，得到一個(gè)熱力圖，熱力圖峰值點(diǎn)即中心點(diǎn)以舒，每個(gè)特征圖的峰值點(diǎn)位置預(yù)測(cè)了目標(biāo)的寬高信息趾痘。模型訓(xùn)練采用標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)，推理僅僅是單個(gè)前向傳播網(wǎng)絡(luò)蔓钟，不存在NMS的操作永票。

圖 2

相關(guān)工作??

???? 作者提出的方法與基于Anchor的one-stage方法相近±哪可以將feature map的中心點(diǎn)可看成形狀未知的錨點(diǎn)（見(jiàn)圖3）瓦侮。但存在幾個(gè)重要差別：

第一，分配的錨點(diǎn)僅僅是放在位置上佣谐，沒(méi)有尺寸框，也沒(méi)有人工設(shè)置的閾值做前后景分類(lèi)方妖。（像Faster RCNN會(huì)將與GT IOU >0.7的作為前景狭魂，<0.3的作為背景，其他不管）党觅；（減去超參數(shù)的設(shè)置雌澄，降低了調(diào)參的難度）

第二，每個(gè)目標(biāo)僅僅有一個(gè)正的錨點(diǎn)杯瞻，因此不需要NMS后處理镐牺，我們提取關(guān)鍵點(diǎn)特征圖上局部峰值點(diǎn)（local peaks）；

第三魁莉，CenterNet 相比較傳統(tǒng)目標(biāo)檢測(cè)而言（stride=16）睬涧，使用更大分辨率的輸出特征圖（stride=4），因此無(wú)需用到多重特征圖錨點(diǎn)（FPN架構(gòu)）旗唁；

第四畦浓，相對(duì)于其他基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)方法相比（比如CornerNet,ExtremeNet），無(wú)需grouping過(guò)程以及后處理操作（這些操作會(huì)拖慢速度）检疫；

圖 3

算法實(shí)現(xiàn)

損失函數(shù)：

中心點(diǎn)預(yù)測(cè)的損失函數(shù)：

Focal loss+邏輯回歸

? ? ?? 其中 α 和 β 是Focal Loss的超參數(shù)讶请，N是圖像的關(guān)鍵點(diǎn)數(shù)量，用于將所有的positive focal loss標(biāo)準(zhǔn)化為1屎媳。在這篇論文中和分別是2和4夺溢。這個(gè)損失函數(shù)是Focal Loss的修改版论巍，適用于CenterNet。

? ? ?? 這個(gè)損失也比較關(guān)鍵风响，需要重點(diǎn)說(shuō)一下嘉汰。和Focal Loss類(lèi)似，對(duì)于easy example的中心點(diǎn)钞诡，適當(dāng)減少其訓(xùn)練比重也就是loss值郑现，當(dāng)=1時(shí)，就充當(dāng)了矯正的作用荧降，假如接近于1接箫，則說(shuō)明是個(gè)較為容易分辨的點(diǎn)，那么就會(huì)使得其比重降低朵诫。反之對(duì)于難分的點(diǎn)（接近于0）說(shuō)明對(duì)它的判斷能力還不夠辛友，則其權(quán)重變大！

高斯中心

????

????? 對(duì)于Otherwise這種情況剪返，我來(lái)簡(jiǎn)單分析一下：之前提到了是由一個(gè)高斯核生成（如上圖）废累，在中心點(diǎn)=1，從中心點(diǎn)周?chē)鷶U(kuò)散會(huì)由1慢慢變小脱盲，而不是并不是直接為0邑滨。因此，與中心點(diǎn)越近钱反，它的值越小掖看，反之越大。于中心點(diǎn)越近面哥，它的值越大哎壳；越遠(yuǎn)越小。與兩者相互制約尚卫，那它們是怎么協(xié)同工作的呢归榕？

情況1：

（1）對(duì)于距離實(shí)際中心點(diǎn)近的點(diǎn)吱涉，值接近于1刹泄，我們假設(shè)其為0.9。但是在預(yù)測(cè)時(shí)將 預(yù)測(cè)為接近于1的值怎爵，顯然是不對(duì)的循签，它檢測(cè)出來(lái)的值應(yīng)該為0 (因?yàn)榇藭r(shí)我們是在otherwise的情況下，≠1）疙咸。因此采用懲罰一下县匠，加大此loss的權(quán)重。但是因?yàn)檫@個(gè)檢測(cè)到的點(diǎn)距離實(shí)際的中心點(diǎn)很近了，檢測(cè)到的 的值接近于1也說(shuō)得過(guò)去乞旦，就使用安撫一下贼穆，將其權(quán)重減少一點(diǎn)（求求你不要這么針對(duì)我）。整個(gè)流程類(lèi)似于打個(gè)巴掌給個(gè)糖兰粉，很有意思故痊。

（2）對(duì)于距離實(shí)際中心點(diǎn)較遠(yuǎn)的點(diǎn)，值接近于0玖姑，我們假設(shè)其為0.1愕秫。但是在預(yù)測(cè)時(shí)將預(yù)測(cè)為接近于1的值，顯然又又又是不對(duì)的焰络，它應(yīng)該檢測(cè)到的值為0戴甩，需要用來(lái)懲罰一下你咯。（這里有些繞闪彼，大意就是反正在otherwise情況下甜孤，你就是不能把我預(yù)測(cè)為1）。如果預(yù)測(cè)出來(lái)的接近0畏腕，那么差不多了（孺子可教也）缴川，用來(lái)安撫一下（我少針對(duì)你一點(diǎn)點(diǎn)）。對(duì)于的話描馅，因?yàn)榇藭r(shí)預(yù)測(cè)距離中心點(diǎn)較遠(yuǎn)的點(diǎn)把夸，所以這一項(xiàng)使距離中心點(diǎn)越遠(yuǎn)的點(diǎn)的損失比重占的越大，而越近的點(diǎn)損失比重則越小铭污，這相當(dāng)于弱化了實(shí)際中心點(diǎn)周?chē)钠渌?fù)樣本的損失比重恋日，相當(dāng)于處理正負(fù)樣本的不平衡了。

綜上所述：與用來(lái)解決簡(jiǎn)單樣本（包括簡(jiǎn)單負(fù)樣本和正樣本）主導(dǎo)反向傳播時(shí)梯度這一問(wèn)題（因?yàn)楹?jiǎn)單數(shù)量太多了况凉，雖然簡(jiǎn)單樣本好判斷，但是遭不住人海戰(zhàn)術(shù)案骺健５笕蕖！？臼颉Ｖ小）。而則用來(lái)處理正負(fù)樣本的不平衡問(wèn)題(因?yàn)槊恳粋€(gè)物體只有一個(gè)實(shí)際中心點(diǎn)速蕊，其余的都是負(fù)樣本嫂丙，但是負(fù)樣本相較于一個(gè)中心點(diǎn)顯得有很多。所以它只在otherwise情況下使用)规哲。

???? 此外論文中有解釋?zhuān)簜鹘y(tǒng)的基于anchor的檢測(cè)方法（如Fast-RCNN）跟啤，通常我們選擇與標(biāo)記框IoU大于0.7的作為正樣本，IoU小于0.3的則標(biāo)記為負(fù)樣本，如圖3隅肥。這樣設(shè)定好box之后竿奏，在訓(xùn)練過(guò)程中使用Mining機(jī)制將positive和negative的box比例限制為1:3，來(lái)解決正負(fù)樣本不均衡問(wèn)題腥放。而在CenterNet中泛啸，每個(gè)中心點(diǎn)只對(duì)應(yīng)一個(gè)目標(biāo)的位置，不需要使用overlap的判斷秃症。那么怎么去減少正負(fù)樣本的比例呢候址？CenterNet是采用Focal Loss的思想，在實(shí)際訓(xùn)練中种柑，中心點(diǎn)的周?chē)渌c(diǎn)(negative center pointer)的損失則是經(jīng)過(guò)衰減后的損失(上文提到的)岗仑，而目標(biāo)的長(zhǎng)和寬是經(jīng)過(guò)對(duì)應(yīng)當(dāng)前中心點(diǎn)的w和h回歸得到的。

目標(biāo)中心位置損失

??? ? 因?yàn)樽髡邔?duì)原始圖像進(jìn)行了Stride=4的下采樣（R=4）莹规，這樣會(huì)使得特征圖重新映射到原始圖像上的時(shí)候會(huì)帶來(lái)精度誤差（列如向下取整赔蒲，向上取整，在feature map上只有1個(gè)像素的差距良漱，對(duì)應(yīng)原圖是四個(gè)像素點(diǎn)的差距）舞虱，因此對(duì)于每一個(gè)中心點(diǎn)，作者額外采用了一個(gè)local offset來(lái)進(jìn)行偏差補(bǔ)償母市。

local offset

???? 所有類(lèi)的中心點(diǎn)共享offset prediction矾兜，這個(gè)偏置值(offset)用L1 loss來(lái)訓(xùn)練：（是否可以換成smooth L1或者別的損失函數(shù)呢？患久？椅寺？）：

loss-offset

???? 是原始圖像經(jīng)過(guò)下采樣得到的，蒋失。對(duì)于[512,512]的圖像如果 R=4的話返帕，則其下采樣的feature map大小為[128,128]。下采樣之后對(duì)Label圖像用高斯分布來(lái)在圖像上撒熱點(diǎn)，怎么撒呢？首先將box坐標(biāo)也轉(zhuǎn)化為與[128,128]大小圖像匹配的形式垮耳，但是因?yàn)槲覀冊(cè)嫉腶nnotation是浮點(diǎn)數(shù)的形式(COCO數(shù)據(jù)集)蕉拢，使用轉(zhuǎn)化后的box計(jì)算出來(lái)的中心點(diǎn)也是浮點(diǎn)型的，假設(shè)計(jì)算出來(lái)的中心點(diǎn)是[98.97667,2.3566666]。

?? ? ? 但是在前向傳播過(guò)程中，假設(shè)我們輸入圖像大小為[640,320]，然后resize成[512,512]敞峭，然后下采樣4倍成[128,128]。最終預(yù)測(cè)使用的圖像大小是[128,128]蝉仇。假設(shè)模型預(yù)測(cè)出與實(shí)際GT的中心點(diǎn)[98.97667,2.3566666]對(duì)應(yīng)的點(diǎn)是[98,2]旋讹，坐標(biāo)是（x,y), 對(duì)應(yīng)類(lèi)別是c殖蚕，則=1，為某個(gè)物體的中心骗村。直接映射為[512,512]的形式肯定會(huì)有精度損失嫌褪，為了解決這個(gè)就引入了Loss-offset。

????? 表達(dá)式中絕對(duì)值里第一項(xiàng)是模型預(yù)測(cè)出來(lái)的偏置胚股，第二項(xiàng)相當(dāng)于GT（向下取整后與label真實(shí)的差距）

目標(biāo)大小損失

推理階段

??? CenterNet在訓(xùn)練過(guò)程中笼痛，如果同一個(gè)類(lèi)的不同物體的高斯分布點(diǎn)互相有重疊，那么則在重疊的范圍內(nèi)選取較大的高斯點(diǎn)琅拌。

總結(jié)

???? ?? 目前缨伊，我在公司里預(yù)研一些輕量化的網(wǎng)絡(luò)來(lái)提升檢測(cè)算法的速度。了解到Anchor-Free在學(xué)術(shù)界炙手可熱进宝，但確實(shí)在生產(chǎn)中確實(shí)比較少見(jiàn)刻坊。所以我就預(yù)研了一些算法。這篇文章相對(duì)于一些為了創(chuàng)新而創(chuàng)新的Anchor-free系列論文党晋，我覺(jué)得它的工作是特別特別好的谭胚，對(duì)今后的學(xué)習(xí)以及工作上大有裨益。文中的idea雖然乍一看不是特別有新意未玻，相信很多人可能也有過(guò)類(lèi)似拍腦袋的想法灾而，但是將它實(shí)現(xiàn)出來(lái)還是非常不容易的。我復(fù)現(xiàn)了一下論文代碼扳剿，目測(cè)精度應(yīng)該可以達(dá)到論文中的要求旁趟。作者在文中沒(méi)有嘗試輕量級(jí)的模型，但是個(gè)人覺(jué)得這篇文章的思想對(duì)于提升模型速度是有效果的庇绽。后續(xù)也會(huì)嘗試對(duì)其進(jìn)行一些改進(jìn)锡搜。

?????? 論文中其實(shí)有些地方的設(shè)計(jì)，個(gè)人不太贊同瞧掺。列如：它在對(duì)目標(biāo)進(jìn)行長(zhǎng)寬回歸的時(shí)候?yàn)槭裁床贿M(jìn)行歸一化處理耕餐？normalize the scale，以前的論文都會(huì)加log或者其他歸一化方式辟狈，我覺(jué)得本文方法對(duì)目標(biāo)尺度并沒(méi)有做到很魯棒肠缔？可能是作者試了之后，沒(méi)效果就沒(méi)繼續(xù)采用上陕？后續(xù)我會(huì)嘗試一下用IOU Loss或者長(zhǎng)寬歸一化的方法對(duì)loss函數(shù)進(jìn)行改進(jìn)桩砰。

?????? 因?yàn)榈谝淮螌?xiě)簡(jiǎn)書(shū)拓春，很多地方是從別的博主借鑒過(guò)來(lái)的释簿，望見(jiàn)諒！