Guided Anchoring

titile Region Proposal by Guided Anchoring
url https://arxiv.org/pdf/1901.03278v1.pdf
動(dòng)機(jī) 利用語義特征來指導(dǎo)anchor的生成代替?zhèn)鹘y(tǒng)的anchor方法(大量anchor)估脆,受物體在圖像分布不均勻啟發(fā)轻腺,物體的scale受圖像內(nèi)容影響
內(nèi)容 anchor設(shè)計(jì)的原則:
1篡悟、alignment:使用卷積特征作為anchor的表示特征,anchor中心需要與feature map像素位置一致
2儡司、consistency:feature map不同位置對(duì)應(yīng)的anchor的感受野大小和語義范圍(大小和尺寸)要一致

傳統(tǒng)anchor設(shè)計(jì)的弊端:
1、不同的問題都用相同比例的anchor壳鹤,錯(cuò)誤的設(shè)計(jì)將會(huì)阻礙檢測(cè)的精度及速度
2盟劫、為了proposals保持較高的召回率,生成大量的anchors商架。其中大多數(shù)的anchor為 false candidates堰怨,與目標(biāo)無關(guān),同時(shí)也會(huì)占用大量的計(jì)算資源

GA貢獻(xiàn):
1蛇摸、新的anchor策略备图,可以預(yù)測(cè)任意形狀anchor
2、用兩個(gè)分解的條件分布計(jì)算anchor聯(lián)合分布,并設(shè)計(jì)兩個(gè)模塊
3揽涮、align:設(shè)計(jì)feature adaption module抠藕,根據(jù)底層anchor refine feature,保持一致性
4蒋困、high-quality proposals

Guided Anchoring:
兩條重要信息:(1)目標(biāo)在圖像中的區(qū)域 (2) 目標(biāo)的尺寸盾似、比例與location密切相關(guān)
1、選擇locations預(yù)測(cè)概率大于一定閾值的區(qū)域
2家破、選擇location最有可能的shape!
3颜说、FPN多層anchor生成,anchor 生成的參數(shù)在所有層特征共享
Anchor Location Prediction
location模型:1*1卷積得到objectness 分?jǐn)?shù)汰聋,接element-wise sigmoid得到概率,選擇概率大于閾值的location喊积,可以過濾90%的anchor烹困,并保持較高的recall

Anchor Shape Prediction:
與傳統(tǒng)anchor不同的在于,不改變anchor的位置乾吻,所以不會(huì)造成anchor和feature的misalignment髓梅;一個(gè)位置只預(yù)測(cè)一種形狀的anchor,因?yàn)閘ocations和shapes的密切聯(lián)系绎签,recall更高枯饿,對(duì)極端形狀的目標(biāo)更好(tall、wide)
直接預(yù)測(cè)w诡必、h取值范圍較大奢方,所以進(jìn)行變換
將取值范圍由[0,1000]變成[-1,1]
shape模型:1x1x2的卷積網(wǎng)絡(luò)預(yù)測(cè)dw,dh,通過element-wise的(2)式變換得到w,h

Anchor-Guided Feature Adaptation:
傳統(tǒng)方法:每個(gè)位置均勻共享相同尺寸的anchors爸舒,feature map學(xué)到連續(xù)的表示(consistency)蟋字。
本文方法:每個(gè)位置形狀不同,不能使用傳統(tǒng)的全卷積扭勉,因?yàn)檩^大anchor的特征應(yīng)編碼較大區(qū)域的特征鹊奖,小anchor特征應(yīng)編碼較小的區(qū)域特征。
設(shè)計(jì)基于每個(gè)獨(dú)立位置anchor形狀調(diào)整feature 形狀的anchor guided feature adaptation模塊:
anchor guided feature adaptation模塊:3x3的可變形卷積涂炎,通過anchor 形狀預(yù)測(cè)分支的offset結(jié)合原始feature map可變形卷積得到新的feature map忠聚,在新特征上進(jìn)行分類及回歸

Training:
Joint objective:
Anchor location targets:
binary label map:1表示anchor有效位置,0位無效位置
binary label map生成方法(利用ground-truth):
目標(biāo):目標(biāo)的中心附近anchors較多唱捣,較遠(yuǎn)處較少
1两蟀、將ground-truth bbox的坐標(biāo)由原圖映射到feature map
2、bbox區(qū)域定義:中心區(qū)域?yàn)檎龢颖綜R爷光,忽略區(qū)域ignore IR垫竞,外部區(qū)域負(fù)樣本OR。如Figure2
3、FPN:每層feature map只對(duì)應(yīng)特定尺寸的目標(biāo)欢瞪;如果feature map與目標(biāo)尺寸匹配活烙,分配CR。相同區(qū)域的相鄰層設(shè)置為IR遣鼓;多目標(biāo)overlap啸盏,CR>IR>OR;CR占很少部分骑祟,因此使用Focal Loss訓(xùn)練定位分支
Anchor shape targets:
1回懦、匹配anchor與ground-truth
由于沒有predefined anchor的寬高,計(jì)算IOU是一個(gè)問題
對(duì)于任意anchor位置(x0次企,y0)和ground-truth gt怯晕,vIoU(awh,gt)的分析表達(dá)式很復(fù)雜缸棵,難以在端到端網(wǎng)絡(luò)中高效實(shí)現(xiàn)
采樣w,h常用值舟茶,列舉w,h。計(jì)算采樣的anchor與ground truth IOU堵第,選取最大的IOU作為vIOU的近似

2吧凉、預(yù)測(cè)anchor的寬高
本文采樣9對(duì)不同尺寸及比例的(w,h)。并不直接回歸anchor的寬高
損失函數(shù)與原始近似相同踏志,由于anchor的位置固定阀捅,只優(yōu)化w,h

The Use of High-quality Proposals:
RPN及GA-RPN產(chǎn)生的anchors IOU的分布規(guī)律
GA-RPN優(yōu)勢(shì):
1、正proposals的數(shù)量更多针余。
2饲鄙、高IOU的proposals比例更有重要。

直接將RPN換作GA-RPN效果提升不大涵紊。用GA需要根據(jù)proposal分布調(diào)整訓(xùn)練樣本分布傍妒,所以調(diào)高了正負(fù)樣本比,選擇少的samples
實(shí)驗(yàn) Experimental Setting:
Implementation details:
1摸柄、backbone:ResNet50颤练,F(xiàn)PN
2、σ1 = 0.2, σ2 = 0.5驱负,loss:λ1 = 1, λ2 = 0.1

Results:
Ablation Study:

Model design
Anchor location
Anchor shape( total anchor number is reduced by 1/k)
Feature adaption
性能提升不僅是因?yàn)椴捎每勺兙矸e嗦玖,還因?yàn)榕浜狭藄hape prediction得到的offset

Alignment and consistency rule
The use of high-quality proposals(高IOU閾值,少proposals數(shù)量)
Hyper-parameters
1跃脊、As we sample 3, 9, 15 pairs to approximate Eq.(5), we respectively obtain AR@1000 68.3%, 68.5%, 68.5%.
2宇挫、We set λ2 = 0.1 to balance the loss terms by default. We obtain 68.4% with λ2 = 0.2 or 0.05 and 68.3% with λ2 = 0.02.
3、 We vary σ1 within [0.1, 0.5] and σ2 within [0.2, 1.0], and the performance remains comparable (between 68.1% and 68.5%)
思考
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末酪术,一起剝皮案震驚了整個(gè)濱河市器瘪,隨后出現(xiàn)的幾起案子翠储,更是在濱河造成了極大的恐慌,老刑警劉巖橡疼,帶你破解...
    沈念sama閱讀 219,490評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件援所,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡欣除,警方通過查閱死者的電腦和手機(jī)住拭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,581評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來历帚,“玉大人滔岳,你說我怎么就攤上這事⊥炖危” “怎么了谱煤?”我有些...
    開封第一講書人閱讀 165,830評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)禽拔。 經(jīng)常有香客問我趴俘,道長(zhǎng),這世上最難降的妖魔是什么奏赘? 我笑而不...
    開封第一講書人閱讀 58,957評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮太惠,結(jié)果婚禮上磨淌,老公的妹妹穿的比我還像新娘。我一直安慰自己凿渊,他們只是感情好梁只,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,974評(píng)論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著埃脏,像睡著了一般搪锣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上彩掐,一...
    開封第一講書人閱讀 51,754評(píng)論 1 307
  • 那天构舟,我揣著相機(jī)與錄音,去河邊找鬼堵幽。 笑死狗超,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的朴下。 我是一名探鬼主播努咐,決...
    沈念sama閱讀 40,464評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼殴胧!你這毒婦竟也來了渗稍?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎竿屹,沒想到半個(gè)月后报强,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,847評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡羔沙,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,995評(píng)論 3 338
  • 正文 我和宋清朗相戀三年躺涝,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扼雏。...
    茶點(diǎn)故事閱讀 40,137評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡坚嗜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出诗充,到底是詐尸還是另有隱情苍蔬,我是刑警寧澤,帶...
    沈念sama閱讀 35,819評(píng)論 5 346
  • 正文 年R本政府宣布蝴蜓,位于F島的核電站碟绑,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏茎匠。R本人自食惡果不足惜格仲,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,482評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望诵冒。 院中可真熱鬧凯肋,春花似錦、人聲如沸汽馋。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,023評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽豹芯。三九已至悄雅,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間铁蹈,已是汗流浹背宽闲。 一陣腳步聲響...
    開封第一講書人閱讀 33,149評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留木缝,地道東北人便锨。 一個(gè)月前我還...
    沈念sama閱讀 48,409評(píng)論 3 373
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像我碟,于是被迫代替她去往敵國和親放案。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,086評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 哲學(xué)(唯物主義概論)不僅要讓我們學(xué)會(huì)思考矫俺,去辯證事物吱殉,找出真相的一門學(xué)問掸冤,而且還能幫我們判斷所有事物的真假。在我看...
    摩爾萊斯閱讀 616評(píng)論 0 8
  • 先哲:亞里士多德語——求知是人類的本性友雳。 這里說的攀登稿湿,既不是少兒時(shí)期,與伙伴們成群結(jié)隊(duì)玩耍攀爬大樹的游戲...
    小徑晨輝_859d閱讀 1,141評(píng)論 14 44
  • 渺渺天際孤炊燈押赊,四野寂寥淡云紅饺藤。 寒鴉枯枝啼血處,嘯嘯北風(fēng)伴悲聲流礁。一滴寒水封萬里涕俗,凍破紅塵碎夢(mèng)縫。 寡人孤家蒼生笑...
    南瘋向北_9510閱讀 221評(píng)論 0 0
  • 以前我們常說越努力越幸運(yùn)元镀,今天我真正的感覺自己驗(yàn)證了這句話。在成為教師以來霎桅,我從孩子身上看到了努力的成果栖疑,...
    金塔499石錢錢閱讀 1,025評(píng)論 11 10