R-CNN(Regions with CNN features)

測(cè)試

圖1 RCNN流程圖

1.? 輸入原始圖片

2.? 利用選擇性搜索(seletive search, SS)生成2000個(gè)候選區(qū)域(region propsal, RP)

3.? 將每個(gè)RP放縮到一定尺寸(如AlexNet 的227*227)看成,利用深度卷積神經(jīng)網(wǎng)絡(luò)提取特征

4. 基于步驟3提取的特征碉怔,利用SVM分類(lèi)围肥。

5. BB(可選)和 NMS(mon-maximun suppression)

訓(xùn)練

fine-tuning

1. 只使用放縮后的RP,在VOC上fine-tuning ImagNet的分類(lèi)模型镣陕,分21類(lèi)(20類(lèi) + 背景);

2. 將每個(gè)RP分正負(fù)樣本:稱(chēng)某個(gè)RP是正樣本, 如果它與某個(gè)GT的IoU大于0.5束昵,其余記為負(fù)的骄崩。也就是說(shuō)IoU大于0.5的候選區(qū)域才認(rèn)為包含物體聘鳞, 其它的被認(rèn)為是背景;

3. batch_size=128要拂,其中32是正樣本抠璃, 96是負(fù)樣本。這么做是因?yàn)闃?biāo)記為正的RP相對(duì)于背景來(lái)說(shuō)太少了脱惰;

分類(lèi)器

1. 分類(lèi)器是SVM搏嗡,不是DCNN的Softmax,原因看第三點(diǎn)。 記某個(gè)RP是負(fù)樣本采盒,若它與所有的GT的IoU都小于0.3(這個(gè)是根據(jù)val set通過(guò)網(wǎng)格搜索得到的旧乞, 注意這里和FT的閾值是不一樣的,一個(gè)是0.3磅氨,一個(gè)是0.5)良蛮。只有GT視為正樣本。其它的RP忽略悍赢。

2. 訓(xùn)練SVM采用難負(fù)樣本挖掘(hard negative mining)决瞳,因?yàn)橛?xùn)練數(shù)據(jù)太多啦內(nèi)存裝不下,而且難負(fù)樣本挖掘收斂速度快(mAP在一次遍歷后就停止增長(zhǎng)啦W笕ā)皮胡;

3. 論文里解釋?zhuān)婚_(kāi)始沒(méi)有考慮FT,直接使用ImagNet的分類(lèi)模型提取特征進(jìn)行SVM分類(lèi)赏迟,通過(guò)網(wǎng)格搜索得到0.3的閾值屡贺。后面考慮FT,如果采用0.3來(lái)區(qū)分正負(fù)樣本锌杀,得到的結(jié)果比0.5差很多甩栈。文中猜測(cè)是其實(shí)不是閾值大小的問(wèn)題而是數(shù)據(jù)量的問(wèn)題(數(shù)據(jù)太少)。現(xiàn)在取0.5能把數(shù)據(jù)集擴(kuò)充30倍,能避免網(wǎng)絡(luò)過(guò)擬合箩退,但是也引起了另一個(gè)問(wèn)題--就是目標(biāo)定位不精準(zhǔn)梨熙。

4. 還有一個(gè)問(wèn)題--就是為什么不用Softmax而用SVM, 這當(dāng)然是SVM的效果好啦(54.2%? > 50.9%)殴蹄。為什么會(huì)這樣? 文中猜測(cè)是因?yàn)镕T的正負(fù)樣本定義沒(méi)有突出目標(biāo)位置的精確猾担,而且Softmax在負(fù)樣本的選取上是隨機(jī)采樣的袭灯,而不像SVM的選取難負(fù)樣本的子集。

結(jié)果


表一 VOC2007 test 結(jié)果

w/o FT

沒(méi)有FT的情況下绑嘹,提取不同層檢測(cè)稽荧,結(jié)果fc6 > fc7 > pool5, 而且pool5和fc6的結(jié)果相差不大(才2%)工腋,這顯示了CNN的表征能力來(lái)自卷積層而不是參數(shù)占大多數(shù)的全連接層姨丈。

FT

FT的情況下,提取不同層檢測(cè)夷蚊,結(jié)果fc7 > fc6 > pool5构挤,而且fc6(7%)、fc7(~10%)的提高效果明顯惕鼓,而pool5不顯著(~3%)筋现,這說(shuō)明ImageNet的pool5的泛化性能很好,F(xiàn)T后性能提升主要來(lái)自全連接層。

BB(bounding-box regression)

圖2 假正分布圖


從第一行可以看到錯(cuò)誤主要來(lái)自定位誤差矾飞,從第三列可以看出采用BB后定位誤差下降不少

- BB在SVM之后一膨, NMS之前

P 代表RP, G指GT洒沦, d


下標(biāo)5代表pool5
根據(jù)val set lambda=1000

如果P遠(yuǎn)離所有的GT豹绪,則d的學(xué)習(xí)沒(méi)有意義。所以只學(xué)習(xí)至少與某個(gè)GT的IoU最大且IoU大于0.6的RP(根據(jù)val set)申眼。

參考文獻(xiàn)

1. ?Rich feature hierarchies for accurate object detection and semantic segmentation

2.?Training Region-based Object Detectors with Online Hard Example Mining

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末瞒津,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子括尸,更是在濱河造成了極大的恐慌巷蚪,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,817評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件濒翻,死亡現(xiàn)場(chǎng)離奇詭異屁柏,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)有送,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)淌喻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人雀摘,你說(shuō)我怎么就攤上這事裸删。” “怎么了届宠?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,354評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵烁落,是天一觀的道長(zhǎng)乘粒。 經(jīng)常有香客問(wèn)我豌注,道長(zhǎng),這世上最難降的妖魔是什么灯萍? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,498評(píng)論 1 284
  • 正文 為了忘掉前任轧铁,我火速辦了婚禮,結(jié)果婚禮上旦棉,老公的妹妹穿的比我還像新娘齿风。我一直安慰自己,他們只是感情好绑洛,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布救斑。 她就那樣靜靜地躺著,像睡著了一般真屯。 火紅的嫁衣襯著肌膚如雪脸候。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,829評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音运沦,去河邊找鬼泵额。 笑死,一個(gè)胖子當(dāng)著我的面吹牛携添,可吹牛的內(nèi)容都是我干的嫁盲。 我是一名探鬼主播,決...
    沈念sama閱讀 38,979評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼烈掠,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼羞秤!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起左敌,我...
    開(kāi)封第一講書(shū)人閱讀 37,722評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤锥腻,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后母谎,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體瘦黑,經(jīng)...
    沈念sama閱讀 44,189評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評(píng)論 2 327
  • 正文 我和宋清朗相戀三年奇唤,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了幸斥。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,654評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡咬扇,死狀恐怖甲葬,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情懈贺,我是刑警寧澤经窖,帶...
    沈念sama閱讀 34,329評(píng)論 4 330
  • 正文 年R本政府宣布,位于F島的核電站梭灿,受9級(jí)特大地震影響画侣,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜堡妒,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評(píng)論 3 313
  • 文/蒙蒙 一配乱、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧皮迟,春花似錦搬泥、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,762評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至爆阶,卻和暖如春燥透,著一層夾襖步出監(jiān)牢的瞬間代赁,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,993評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工兽掰, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留芭碍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,382評(píng)論 2 360
  • 正文 我出身青樓孽尽,卻偏偏與公主長(zhǎng)得像窖壕,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子杉女,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容