R-CNN詳解

Test的過程:

1. 對給定的一張圖片,通過Selective Search得到2000個(gè)Proposals

2. 每一個(gè)Proposal都經(jīng)過已經(jīng)訓(xùn)練好的CNN網(wǎng)絡(luò)垛孔, 得到fc7層的features,4096-dimension对供,即2000*4096

3. 用SVM分類器(4096*K)得到相應(yīng)的score调榄,即2000*K

4. 用CNN中pool5的特征恃慧,利用已經(jīng)訓(xùn)練好的權(quán)值趟咆,得到bounding box的修正值凹蜈,原先的proposal經(jīng)過修正得到新的proposal的位置

5. 對每一類別的scores,進(jìn)行non-maximum suppression忍啸。具體來講,對于2000*K中的每一列履植,進(jìn)行nms计雌。對于特定的這一列(這一類),選取值最大的對應(yīng)的proposal玫霎,計(jì)算其他proposal跟此proposal的IOU凿滤,剔除那些重合很多的proposal。再從剩下的proposal里選取值最大的庶近,然后再進(jìn)行剔除翁脆,如此反復(fù)進(jìn)行,直到?jīng)]有剩下的proposal鼻种。K列(K類)都進(jìn)行這樣的操作反番,即可得到最終的bounding box和每一個(gè)bounding box對應(yīng)的類別及其score值。

Training的過程:

1. 對訓(xùn)練集中所有的圖片,用selective search提取出各圖片對應(yīng)的2000個(gè)proposal罢缸,并保存篙贸。(圖片路徑+bounding box信息)

2. 對每張圖片,根據(jù)圖片中bounding box的ground truth信息枫疆,給該圖片的2000個(gè)proposal賦類標(biāo)簽爵川,并保存。(這2000個(gè)proposal息楔,如果跟ground truth中的proposal的IoU值超過了閾值寝贡,則把ground truth中的proposal對應(yīng)的類標(biāo)簽賦給原始產(chǎn)生的這個(gè)proposal,其余的proposal都標(biāo)為background)

3. 根據(jù)2中得到的文件值依,每次隨機(jī)取batch圃泡,32 positive windows and 96 background windows,來訓(xùn)練一個(gè)在ImageNet上訓(xùn)好的模型鳞滨,每一個(gè)proposal輸入CNN洞焙,對應(yīng)的類標(biāo)簽,來訓(xùn)練這201類的classification網(wǎng)絡(luò)拯啦,訓(xùn)練好后澡匪,對所有的proposal,forward一遍來得到fc7 feature,保存最終的fc7特征及對應(yīng)的proposal信息到文件中

4. 訓(xùn)練SVM分類器褒链。對某一個(gè)特定的類唁情,把跟屬于這個(gè)類的ground truth的bounding box的IoU大于閾值的原始提取的proposal標(biāo)為正樣本,其余標(biāo)為負(fù)樣本甫匹,得到新的一個(gè)文件(加上之前得到的fc7特征信息)甸鸟。用這個(gè)文件去訓(xùn)練這一個(gè)類的SVM。同樣的方法兵迅,循環(huán)訓(xùn)好其他類別的分類器抢韭。

5. 用CNN得到的pool5的特征和bounding box的ground truth來訓(xùn)練bounding box regression,只對那些跟ground truth的IoU超過某個(gè)閾值的proposal進(jìn)行訓(xùn)練恍箭,其余的不參與刻恭。

補(bǔ)充:

1. 在把proposal丟進(jìn)CNN之前,需要把proposal處理成固定的一個(gè)大小扯夭,paper里提到“Prior to warping, dilate the tight bounding box, make p pixels around the original”鳍贾,這個(gè)是什么意思?

比例=proposal的w/227-2p交洗,把原圖按此比例進(jìn)行變換骑科,以proposal的中心為中心,截取227大小的圖作為輸入构拳,進(jìn)入CNN

2. Detection中咆爽,mAP是怎么計(jì)算的梁棠?

對于每一個(gè)類,設(shè)置一個(gè)閾值伍掀,score大于此值的為正掰茶,否則為負(fù),與ground truth相比蜜笤,得到屬于次此類別且score大于閾值的proposal濒蒋,屬于此類別但score不大于閾值的proposal,得到不屬于此類別但score大于閾值的proposal把兔,不屬于此類別但score不大于閾值的proposal沪伙。由此計(jì)算,precision, recall县好。通過改變閾值围橡,得到不同組對應(yīng)的recall和precision。畫曲線即可得到AP缕贡。

得到每一個(gè)類別對應(yīng)的AP后翁授,取平均值得到mAP。

recall = 屬于次此類別且score大于閾值的proposal/(屬于此類別且score大于閾值的proposal+屬于此類別但score不大于閾值的proposal

precision = 屬于次此類別且score大于閾值的proposal/(屬于此類別且score大于閾值的proposal+不屬于此類別但score大于閾值的proposal

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末晾咪,一起剝皮案震驚了整個(gè)濱河市收擦,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌谍倦,老刑警劉巖塞赂,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異昼蛀,居然都是意外死亡宴猾,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進(jìn)店門叼旋,熙熙樓的掌柜王于貴愁眉苦臉地迎上來仇哆,“玉大人,你說我怎么就攤上這事夫植∷安” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵偷崩,是天一觀的道長。 經(jīng)常有香客問我撞羽,道長阐斜,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任诀紊,我火速辦了婚禮谒出,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己笤喳,他們只是感情好为居,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著杀狡,像睡著了一般蒙畴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上呜象,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天膳凝,我揣著相機(jī)與錄音,去河邊找鬼恭陡。 笑死蹬音,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的休玩。 我是一名探鬼主播著淆,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼拴疤!你這毒婦竟也來了永部?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤遥赚,失蹤者是張志新(化名)和其女友劉穎扬舒,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體凫佛,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡讲坎,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了愧薛。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片晨炕。...
    茶點(diǎn)故事閱讀 38,018評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖毫炉,靈堂內(nèi)的尸體忽然破棺而出瓮栗,到底是詐尸還是另有隱情,我是刑警寧澤瞄勾,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布费奸,位于F島的核電站,受9級特大地震影響进陡,放射性物質(zhì)發(fā)生泄漏愿阐。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一趾疚、第九天 我趴在偏房一處隱蔽的房頂上張望缨历。 院中可真熱鬧以蕴,春花似錦、人聲如沸辛孵。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽魄缚。三九已至宝与,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間鲜滩,已是汗流浹背伴鳖。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留徙硅,地道東北人榜聂。 一個(gè)月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像嗓蘑,于是被迫代替她去往敵國和親须肆。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容