《Object Detection from Video Tubelets with Convolutional Neural Networks》論文筆記

文章開頭指出了ImageNet開始引入視頻作為數(shù)據(jù)集,意味著計(jì)算機(jī)視覺進(jìn)入了新的篇章——可以借鑒做文章的背景陳述

提出了兩個(gè)核心的點(diǎn)


比較算得上亮點(diǎn)的是將檢測(cè)和融合結(jié)合起來(也許隨便一個(gè)檢測(cè)都可以這么說?)


1稚新,A Spatio-Temporal Tubelets Proposal Module


Step 1. Image Object Proposal

The SS method outputs around 2000 object proposals on each video frame. The majority object proposals are negative samples and may not contain objects.

本方案使用了 pre-trained AlexNet model外潜,并且通過R-CNN去除簡(jiǎn)單得negative object proposals.

并具體提出了去除無用項(xiàng)設(shè)置的閾值

Step 2. Object Proposal Scoring

Our detector is a GoogLeNet pre-trained on ImageNet image classification data, and fine-tuned for the DET task.

文章在此處的針對(duì)性很強(qiáng),只針對(duì)了30個(gè)特定的類卿堂,所以使用的網(wǎng)絡(luò)的pre-train也是直接使用了針對(duì)特定任務(wù)的網(wǎng)絡(luò),對(duì)應(yīng)著30個(gè)SVM來進(jìn)行分類

這里也用到了 hard negative mining 這個(gè)trick

Step 3. High-confidence Proposal Tracking

使用特定的tracker來針對(duì)性的解決scale和pose的問題

小trick:

we early stop the tracking when the tracking confidence is below a threshold (probability of0.1in our experiments) to reduce false positive tracklets

2, ?A Tubelet Classification and re-scoring Module

一個(gè)很直接的方法就是對(duì) tubelet 中的每個(gè)矩形框進(jìn)行分類。這個(gè)方法和基于R-CNN靜態(tài)圖像目標(biāo)檢測(cè)效果差不多履澳。原因大致有4點(diǎn):

1) tubelets 中的矩形候選區(qū)域數(shù)量要比 Selective Search 少很多,這可能會(huì)讓我們漏掉一些目標(biāo)怀跛。

2) 針對(duì)靜態(tài)圖像訓(xùn)練的目標(biāo)檢測(cè)器 對(duì)于目標(biāo)位置的變化比較敏感距贷,如圖1(a)所示,所以tubelets 中的矩形候選區(qū)域的分?jǐn)?shù)比較低吻谋。

3) 在跟蹤過程中忠蝗,我們進(jìn)行了 proposal sup-pression,這也可能是我們丟失一些目標(biāo)漓拾。

4)我們應(yīng)該嵌入 temporal information是的檢測(cè)更穩(wěn)定阁最。

來自http://blog.csdn.net/cv_family_z/article/details/52873045

step 4. Tubelet box perturbation and max-pooling

提出了兩種方式



再次評(píng)估tubelet,只留下分?jǐn)?shù)高的框(并取代之前重疊的框)骇两,

最大池化則是提高控件上的robustness

step 5. Temporal convolution and re-scoring

這里我們提出了一個(gè) Temporal Convolutional Network (TCN) 來嵌入時(shí)序信息來提高tubelet 矩形框檢測(cè)分?jǐn)?shù)的穩(wěn)定性速种。


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市低千,隨后出現(xiàn)的幾起案子配阵,更是在濱河造成了極大的恐慌,老刑警劉巖栋操,帶你破解...
    沈念sama閱讀 212,454評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件闸餐,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡矾芙,警方通過查閱死者的電腦和手機(jī)舍沙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來剔宪,“玉大人拂铡,你說我怎么就攤上這事壹无。” “怎么了感帅?”我有些...
    開封第一講書人閱讀 157,921評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵斗锭,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我失球,道長(zhǎng)岖是,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評(píng)論 1 284
  • 正文 為了忘掉前任实苞,我火速辦了婚禮豺撑,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘黔牵。我一直安慰自己聪轿,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,770評(píng)論 6 386
  • 文/花漫 我一把揭開白布猾浦。 她就那樣靜靜地躺著陆错,像睡著了一般。 火紅的嫁衣襯著肌膚如雪金赦。 梳的紋絲不亂的頭發(fā)上音瓷,一...
    開封第一講書人閱讀 49,950評(píng)論 1 291
  • 那天,我揣著相機(jī)與錄音素邪,去河邊找鬼外莲。 笑死猪半,一個(gè)胖子當(dāng)著我的面吹牛兔朦,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播磨确,決...
    沈念sama閱讀 39,090評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼沽甥,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了乏奥?” 一聲冷哼從身側(cè)響起摆舟,我...
    開封第一講書人閱讀 37,817評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎邓了,沒想到半個(gè)月后恨诱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,275評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡骗炉,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,592評(píng)論 2 327
  • 正文 我和宋清朗相戀三年照宝,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片句葵。...
    茶點(diǎn)故事閱讀 38,724評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡厕鹃,死狀恐怖兢仰,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情剂碴,我是刑警寧澤把将,帶...
    沈念sama閱讀 34,409評(píng)論 4 333
  • 正文 年R本政府宣布,位于F島的核電站忆矛,受9級(jí)特大地震影響察蹲,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜催训,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,052評(píng)論 3 316
  • 文/蒙蒙 一递览、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瞳腌,春花似錦绞铃、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至挑宠,卻和暖如春菲盾,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背各淀。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工懒鉴, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人碎浇。 一個(gè)月前我還...
    沈念sama閱讀 46,503評(píng)論 2 361
  • 正文 我出身青樓临谱,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親奴璃。 傳聞我的和親對(duì)象是個(gè)殘疾皇子悉默,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,627評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容