計算機視覺——典型的目標檢測算法(SPP-Net算法)(四)

姓名:賈軼名? ? 學號:21011210011? ? ?學院:通信工程學院

【嵌牛導讀】目標檢測在現(xiàn)實中的應用很廣泛贫堰,我們需要檢測數(shù)字圖像中的物體位置以及類別叫潦,它需要我們構建一個模型钞艇,模型的輸入一張圖片床绪,模型的輸出需要圈出圖片中所有物體的位置以及物體所屬的類別凉唐。在深度學習浪潮到來之前极颓,目標檢測精度的進步十分緩慢,靠傳統(tǒng)依靠手工特征的方法來提高精度已是相當困難的事购桑。而ImageNet分類大賽出現(xiàn)的卷積神經網絡(CNN)——AlexNet所展現(xiàn)的強大性能畅铭,吸引著學者們將CNN遷移到了其他的任務,這也包括著目標檢測任務勃蜘,近年來硕噩,出現(xiàn)了很多目標檢測算法。

【嵌牛鼻子】計算機視覺

【嵌牛提問】如何理解目標檢測算法——SPP-Net

【嵌牛正文】

針對R-CNN對所有候選區(qū)域分別提取特征元旬、計算量大的問題榴徐,2015年He等提出空間金字塔網絡(Spatial Pyramid Pooling Network守问,SPP-Net)。SPP-Net 在最后一個卷積層和全連接層之間加入空間金字塔結構坑资;使用多個標準尺度微調器對圖像進行分割耗帕,將量化后的局部特征融合生成中層表達,在第五個卷積層的特征圖上生成固定長度的特征向量袱贮,一次性提取特征避免重復特征提取仿便,打破了固定尺寸輸入的束縛。

R-CNN模型與SPPNet模型

? ? ? ?將侯選區(qū)域送到CNN里面提取特征向量時攒巍,因為CNN的輸入圖像需要固定大小嗽仪,而候選區(qū)域的長寬都是不固定的,故需要對候選區(qū)域填充到固定大小柒莉,當對侯選區(qū)域做cropping或者warping操作闻坚,圖片不完整包含物體,都會造成識別精度損失兢孝。?

? ? ? ?SPP-Net的解決辦法是使用“空間金字塔變換層”將接收任意大小的圖像輸入窿凤,輸出固定長度的輸出向量這樣就能讓SPP-Net可接受任意大小的輸入圖片跨蟹,不需要對圖像做crop/wrap操作雳殊。

空間金字塔池化網絡結構:

-

R-CNN模型與SPP-Net模型

在R-CNN中,每個候選區(qū)域都要塞到CNN內提取特征向量窗轩,一張圖片有2000個候選區(qū)域夯秃,也就是一張圖片需要經過2000次CNN的前向傳播,這2000重復計算過程會有大量的計算冗余痢艺,耗費大量的時間仓洼。SPPNet提出了一種從候選區(qū)域到全圖的特征映射(feature map)之間的對應關系,通過此種映射關系可以直接獲取到候選區(qū)域的特征向量腹备,不需要重復使用CNN提取特征衬潦,從而大幅度縮短訓練時間。


SPP?Net的實現(xiàn)過程:

(1)SPP?Net把全圖傳入CNN得到全圖的feature map植酥;(2)讓候選區(qū)域與feature map直接映射,得到候選區(qū)域的映射特征向量(這是映射來的弦牡,不需要過CNN);(3)映射過來的特征向量大小不固定友驮,所以這些特征向量傳入SPP層(空間金字塔變換層),SPP層接收任何大小的輸入驾锰,輸出固定大小的特征向量卸留,再傳給FC層。

上圖SPPlayer分成1x1(塔底)椭豫,2x2(塔中)耻瑟,4x4(塔頂)三張子圖旨指,對每個子圖的每個區(qū)域作max pooling,出來的特征再連接到一起喳整,就是(16+4+1)x256(kM)的特征向量谆构。

無論輸入圖像大小如何,出來的特征固定是(16+4+1)x256維度框都。這樣就實現(xiàn)了不管圖像尺寸如何搬素,SPP層的輸出永遠是(16+4+1)x256特征向量。

網絡訓練階段:

論文中將網絡的訓練分為兩種:Single-size和Multi-size魏保。

Single-size的訓練過程:

理論上說熬尺,SPP-net支持直接以多尺度的原始圖片作為輸入后直接BP即可。實際上谓罗,caffe等實現(xiàn)中粱哼,為了計算的方便,GPU檩咱、CUDA等比較適合固定尺寸的輸入揭措,所以訓練的時候輸入是固定了尺度了的。以224*224的輸入為例:

在conv5之后的特征圖為:13x13(a*a)????金字塔層bins: ??n*n

將pooling層作為sliding window pooling税手,則windows_size=[a/n] 向上取整 蜂筹,stride_size=[a/n]向下取整。參數(shù)如下:

Multi-size training的訓練過程:

使用兩個尺度進行訓練:224*224 和180*180

訓練時芦倒,用224*224的圖片訓練一個epoch艺挪,之后用180*180的圖片訓練一個epoch,二者交替進行兵扬。

兩種尺度經過SSP后麻裳,輸出的特征維度都是(9+4+1)x256(kM)。

對于映射關系器钟,論文中給出了一個公式:

假設(x’,y’)表示特征圖上的坐標點津坑,坐標點(x,y)表示原輸入圖片上的點,那么它們之間有如下轉換關系傲霸,這種映射關系與網絡結構有關:(x,y)=(S*x’,S*y’)

反過來疆瑰,我們希望通過(x,y)坐標求解(x’,y’),那么計算公式如下:

其中S就是CNN中所有的strides的乘積昙啄,包含了池化穆役、卷積的stride。

比如梳凛,對于下圖的集中網絡結構耿币,S的計算如下:

論文中使用的是ZF-5:?????????S=2*2*2*2=16? ? ? ? ? ??????? Overfeat-5/7 : ? ? ? ? ? ? ? S =2*3*2 =12

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市韧拒,隨后出現(xiàn)的幾起案子淹接,更是在濱河造成了極大的恐慌十性,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件塑悼,死亡現(xiàn)場離奇詭異劲适,居然都是意外死亡,警方通過查閱死者的電腦和手機拢肆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門减响,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人郭怪,你說我怎么就攤上這事支示。” “怎么了鄙才?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵颂鸿,是天一觀的道長。 經常有香客問我攒庵,道長嘴纺,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任浓冒,我火速辦了婚禮栽渴,結果婚禮上,老公的妹妹穿的比我還像新娘稳懒。我一直安慰自己闲擦,他們只是感情好,可當我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布场梆。 她就那樣靜靜地躺著墅冷,像睡著了一般。 火紅的嫁衣襯著肌膚如雪或油。 梳的紋絲不亂的頭發(fā)上寞忿,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天,我揣著相機與錄音顶岸,去河邊找鬼腔彰。 笑死,一個胖子當著我的面吹牛辖佣,可吹牛的內容都是我干的萍桌。 我是一名探鬼主播,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼凌简,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了恃逻?” 一聲冷哼從身側響起雏搂,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤藕施,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后凸郑,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體裳食,經...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年芙沥,在試婚紗的時候發(fā)現(xiàn)自己被綠了诲祸。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡而昨,死狀恐怖救氯,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情歌憨,我是刑警寧澤着憨,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站务嫡,受9級特大地震影響甲抖,放射性物質發(fā)生泄漏。R本人自食惡果不足惜心铃,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一准谚、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧去扣,春花似錦柱衔、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至羽氮,卻和暖如春或链,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背档押。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工澳盐, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人令宿。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓叼耙,卻偏偏與公主長得像,于是被迫代替她去往敵國和親粒没。 傳聞我的和親對象是個殘疾皇子筛婉,可洞房花燭夜當晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內容