什么是目標(biāo)追蹤（Visual Object Tracking）狡门？
跟蹤就是在連續(xù)的視頻幀中定位某一物體瑟押。
? 跟蹤VS檢測(cè)
1.跟蹤速度比檢測(cè)快
當(dāng)你跟蹤在上一幀中檢測(cè)到的對(duì)象時(shí)搀捷，你會(huì)非常了解目標(biāo)的外觀。你也知道在前一幀中的位置和它的運(yùn)動(dòng)的方向和速度多望。因此嫩舟，在下一幀中，可以使用所有這些信息來預(yù)測(cè)下一幀中目標(biāo)的位置怀偷，并對(duì)對(duì)象的預(yù)期位置進(jìn)行小范圍搜索家厌，以準(zhǔn)確定位目標(biāo)。因此椎工，在設(shè)計(jì)高效的系統(tǒng)時(shí)饭于，通常在每n幀上運(yùn)行對(duì)象檢測(cè)，而在其間的n-1幀中采用跟蹤算法维蒙。
2.當(dāng)檢測(cè)失敗時(shí)跟蹤來幫助
3.跟蹤保留身份信息
目標(biāo)檢測(cè)的輸出是包含目標(biāo)的矩形數(shù)組掰吕。?但是，沒有標(biāo)識(shí)附加到對(duì)象颅痊。
?幾大難點(diǎn)
外觀變形殖熟，光照變化，快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊斑响，背景相似干擾：
平面外旋轉(zhuǎn)菱属，平面內(nèi)旋轉(zhuǎn)，尺度變化舰罚，遮擋和出視野等情況：
? 數(shù)據(jù)集
? OTB50 & OTB100? (2013)
涉及到灰度圖像和彩色圖像纽门，均可以免費(fèi)下載，涉及到目標(biāo)跟蹤的11個(gè)屬性沸停，包括光照變化膜毁、尺度變化、遮擋愤钾、形變瘟滨、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)能颁、平面內(nèi)旋轉(zhuǎn)杂瘸、平面外旋轉(zhuǎn)、出視野伙菊、背景干擾败玉、低像素敌土。
? VOT2013 - VOT2018 (競(jìng)賽數(shù)據(jù)集,Each Year)
每年公開的60個(gè)序列，官方會(huì)對(duì)公開序列的前10名在隱藏?cái)?shù)據(jù)集上測(cè)試运翼，從而選出最終的winner返干，難度高于OTB。
? 評(píng)價(jià)指標(biāo)
1血淌、平均重疊期望（EAO）是對(duì)每個(gè)跟蹤器在一個(gè)短時(shí)圖像序列上的非重置重疊的期望值矩欠，是VOT評(píng)估跟蹤算法精度的最重要指標(biāo)。
2悠夯、準(zhǔn)確率（Accuracy）是指跟蹤器在單個(gè)測(cè)試序列下的平均重疊率（兩矩形框的相交部分面積除以兩矩形框的相并部分的面積癌淮。（MeanIOU）
3、魯棒性（Robustness）是指單個(gè)測(cè)試序列下的跟蹤器失敗次數(shù)沦补，當(dāng)重疊率為0時(shí)即可判定為失敗乳蓄。
具體看一下這張圖就能明白：
目標(biāo)追蹤的算法分類（Common Methods）
? 生成(generative)模型方法
生成類方法，在當(dāng)前幀對(duì)目標(biāo)區(qū)域建模夕膀，下一幀尋找與模型最相似的區(qū)域就是預(yù)測(cè)位置虚倒，比較著名的有卡爾曼濾波，粒子濾波店诗，mean-shift等裹刮。舉個(gè)例子，從當(dāng)前幀知道了目標(biāo)區(qū)域80%是紅色庞瘸，20%是綠色捧弃，然后在下一幀，搜索算法到處去找最符合這個(gè)顏色比例的區(qū)域擦囊。算法效果并不理想违霞，因此現(xiàn)在用的很少。
?判別(discriminative)模型方法
OTB50里面的大部分方法都是這一類瞬场，經(jīng)典套路买鸽，圖像特征+機(jī)器學(xué)習(xí)。
當(dāng)前幀以目標(biāo)區(qū)域?yàn)檎龢颖竟岜唬尘皡^(qū)域?yàn)樨?fù)樣本眼五，機(jī)器學(xué)習(xí)訓(xùn)練分類器，下一幀用訓(xùn)練好的分類器找最優(yōu)區(qū)域彤灶。
與生成類方法最大的區(qū)別看幼，是分類器訓(xùn)練過程中用到了背景信息，這樣分類器專注區(qū)分前景和背景幌陕，判別類方法普遍都比生成類好诵姜。? 經(jīng)典判別類方法有Struck和TLD（Performace well in long-term task）。 判別類方法的最新發(fā)展就是相關(guān)濾波類方法搏熄，correlation filter簡(jiǎn)稱CF棚唆，或discriminative correlation filter簡(jiǎn)稱DCF暇赤，和深度學(xué)習(xí)(Deep ConvNet based)類方法，而DCF+CNN的做法成為最近VOT刷榜的標(biāo)配宵凌。2018年的VOT鞋囊，基于全卷積孿生網(wǎng)絡(luò)（SiamNet）的方法大崛起，憑借超越DCF方法的準(zhǔn)確度和端到端訓(xùn)練的優(yōu)勢(shì)瞎惫，成為目標(biāo)追蹤新的研究方向失暴。
下圖是GitHub上發(fā)布的2018VOT系統(tǒng)分支結(jié)構(gòu)，上述算法都含在其中了微饥。
· 相關(guān)濾波算法（CF）
Correlation Filter 最早應(yīng)用于信號(hào)處理瞧捌，用來描述兩個(gè)信號(hào)之間的相關(guān)性，或者說相似性润文，對(duì)于兩個(gè)數(shù)據(jù) f 和g姐呐，則兩個(gè)信號(hào)的相關(guān)性為：
其中 f?表示 f 的復(fù)共軛，這是和卷積的區(qū)別（相關(guān)性 與 卷積 類似典蝌，區(qū)別就在于里面的共軛）曙砂。
對(duì)于圖像來講，問題描述為要找到一個(gè) 濾波模版 h骏掀，與輸入圖像 f 求相關(guān)性鸠澈，得到相關(guān)圖 g。
模板與圖形的相關(guān)運(yùn)算
為了加快計(jì)算速度截驮，這里引入了傅里葉變換笑陈，根據(jù)卷積定理（correlation版本）可知，函數(shù)互相關(guān)的傅里葉變換等于函數(shù)傅里葉變換的乘積：
· HCF（CF+CNN侧纯，Since 2015）
2015開始新锈，深度學(xué)習(xí)開始進(jìn)軍跟蹤領(lǐng)域，使用深度學(xué)習(xí)可以更好的提取目標(biāo)的特征眶熬，對(duì)目標(biāo)進(jìn)行更好的表達(dá)妹笆。低層特征有較高的分辨率能夠?qū)δ繕?biāo)進(jìn)行精準(zhǔn)的定位块请，高層特征包含更多的語義信息，能夠處理較大的目標(biāo)變化和防止跟蹤器漂移拳缠，能夠?qū)δ繕?biāo)進(jìn)行范圍定位墩新。但是深度學(xué)習(xí)的缺點(diǎn)就在于網(wǎng)絡(luò)的訓(xùn)練和速度，即使如HCF等使用離線的訓(xùn)練速度仍然慢窟坐。
· SiamFC（Pure CNN）
上面一支可以看做是一個(gè)模板海渊。其中z是第一幀所給出的目標(biāo)框，φ 表示一種特征提取方法哲鸳，SiamFC提取的是深度特征臣疑，經(jīng)過全卷積網(wǎng)絡(luò)后得到一個(gè)6X6X128的feature map φ(z)。
下面一支x可以看為當(dāng)前幀的搜索區(qū)域徙菠，同樣提取了深度特征之后得到一個(gè)22X22X128的feature map φ(x)讯沈。
兩支的交匯是一個(gè)互相關(guān)層，可以看成是φ(z)在φ(x)上滑動(dòng)搜索婿奔，最后得到一個(gè)響應(yīng)圖缺狠，圖上最大值對(duì)應(yīng)的點(diǎn)就是算法認(rèn)為的目標(biāo)中心所在位置。
· FlowTrack
《End-to-end Flow Correlation Tracking with Spatial-temporal Attention》（2018CVPR萍摊，商湯）
閱讀筆記
背景：
①DCF方法很火（KCF挤茄、SAMF、LCT冰木、MUSTer穷劈、SRDCF、CACF）片酝，但是? 應(yīng)用人工設(shè)定的特征使得這一類算法精度魯棒性都較差囚衔；
② 受深度學(xué)習(xí)影響，很多結(jié)合CNN的算法（DeepSRDCF雕沿、HCF练湿、SiamFC）出現(xiàn)，它們都只應(yīng)用到當(dāng)前幀的信息而很少關(guān)注幀間存在的互信息,并? 且CNN的機(jī)制導(dǎo)致了tracker在目標(biāo)遇到運(yùn)動(dòng)模糊或者部分遮擋的時(shí)候审轮，? 性能只能依靠離線train的特征的質(zhì)量肥哎，魯棒性很難保證。
③?盡管一些追蹤器用到了光流特征疾渣，但是這些模型是離線的篡诽，非端到端? 的，所以結(jié)果是非最理想的榴捡。
? 本文提出FlowTrack網(wǎng)絡(luò)杈女，應(yīng)用到flow information和appearance features，有機(jī)結(jié)合到端對(duì)端的網(wǎng)絡(luò)中，在VOT2015和VOT2016任務(wù)中达椰，EAO屬性排名第一翰蠢，速度為12FPS。
結(jié)構(gòu)是一個(gè)基于Siamese的雙流訓(xùn)練網(wǎng)絡(luò)啰劲。分為historical branch和current branch. 在historical branch里面梁沧，進(jìn)行Flow的提取和warp操作融合階段，作者設(shè)計(jì)了一種spatial-temporal attention的機(jī)制蝇裤。 在current branch廷支，只提取feature. Siamese結(jié)構(gòu)兩支出來的feature送進(jìn)DCF layer, 得到相應(yīng)輸出。 總結(jié)來說栓辜，他們把Flow提取恋拍，warp操作，特征提取和融合藕甩，CF tracking都做成了網(wǎng)絡(luò)的layer芝囤，端到端地訓(xùn)練它們。其中需要注意的是辛萍，wrap是指的是一種點(diǎn)到點(diǎn)的映射關(guān)系，實(shí)現(xiàn)flownet出來的光流圖到高階特征的映射羡藐。在從t-1到t-n的特征融合階段贩毕，設(shè)計(jì)了一種spatial-temporal attention的機(jī)制。在spatial attention中仆嗦，是對(duì)空間位置上每一個(gè)待融合的點(diǎn)分配權(quán)重辉阶，具體采用余弦距離衡量，結(jié)果就是和當(dāng)前幀越相似分配的權(quán)重越大瘩扼，反之越凶惶稹；這么做的問題是當(dāng)前幀的權(quán)重永遠(yuǎn)最大集绰，所以本文借鑒SENet的思想進(jìn)而設(shè)計(jì)了temporal attention规辱，即把每一幀看做一個(gè)channel，設(shè)計(jì)一個(gè)質(zhì)量判斷網(wǎng)絡(luò)栽燕。
(1)跟蹤使用的特征由Feature CNN提群贝；
Feature CNN：由三個(gè)卷積層構(gòu)成(3x3x128, 3x3x128, 3x3x96)碍岔。
特征提取
(2)光流信息由FlowNet提仍⊙丁；
FlowNet：2015年被提出蔼啦，是用來提取光流場(chǎng)的深度網(wǎng)絡(luò)榆纽，9層卷積。
FlowNet的9層光流提取模型
(3) Warp操作按特征通道進(jìn)行：
其中m表示通道，p表示原始圖像上點(diǎn)的坐標(biāo)奈籽，δp表示點(diǎn)的光流饥侵，q表示特征圖上點(diǎn)的坐標(biāo)，K是雙線性插值核唠摹。
?(4)Spatial-temporal attention給各通道特征賦予權(quán)值爆捞；
Spatial attention + Temporal attention
??? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ?? 空間???????????? +??????????? 時(shí)間
時(shí)空提取attention模塊
Spatial 的提取：
計(jì)算Spatial attention勾拉，并融合特征煮甥。其中上標(biāo)e表示通過Bottleneck結(jié)構(gòu)（降維到特定空間）找到的嵌入層特征，p表示原始Feature map上的點(diǎn)坐標(biāo)藕赞〕芍猓總的來說，這個(gè)部分的物理意義是斧蜕，對(duì)與t-1幀特征不相似的特征賦予低權(quán)重双霍，反之，與其相似的賦予高權(quán)重批销。
temporal的加入：Spatial Attention的問題是當(dāng)前幀的權(quán)重永遠(yuǎn)最大洒闸，解決方法引入Temporal 機(jī)制，設(shè)計(jì)一個(gè)質(zhì)量判斷網(wǎng)絡(luò)：從Spatial attention輸出來的權(quán)重map均芽，輸入Temporal attention結(jié)構(gòu)丘逸，經(jīng)過一個(gè)類似SE-Net（ImageNet Classification Champion，2017掀宋，Momenta）的結(jié)構(gòu)深纲，得到通道重要性權(quán)值，可以看作是對(duì)Spatial attention的二次調(diào)整劲妙。
實(shí)驗(yàn)結(jié)果
多策略的對(duì)比
VOT 2016 1st
可以看出提升效果相對(duì)于傳統(tǒng)的CF還是很明顯的湃鹊，雖然2018年rank不到top 5，但是提供了我們一種新穎的思路镣奋，以后可以多多學(xué)習(xí)一波币呵。
