接著~《CMOT中對跟蹤結(jié)果results.mat的理解》~
在CMOT中憾筏,只用了一個數(shù)據(jù)集ETH-Bahnhof(標(biāo)準(zhǔn)),注意梧兼,無論是Results的生成驰怎,還是Sequence中蚀之,都寫的ETH_Bahnhof(here)邑滨,就是個名稱的問題每界,可以改的捅僵。
剛開始我把param中的參數(shù)改為
img_path = './Sequences/ETH-Bahnhof/';
img_List = dir(strcat(img_path,'*.png'));
相對應(yīng)的,把Results和Sequence的序列也改成標(biāo)準(zhǔn)的樣子眨层,結(jié)果報錯了庙楚。就是這里的問題,不是Det的問題趴樱。step? by? step => ok
果然是基本流程啊馒闷,要認(rèn)真!H鳌纳账!
有關(guān)鍵的3個問題,
1捺疼、400 PK 1000
跟蹤結(jié)果有400個疏虫,檢測Det有400個,但是圖片共有1000張啤呼。卧秘??
只是設(shè)定的問題官扣,本來這個數(shù)據(jù)集圖片有1000張翅敌,只是detections沒有檢測全,只有400個惕蹄,要是detections檢測全的話蚯涮,就是1000個治专。因為檢測是400,所以frame_end也是400遭顶,雖然導(dǎo)入了1000張圖片看靠,但有效的就只有400張,跟蹤圖像上也只出現(xiàn)了400張液肌。這里用到的思想就是tracking-by-detections挟炬。
2、all_mot [ ]中的參數(shù)在代碼中的由來嗦哆。
現(xiàn)在有一個問題谤祖,即cmot_KCF_tracking_results.mat究竟從哪里保存的呢?
在主函數(shù)中老速,關(guān)于all_mot的描述是
[all_mot] = MOT_Draw_Tracking_HCF(Trk_sets, out_path, img_path, img_List, DrawOption,method);
其中粥喜,參數(shù)介紹~
% Tracking Results
[Trk_sets] = MOT_Tracking_Results(Trk,Trk_sets,fr);
在MOT_Draw_Tracking_HCF.m中,我們來看看all_mot究竟是如何組成的橘券。
本函數(shù)的作用是畫出跟蹤的結(jié)果(bbox)并寫入额湘。
函數(shù)介紹如下:在參數(shù)設(shè)定函數(shù)中有 param.new_thr = param.show_scan + 1;? ? % Temporal window size for tracklet initialization,這個和id有關(guān)~旁舰。
就是將center position,left-top position,size,labels先算好锋华,然后直接將結(jié)果組成矩陣放入字典中。在這里q=1:length(Trk_sets)箭窜,有400個索引毯焕,說明跟蹤的結(jié)果是400個。那么如何獲得跟蹤的結(jié)果呢磺樱?
3纳猫、detections的導(dǎo)入load
請問在MDP中detections是什么格式?他是自己創(chuàng)建的吧竹捉。芜辕。。
CMOT中得到的detections在跟蹤的過程中如何比對块差,怎么用侵续?作用是什么?
CMOT中憾儒,如果想要用其他數(shù)據(jù)集中的Det询兴,生成結(jié)果并做測試,如何將標(biāo)準(zhǔn)的det.txt中的數(shù)據(jù)生成.mat文件的只有x,y,w,h起趾?
答案是Yes。不過CMOT中的x,y 是中心position的警儒,所以后來會有center to left的操作训裆。這點要格外注意眶根。否則,在使用標(biāo)準(zhǔn)數(shù)據(jù)做評估時會drift边琉。
4属百、圖片的load方法
param.show_scan的作用是可以從指定幀查看跟蹤效果,不用只從第一幀查看变姨,當(dāng)然了族扰,還需要做些預(yù)關(guān)聯(lián)的操作。當(dāng)然啦定欧,為了防止Index exceeds matrix dimensions.在estimation_size.m中nof_s和show_scan 要對應(yīng)起來渔呵。
5、detections中的參數(shù)問題
x,y,w,h砍鸠。為了增加測試數(shù)據(jù)時的通用性扩氢,x,y最好是left-top。
6爷辱、detections在不同數(shù)據(jù)集的.mat录豺,此.mat和標(biāo)準(zhǔn)的Det中的det.txt文件的對應(yīng)轉(zhuǎn)換問題。
關(guān)于將.mat=>.txt饭弓,本寶寶之前寫過双饥,http://www.reibang.com/p/ba8530013f12
7、數(shù)據(jù)關(guān)聯(lián)
主要是用到了本地關(guān)聯(lián)和全局關(guān)聯(lián)弟断。各有各的作用兢哭,其中,with the global association, longer trajectories are built by linking fragmented trajectories.
本地關(guān)聯(lián)+全局關(guān)聯(lián)+ILDA=極大程度的提升算法性能夫嗓,很好的增強了發(fā)生遮擋時候的魯棒性迟螺。
~~~
因為Online MOT 無非就是確定如何將檢測結(jié)果形成軌跡的過程。
軌跡初始化-->軌跡和檢測結(jié)果進(jìn)行數(shù)據(jù)關(guān)聯(lián)(data association)-->判斷何時停止跟蹤舍咖。
tracklet initial-->data association between tracklets and detections-->stop tracking.
其中矩父,前兩個階段,即軌跡初始化和數(shù)據(jù)關(guān)聯(lián)排霉,都要用到一定的外觀模型和動作模型(位置模型)窍株。
順著這個思路,來看一段代碼:
%% Initiailization Tracklet
for i=1:init_frame
Obs_grap(i).iso_idx = ones(size(detections(i).x));
Obs_grap(i).child = [ ];
Obs_grap(i).iso_child =[ ];
end
[Obs_grap] = mot_pre_association(detections,Obs_grap,frame_start,init_frame);
可見攻柠,在軌跡初始化(Initiailization Tracklet)的時候球订,需要先設(shè)定一個用于軌跡初始化的初始幀init_frame = frame_start + param.show_scan;之后在for循環(huán)中,利用這一初始幀的信息形成Obs_grap瑰钮。再后來冒滩,就可以用形成的Obs_grap和檢測detections,以及幀的初始和結(jié)束范圍進(jìn)行數(shù)據(jù)預(yù)關(guān)聯(lián)浪谴,關(guān)聯(lián)的結(jié)果信息仍存在Obs_grap中开睡∫蚱唬可見,這個Obs_grap是專門用來存放數(shù)據(jù)關(guān)聯(lián)的信息的篇恒。但是需要注意的是扶檐,目前還沒有進(jìn)行軌跡初始化哦,只是先確定了邏輯上的初始關(guān)聯(lián)消息胁艰,因為沒有載入圖片款筑。隨后把第一幀和初始幀之間的圖片load進(jìn)來,利用這些圖片構(gòu)成的init_img_set進(jìn)行Initialization_Tracklets腾么。
好奈梳,之后可以進(jìn)入Tracking的過程中了。
首先哮翘,把初始幀之后的全部圖片load進(jìn)來颈嚼,還是形成init_img_set。這樣我們就知道饭寺,init_img_set中包含的是全部的圖片阻课。
然后,進(jìn)行data association艰匙。包括兩部分限煞,Local Association和Global Association。
為理解Obs_grap的關(guān)聯(lián)過程员凝。必須debug署驻,這樣方便理解哈~
再然后,Update健霹。包括兩部分旺上,Tracklet Confidence Update和Tracklet State Update & Tracklet Model Update。
再再然后糖埋,處理New Tracklet Generation的情況宣吱。至此,MOT的基本過程就說完了瞳别,可以將Tracking Results保存下來征候,即Trk_sets,這是極其重要的結(jié)果八盍病疤坝!不過呢,沒有可視的框框馆铁。
再再再然后跑揉,Draw Tracking Results,High (Red)-> Low (Blue)叼架。有可視的框了畔裕。
最后衣撬,Save tracking results乖订。當(dāng)然了扮饶,之后還可以做些評估啥的!
啊乍构,Obs_grap在哪里用到的甜无?需要存儲關(guān)聯(lián)信息的地方就會用到。
可以說哥遮,數(shù)據(jù)關(guān)聯(lián)是MOT的核心岂丘,用到這個的地方有:
~在1-init_frame中,用于邏輯的預(yù)關(guān)聯(lián)和擁有實物圖片的軌跡初始化會用到奥帘。
~兩大數(shù)據(jù)關(guān)聯(lián)過程寨蹋,即本地關(guān)聯(lián)和全局關(guān)聯(lián)已旧,會用到运褪。
~當(dāng)新軌跡需要產(chǎn)生的時候秸讹,需要用到璃诀。
To the end文虏,涉及軌跡tracklets的產(chǎn)生過程中和需要關(guān)聯(lián)的時候氧秘,會用到Obs_grap。具體怎么連啊灭忠。涕蜂。机隙。debug看吧有鹿。。娱俺。