前言
最近要做目標跟蹤的APP,在惡補這方面的知識炼七,在opencv3里面缆巧,關于目標跟蹤的API在contrib模塊里面,需要單獨下載編譯豌拙。前幾天編譯這個弄了兩三天盅蝗,可以說熟知各種bug了,詳細內(nèi)容其他博客都有介紹姆蘸,下載墩莫,cmake編譯生成,然后VS調(diào)試生成項目之類的逞敷,我覺得過程中最重要的是狂秦,contrib版本一定要與opencv版本相匹配啊推捐!如果是最新下載的opencv裂问,那么在GitHub上下載contrib-master這一版就行了。如果因為版本不一致導致cmake編譯出錯牛柒,不要猶豫堪簿!一切重來!還有一點皮壁,如果你專注C++三百年椭更,那么cmake時,關于Python和MATLAB的選項就可以去掉了蛾魄,親測在編譯Python時最后很容易出錯虑瀑,如果你不需要GPU并行計算湿滓,那么with_CUDA也可以去掉了 。最后VS生成完整項目后舌狗,可以從你的代碼的API直接轉(zhuǎn)到源碼叽奥,還是很方便的。
1.API
目標跟蹤是計算機視覺應用中最重要的問題之一 這個領域的發(fā)展非常分散痛侍,他的API是一個獨特的接口朝氓,可以插入不同算法并比較他們。
跟蹤算法開始于目標的邊界框主届,并且以其內(nèi)部表示來避免跟蹤期間的漂移??膀篮。目標跟蹤能夠在新的視頻幀下在線評估目標的定位質(zhì)量。
opencv中有三個組件岂膳, TrackerSampler誓竿,TrackerFeatureSet,TrackerModel.第一個組件用于計算基于上一目標定位的視頻幀的模板谈截。第二個是管理特征的類筷屡,可以插入不同的特征 (HAAR, HOG, LBP, Feature2D, etc). 最后一個是目標的內(nèi)部表示,它存儲所有候選狀態(tài)并計算軌跡(最可能的目標狀態(tài))簸喂。TrackerTargetState類表示目標的可能狀態(tài)毙死。該TrackerSampler和TrackerFeatureSet是目標的可視表示,而TrackerModel是統(tǒng)計模型喻鳄。
2.先來一個Tracker
直接上官方源碼
#include <opencv2/core/utility.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include <cstring>
using namespace std;
using namespace cv;
int main( int argc, char** argv ){
// show help
if(argc<2){
cout<<
" Usage: tracker <video_name>\n"
" examples:\n"
" example_tracking_kcf Bolt/img/%04d.jpg\n"
" example_tracking_kcf faceocc2.webm\n"
<< endl;
return 0;
}
// declares all required variables
Rect2d roi;
Mat frame;
// create a tracker object
Ptr<Tracker> tracker = TrackerKCF::create();
// set input video
std::string video = argv[1];
VideoCapture cap(video);
// get bounding box
cap >> frame;
roi=selectROI("tracker",frame);
//quit if ROI was not selected
if(roi.width==0 || roi.height==0)
return 0;
// initialize the tracker
tracker->init(frame,roi);
// perform the tracking process
printf("Start the tracking process, press ESC to quit.\n");
for ( ;; ){
// get frame from the video
cap >> frame;
// stop the program if no more images
if(frame.rows==0 || frame.cols==0)
break;
// update the tracking result
tracker->update(frame,roi);
// draw the tracked object
rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
// show image with the tracked object
imshow("tracker",frame);
//quit on ESC button
if(waitKey(1)==27)break;
}
return 0;
}
1.建立輸入視頻
if(argc<2){
cout<<
" Usage: tracker <video_name>\n"
" examples:\n"
" example_tracking_kcf Bolt/img/%04d.jpg\n"
" example_tracking_kcf faceocc2.webm\n"
<< endl;
return 0;
}
這里扼倘,你可以選擇視頻或者一組圖片向量作為程序輸入。像在help所寫除呵,你可以指定輸入的視頻作為程序的參數(shù)再菊。如果你想用圖片向量作為輸入,圖片向量應該像help里那樣指定格式颜曾。比如在這里纠拔,圖片文件是4個數(shù)字。0001.jpg,0002.jpg這樣泛豪。
VideoCapture cap(video);
cap >> frame;
opencv為操作視頻提供了接口VideoCapture稠诲,可以從文件或攝像設備讀取視頻,有兩種方法诡曙。
VideoCapture cap("../***.avi");
cap.open("../***.avi");
如果把文件名換為設置ID劝萤,則可打開攝像頭,默認為0.
獲取幀:
// 方法一
capture.read(frame);
// 方法二
capture.grab();
capture.retrieve(frame);
// 方法三
capture>>frame;
2.聲明變量
你需要對跟蹤的對象劃定邊界框炸卑。然后用tracker對象對這個值更新既鞠。
Rect2d roi;
Mat frame;
frame變量將用于存儲輸入的每一幀的圖片數(shù)據(jù)盖文。
3.創(chuàng)建tracker對象
Ptr<Tracker> tracker = TrackerKCF::create();
有至少5種tracker算法可供使用
- MIL
- BOOSTING
- MEDIANFLOW
- TLD
- KCF
每一種算法都有它的優(yōu)點和缺點嘱蛋。
4.選擇跟蹤對象
roi=selectROI("tracker",frame);
使用這個函數(shù),你可以通過GUI來選擇追蹤對象的邊界框五续。
5.初始化tracker對象
tracker->init(frame,roi);
跟蹤算法應該初始化提供的圖片數(shù)據(jù)和跟蹤對象的邊界框疙驾。確定邊界框不是無效的(尺寸大于0)以避免初始化進程失敗扳肛。
6.更新
tracker->update(frame,roi);
更新函數(shù)將執(zhí)行tracking進程并傳遞roi變量的結(jié)果傻挂。