一、結(jié)構(gòu)介紹
- 1.1，視覺(jué)跟蹤需要用到opencv的trackering類，但官方的OpenCV releases并不包含
opencv_contrib。所以在編譯的時(shí)候需要包含tracking晚碾。
二、編譯前的準(zhǔn)備
- 2.1喂急，安裝Cmake格嘁，編譯腳本可以用cmake
- 2.2，下載opencv指定版本的標(biāo)準(zhǔn)庫(kù)
- 2.3廊移，下載opencv_contrib相同版本的貢獻(xiàn)庫(kù)
- 2.4糕簿，根據(jù)這個(gè)路徑
~/opencv/platforms/ios/build_framework.py找到build_framework，修改幾處基礎(chǔ)配置画机。（將 **--enable_nonfree**設(shè)置為**default=True**冶伞，默認(rèn)是False。和由于項(xiàng)目只支持真機(jī)步氏，減少編譯時(shí)間可以將**--iphoneos_archs**為**armv7**）响禽。 - 2.5，
opencv_contrib庫(kù)中包含很多功能庫(kù)荚醒，我們只需用到tracking這個(gè)類芋类，所以可以直接從~/opencv_contrib/modules中找到tracking，移動(dòng)到~/opencv/modules中即可界阁。
2.5步驟是編譯的一種方式侯繁，若還需用到其他庫(kù)可以如下直接編譯
./OpenCV/
├── opencv-4.5.5/
└── opencv_contrib-4.5.5/
注解： 標(biāo)準(zhǔn)庫(kù)和貢獻(xiàn)庫(kù)必須在同一個(gè)目錄下編譯
三、編譯OpenCV
- 3.1泡躯，切換到你的工作目錄贮竟，編譯后的文件將輸出到這個(gè)目錄（
cd <yourWorkSpace>） - 3.2，執(zhí)行編譯腳本方式一（將需要的功能庫(kù)移動(dòng)到opencv的modules種）
python opencv/platforms/ios/build_framework.py ios - 3.3较剃，編譯腳本方式二（直接編譯標(biāo)準(zhǔn)庫(kù)和貢獻(xiàn)庫(kù), --contrib 參數(shù)指定為我們下周的擴(kuò)展包的目錄）
python path/to/build_framework.py --contrib path/to/opencv_contrib iOS
四咕别、項(xiàng)目接入opencv2.framework
- 4.1，F(xiàn)iFish項(xiàng)目中視覺(jué)追蹤有兩個(gè)版本（即VL1.0和VL2.0）写穴，但兩個(gè)版本底層也是通過(guò)OpenCV實(shí)現(xiàn)的惰拱。
- 4.2，具體實(shí)現(xiàn)在
QYVisionLockTrackerManager類
#import <opencv2/opencv.hpp>
#import "opencv2/imgproc.hpp"
#import "qyTracker.h"
#import <opencv2/tracking/tracking_legacy.hpp>
{
cv::Ptr<cv::legacy::TrackerMedianFlow> medianTracker; // VL1.0 視覺(jué)跟蹤器
QytTracker *tracker; // VL2.0 視覺(jué)跟蹤器
}
----------- VL1.0(VL1.0是直接和opencv交互) -----------
cv::Rect2d rect2d = [self calculateRectInImageMat:dstMat sizeScale:sizeScale centerScale:centerScale];
medianTracker = cv::legacy::TrackerMedianFlow::create();
bool isTrackerInit = medianTracker->init(dstMat, rect2d);
self.isInitTracker = isTrackerInit;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,isTrackerInit);
----------- VL2.0（VL2.0是與算法交互） -----------
if (tracker == NULL) {
tracker = new QytTracker();
}
cv::Rect bbox = [self calculateRectInImageSize:dstMat sizeScale:sizeScale centerScale:centerScale];
tracker->init(dstMat, bbox);
self.isInitTracker = YES;
complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,YES);
- 4.3啊送，算法需要的類型的cv：Mat類型偿短，所以需要將yuv轉(zhuǎn)成cv：Mat類型
// yuv轉(zhuǎn)cv::Mat
- (cv::Mat)dstMatWithYuv:(uint8_t *)yuv_frame width:(int)width height:(int)height {
cv::Mat dstMat;
cv::Mat rgbMat;
if (yuv_frame == nil) {
return rgbMat;
}
cv::Mat yuvMat(height+height/2, width, CV_8UC1, yuv_frame);
if (yuvMat.empty()) {
return rgbMat;
}
rgbMat = cv::Mat(height,width,CV_8UC3);
// // COLOR_YUV2BGR_I420 COLOR_YUV2BGR_NV12
if (rgbMat.empty()) {
return rgbMat;
}
cv::cvtColor(yuvMat, rgbMat, COLOR_YUV2BGR_I420, 3);
// if (rgbMat.rows > mMatScaleTargetHeight) {
// double h = (double)height;
// double w = (double)width;
// int dstWidth = mMatScaleTargetHeight / h * w;
// rgbMat.copyTo(dstMat);
//// cv::resize(rgbMat, dstMat, cv::Size(dstWidth, mMatScaleTargetHeight), 0, 0, INTER_AREA); // resize CPU占用有點(diǎn)大
// } else {
// rgbMat.copyTo(dstMat);
// }
rgbMat.copyTo(dstMat);
yuvMat.release();
rgbMat.release();
return dstMat;
}
注解： cv::resize（）函數(shù)會(huì)造成CPU增加欣孤， 所以在詢問(wèn)算法組的同事后表示可以注釋這個(gè)函數(shù)。
總結(jié)
優(yōu)化點(diǎn)：
- 1.0昔逗，VisionLock 底層算法是CPU處理降传，所以在使用久了后，手機(jī)會(huì)發(fā)燙勾怒，已反饋給算法組的同事搬瑰， 同時(shí)需要查出上層代碼能增加CPU的地方，eg：上次檢測(cè)出cv::resize（）函數(shù)會(huì)增加CPU控硼。
- 1.1，由于播放器不同艾少，獲取到的視頻幀格式不同（可能是NV12卡乾、P420、imageBuffer）缚够，這里可以優(yōu)化下代碼幔妨，看看能不能有更好的兼容性。
