雙目測距(四)

Code:

/******************************/
/*        立體匹配和測距        */
/******************************/

#include <opencv2/opencv.hpp>  
#include <iostream>  

using namespace std;
using namespace cv;

const int imageWidth = 640;                             //攝像頭的分辨率  
const int imageHeight = 480;
Size imageSize = Size(imageWidth, imageHeight);

Mat rgbImageL, grayImageL;
Mat rgbImageR, grayImageR;
Mat rectifyImageL, rectifyImageR;

Rect validROIL;//圖像校正之后,會對圖像進(jìn)行裁剪,這里的validROI就是指裁剪之后的區(qū)域  
Rect validROIR;

Mat mapLx, mapLy, mapRx, mapRy;     //映射表  
Mat Rl, Rr, Pl, Pr, Q;              //校正旋轉(zhuǎn)矩陣R擦酌,投影矩陣P 重投影矩陣Q
Mat xyz;              //三維坐標(biāo)

Point origin;         //鼠標(biāo)按下的起始點(diǎn)
Rect selection;      //定義矩形選框
bool selectObject = false;    //是否選擇對象

int blockSize = 0, uniquenessRatio =0, numDisparities=0;
Ptr<StereoBM> bm = StereoBM::create(16, 9);

/*
事先標(biāo)定好的相機(jī)的參數(shù)
fx 0 cx
0 fy cy
0 0  1
*/
//標(biāo)定數(shù)據(jù)來自Matlab
Mat cameraMatrixL = (Mat_<double>(3, 3) << 452.8131, 0, 303.0163,
    0, 452.8235, 228.0770,
    0, 0, 1);
Mat distCoeffL = (Mat_<double>(4, 1) << -0.0241,0.4826,0,0);

Mat cameraMatrixR = (Mat_<double>(3, 3) << 453.6927, 0, 311.4093,
    0, 453.9168, 237.1017,
    0, 0, 1);
Mat distCoeffR = (Mat_<double>(4, 1) << 0.0171,-0.0338,0,0);

Mat T = (Mat_<double>(3, 1) << -70.2056, 0.1296, 0.6029);//T平移向量
Mat rec = (Mat_<double>(3, 1) << 0.0076, -0.0140, 0.00240);//rec旋轉(zhuǎn)向量
Mat R;//R 旋轉(zhuǎn)矩陣


/*****立體匹配*****/
void stereo_match(int,void*)
{
    bm->setBlockSize(2*blockSize+5);     //SAD窗口大小胖缤,5~21之間為宜
    bm->setROI1(validROIL);
    bm->setROI2(validROIR);
    bm->setPreFilterCap(31);
    bm->setMinDisparity(0);  //最小視差当辐,默認(rèn)值為0, 可以是負(fù)值较鼓,int型
    bm->setNumDisparities(numDisparities*16+16);//視差窗口,即最大視差值與最小視差值之差,窗口大小必須是16的整數(shù)倍窄驹,int型
    bm->setTextureThreshold(10); 
    bm->setUniquenessRatio(uniquenessRatio);//uniquenessRatio主要可以防止誤匹配
    bm->setSpeckleWindowSize(100);
    bm->setSpeckleRange(32);
    bm->setDisp12MaxDiff(-1);
    Mat disp, disp8;
    bm->compute(rectifyImageL, rectifyImageR, disp);//輸入圖像必須為灰度圖
    disp.convertTo(disp8, CV_8U, 255 / ((numDisparities * 16 + 16)*16.));//計(jì)算出的視差是CV_16S格式
    reprojectImageTo3D(disp, xyz, Q, true); //在實(shí)際求距離時(shí)朝卒,ReprojectTo3D出來的X / W, Y / W, Z / W都要乘以16(也就是W除以16),才能得到正確的三維坐標(biāo)信息乐埠。
    xyz = xyz * 16;
    imshow("disparity", disp8);
}

/*****描述:鼠標(biāo)操作回調(diào)*****/
static void onMouse(int event, int x, int y, int, void*)
{
    if (selectObject)
    {
        selection.x = MIN(x, origin.x);
        selection.y = MIN(y, origin.y);
        selection.width = std::abs(x - origin.x);
        selection.height = std::abs(y - origin.y);
    }

    switch (event)
    {
    case EVENT_LBUTTONDOWN:   //鼠標(biāo)左按鈕按下的事件
        origin = Point(x, y);
        selection = Rect(x, y, 0, 0);
        selectObject = true;
        cout << origin <<"in world coordinate is: " << xyz.at<Vec3f>(origin) << endl;
        break;
    case EVENT_LBUTTONUP:    //鼠標(biāo)左按鈕釋放的事件
        selectObject = false;
        if (selection.width > 0 && selection.height > 0)
        break;
    }
}


/*****主函數(shù)*****/
int main()
{
    /*
    立體校正
    */
    Rodrigues(rec, R); //Rodrigues變換
    stereoRectify(cameraMatrixL, distCoeffL, cameraMatrixR, distCoeffR, imageSize, R, T, Rl, Rr, Pl, Pr, Q, CALIB_ZERO_DISPARITY,
        0, imageSize, &validROIL, &validROIR);
    initUndistortRectifyMap(cameraMatrixL, distCoeffL, Rl, Pr, imageSize, CV_32FC1, mapLx, mapLy);
    initUndistortRectifyMap(cameraMatrixR, distCoeffR, Rr, Pr, imageSize, CV_32FC1, mapRx, mapRy);

    /*
    讀取圖片
    */
    rgbImageL = imread("C:\\Users\\INTEL\\Desktop\\test_workspace\\dual_cam\\calibration\\src\\photos\\left0.jpg", CV_LOAD_IMAGE_COLOR);
    cvtColor(rgbImageL, grayImageL, CV_BGR2GRAY);
    rgbImageR = imread("C:\\Users\\INTEL\\Desktop\\test_workspace\\dual_cam\\calibration\\src\\photos\\right0.jpg", CV_LOAD_IMAGE_COLOR);
    cvtColor(rgbImageR, grayImageR, CV_BGR2GRAY);

    imshow("ImageL Before Rectify", grayImageL);
    imshow("ImageR Before Rectify", grayImageR);

    /*
    經(jīng)過remap之后抗斤,左右相機(jī)的圖像已經(jīng)共面并且行對準(zhǔn)了
    */
    remap(grayImageL, rectifyImageL, mapLx, mapLy, INTER_LINEAR);
    remap(grayImageR, rectifyImageR, mapRx, mapRy, INTER_LINEAR);

    /*
    把校正結(jié)果顯示出來
    */
    Mat rgbRectifyImageL, rgbRectifyImageR;
    cvtColor(rectifyImageL, rgbRectifyImageL, CV_GRAY2BGR);  //偽彩色圖
    cvtColor(rectifyImageR, rgbRectifyImageR, CV_GRAY2BGR);

    //單獨(dú)顯示
    //rectangle(rgbRectifyImageL, validROIL, Scalar(0, 0, 255), 3, 8);
    //rectangle(rgbRectifyImageR, validROIR, Scalar(0, 0, 255), 3, 8);
    imshow("ImageL After Rectify", rgbRectifyImageL);
    imshow("ImageR After Rectify", rgbRectifyImageR);

    //顯示在同一張圖上
    Mat canvas;
    double sf;
    int w, h;
    sf = 600. / MAX(imageSize.width, imageSize.height);
    w = cvRound(imageSize.width * sf);
    h = cvRound(imageSize.height * sf);
    canvas.create(h, w * 2, CV_8UC3);   //注意通道

    //左圖像畫到畫布上
    Mat canvasPart = canvas(Rect(w * 0, 0, w, h));                                //得到畫布的一部分  
    resize(rgbRectifyImageL, canvasPart, canvasPart.size(), 0, 0, INTER_AREA);     //把圖像縮放到跟canvasPart一樣大小  
    Rect vroiL(cvRound(validROIL.x*sf), cvRound(validROIL.y*sf),                //獲得被截取的區(qū)域    
        cvRound(validROIL.width*sf), cvRound(validROIL.height*sf));
    //rectangle(canvasPart, vroiL, Scalar(0, 0, 255), 3, 8);                      //畫上一個(gè)矩形  
    cout << "Painted ImageL" << endl;

    //右圖像畫到畫布上
    canvasPart = canvas(Rect(w, 0, w, h));                                      //獲得畫布的另一部分  
    resize(rgbRectifyImageR, canvasPart, canvasPart.size(), 0, 0, INTER_LINEAR);
    Rect vroiR(cvRound(validROIR.x * sf), cvRound(validROIR.y*sf),
        cvRound(validROIR.width * sf), cvRound(validROIR.height * sf));
    //rectangle(canvasPart, vroiR, Scalar(0, 0, 255), 3, 8);
    cout << "Painted ImageR" << endl;

    //畫上對應(yīng)的線條
    for (int i = 0; i < canvas.rows; i += 16)
        line(canvas, Point(0, i), Point(canvas.cols, i), Scalar(0, 255, 0), 1, 8);
    imshow("rectified", canvas);

    /*
    立體匹配
    */
    namedWindow("disparity", CV_WINDOW_AUTOSIZE);
    // 創(chuàng)建SAD窗口 Trackbar
    createTrackbar("BlockSize:\n", "disparity",&blockSize, 8, stereo_match);
    // 創(chuàng)建視差唯一性百分比窗口 Trackbar
    createTrackbar("UniquenessRatio:\n", "disparity", &uniquenessRatio, 50, stereo_match);
    // 創(chuàng)建視差窗口 Trackbar
    createTrackbar("NumDisparities:\n", "disparity", &numDisparities, 16, stereo_match);
    //鼠標(biāo)響應(yīng)函數(shù)setMouseCallback(窗口名稱, 鼠標(biāo)回調(diào)函數(shù), 傳給回調(diào)函數(shù)的參數(shù),一般取0)
    setMouseCallback("disparity", onMouse, 0);
    stereo_match(0,0);

    waitKey(0);
    return 0;
}

這個(gè)矩陣很重要
/*
事先標(biāo)定好的相機(jī)的參數(shù)
fx 0 cx
0 fy cy
0 0 1
*/


世界坐標(biāo)系得到深度

最后得到的深度大概在520mm左右丈咐,與貼在墻上的紙距離差不多瑞眼。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市扯罐,隨后出現(xiàn)的幾起案子负拟,更是在濱河造成了極大的恐慌,老刑警劉巖歹河,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件掩浙,死亡現(xiàn)場離奇詭異,居然都是意外死亡秸歧,警方通過查閱死者的電腦和手機(jī)厨姚,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來键菱,“玉大人谬墙,你說我怎么就攤上這事【福” “怎么了拭抬?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長侵蒙。 經(jīng)常有香客問我造虎,道長,這世上最難降的妖魔是什么纷闺? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任算凿,我火速辦了婚禮,結(jié)果婚禮上犁功,老公的妹妹穿的比我還像新娘氓轰。我一直安慰自己,他們只是感情好浸卦,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布署鸡。 她就那樣靜靜地躺著,像睡著了一般限嫌。 火紅的嫁衣襯著肌膚如雪靴庆。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天萤皂,我揣著相機(jī)與錄音撒穷,去河邊找鬼。 笑死裆熙,一個(gè)胖子當(dāng)著我的面吹牛端礼,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播入录,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼蛤奥,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了僚稿?” 一聲冷哼從身側(cè)響起凡桥,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蚀同,沒想到半個(gè)月后缅刽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體啊掏,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年衰猛,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了迟蜜。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,503評論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡啡省,死狀恐怖娜睛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情卦睹,我是刑警寧澤畦戒,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站结序,受9級特大地震影響障斋,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜笼痹,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一配喳、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧凳干,春花似錦晴裹、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至经磅,卻和暖如春泌绣,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背预厌。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工阿迈, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人轧叽。 一個(gè)月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓苗沧,卻偏偏與公主長得像,于是被迫代替她去往敵國和親炭晒。 傳聞我的和親對象是個(gè)殘疾皇子待逞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容