最近在做圖像匹配的事泻红，發(fā)現(xiàn)原來有個(gè)叫 OpenCV 的庫，非常強(qiáng)大霞掺，跨平臺(tái)谊路、多語言接口、在計(jì)算機(jī)視覺和圖像處理上提供了多個(gè)通用算法菩彬，應(yīng)用的領(lǐng)域包括了物體識(shí)別缠劝、人臉識(shí)別潮梯、圖像分割、機(jī)器視覺惨恭、運(yùn)動(dòng)分析秉馏。因?yàn)樯婕傲艘恍﹫D像處理的概念和算法，對(duì)于常年做業(yè)務(wù)系統(tǒng)的程序員來說很少碰這領(lǐng)域脱羡，所以分享一下問題的處理過程萝究。

OpenCV 的安裝

先看下這個(gè)庫的安裝，它是跨平臺(tái)的锉罐，主流的操作系統(tǒng)都支持帆竹，以操作系統(tǒng) OS X 、開發(fā)工具 IntelliJ IDEA 為例脓规，看下這個(gè)庫的安裝和配置過程馆揉。

OpenCV 最新的版本是3.2.0，所以看這個(gè)版本的安裝說明抖拦，頁面上有Linux升酣、Windows、Android态罪、iOS等不同平臺(tái)的安裝介紹噩茄，由于我用的是Java，所以直接看 Introduction to Java Development
安裝過程共分下面幾步：

1. git 下載源碼
   選擇一個(gè)目錄复颈，用 git 下載 OpenCV 的源代碼

git clone git://github.com/opencv/opencv.git

2. 切換 git 代碼分支
   進(jìn)入 opencv 的目錄下绩聘，切換分支

cd opencv
git checkout 2.4

3. 新建 build 目錄
   在 opencv 目錄下新建 build 目錄用于存放編譯后的文件

mkdir build
cd build

4. 編譯整個(gè)項(xiàng)目代碼

cmake -DBUILD_SHARED_LIBS=OFF ..

當(dāng)控制臺(tái)輸出里有"To be built"這行，里面包含了"java"耗啦，則表示項(xiàng)目編譯成功了凿菩。

編譯成功

5. build 整個(gè)項(xiàng)目

make -j8

執(zhí)行完 make 命令后看下 build 目錄下的 bin 目錄內(nèi)容，如果有文件叫 opencv-2413.jar帜讲，則說明 opencv 已經(jīng)編譯安裝好了衅谷。

bin 目錄內(nèi)容

以上步驟執(zhí)行完，實(shí)際就具備了 java 接口訪問 openCV 的能力了似将。而要在 IntelliJ IDEA 中訪問 OpenCV 获黔，還需要兩部配置：

1. 給項(xiàng)目添加 jar 包
   在項(xiàng)目的 Libraries 中添加上面 build 之后的 bin 目錄下的 opencv-2413.jar

   
   
   點(diǎn)擊+號(hào)，選擇 Java
   
   

   之后選擇 opencv-2413.jar 所在位置在验。

   
   
   選擇 jar 文件

2. 寫一個(gè)測(cè)試 OpenCV 環(huán)境的類

package org.study.image.openCV;

import org.opencv.core.Core;

public class OpenCVTest {
    public static void main(String[] args) {
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
    }
}

這個(gè)類里面就一句話玷氏，加載本地的openCV庫。

3. 配置 Java Application 的運(yùn)行參數(shù)

此時(shí)運(yùn)行這個(gè)類會(huì)報(bào) UnsatisfiedLinkError 的錯(cuò)誤腋舌，提示【no opencv_java2413 in java.library.path】：

鏈接錯(cuò)誤

所以需要配置 Java Application 的運(yùn)行時(shí)參數(shù)盏触，在 java.library.path 加上上面
OpenCV 編譯之后的 build 目錄下的 lib 目錄：

配置運(yùn)行時(shí)參數(shù)

問題描述

要解決的問題是判斷一張圖片是否在另一張圖片之中，比如下面這兩張圖：

大圖

小圖

肉眼上能看出來下面的圖片其實(shí)就是在上面圖片的左下區(qū)域赞辩，可是用計(jì)算機(jī)如何給出這種判斷來代替人工呢雌芽？

基于像素的模板匹配

最開始搜到的資料就是 OpenCV 里的模板匹配，其原理是通過一張模板圖片去另一張圖中找到與模板相似部分（以上面的例子來說模板就是上面的小圖）诗宣。模板匹配算法是指通過滑窗的方式在待匹配的圖像上滑動(dòng)膘怕，通過比較模板與子圖的相似度想诅，找到相似度最大的子圖召庞。

所謂滑窗就是通過滑動(dòng)圖片，使得圖像塊一次移動(dòng)一個(gè)像素（從左到右来破，從上往下）篮灼。在每一個(gè)位置，都進(jìn)行一次度量計(jì)算來這個(gè)圖像塊和原圖像的特定區(qū)域的像素值相似程度徘禁。當(dāng)相似度足夠高時(shí)诅诱，就認(rèn)為找到了目標(biāo)。顯然送朱，這里“相似程度”的定義依賴于具體的計(jì)算公式給出的結(jié)果娘荡，不同算法結(jié)果也不一樣。

目前 OpenCV 里提供了六種算法：TM_SQDIFF（平方差匹配法）驶沼、TM_SQDIFF_NORMED（歸一化平方差匹配法）炮沐、TM_CCORR（相關(guān)匹配法）、TM_CCORR_NORMED（歸一化相關(guān)匹配法）回怜、TM_CCOEFF（相關(guān)系數(shù)匹配法）大年、TM_CCOEFF_NORMED（歸一化相關(guān)系數(shù)匹配法）。

下面是 Java 中使用 OpenCV 的模板匹配的代碼：

package org.study.image.openCV;

import org.opencv.core.*;
import org.opencv.highgui.Highgui;
import org.opencv.imgproc.Imgproc;

public class OpenCVTest {
    public static void main(String[] args) {
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
        Mat source, template;
        //將文件讀入為OpenCV的Mat格式
        source = Highgui.imread("/Users/niwei/Downloads/原圖.jpeg");
        template = Highgui.imread("/Users/niwei/Downloads/模板.jpeg");
        //創(chuàng)建于原圖相同的大小玉雾，儲(chǔ)存匹配度
        Mat result = Mat.zeros(source.rows() - template.rows() + 1, source.cols() - template.cols() + 1, CvType.CV_32FC1);
        //調(diào)用模板匹配方法
        Imgproc.matchTemplate(source, template, result, Imgproc.TM_SQDIFF_NORMED);
        //規(guī)格化
        Core.normalize(result, result, 0, 1, Core.NORM_MINMAX, -1);
        //獲得最可能點(diǎn)翔试，MinMaxLocResult是其數(shù)據(jù)格式，包括了最大复旬、最小點(diǎn)的位置x垦缅、y
        Core.MinMaxLocResult mlr = Core.minMaxLoc(result);
        Point matchLoc = mlr.minLoc;
        //在原圖上的對(duì)應(yīng)模板可能位置畫一個(gè)綠色矩形
        Core.rectangle(source, matchLoc, new Point(matchLoc.x + template.width(), matchLoc.y + template.height()), new Scalar(0, 255, 0));
        //將結(jié)果輸出到對(duì)應(yīng)位置
        Highgui.imwrite("/Users/niwei/Downloads/匹配結(jié)果.jpeg", source);
    }
}

原圖

模板

匹配后的結(jié)果圖片:

匹配結(jié)果圖

但它的缺陷在于如果模板圖片發(fā)生了旋轉(zhuǎn)、縮放之后幸冻，這種通過滑窗的模板匹配方式就會(huì)失效粹庞，那又如何處理呢？

基于特征點(diǎn)的 SURF 匹配

要解決旋轉(zhuǎn)縮放后的模板圖片再匹配原圖的問題洽损，就用到了計(jì)算機(jī)視覺處理算法中的特征變換匹配算法庞溜。其思路是先找到圖像中的一些“穩(wěn)定點(diǎn)”，這些點(diǎn)不會(huì)因?yàn)橐暯堑母淖儭⒐庹盏淖兓髀搿⒃胍舻母蓴_而消失又官，比如角點(diǎn)、邊緣點(diǎn)漫试、暗區(qū)域的亮點(diǎn)以及亮區(qū)域的暗點(diǎn)六敬。這樣如果兩幅圖中有相同的景物，那么穩(wěn)定點(diǎn)就會(huì)在兩幅圖像的相同景物上同時(shí)出現(xiàn)驾荣，這樣就能實(shí)現(xiàn)匹配外构。

OpenCV 中針對(duì)特征點(diǎn)匹配問題已經(jīng)提供了很多算法，包括 FAST 播掷、SIFT 审编、SURF 、ORB 等歧匈，這里不贅述這些算法之間的區(qū)別垒酬，直接以 SURF 為例，看下 OpenCV 里面如何應(yīng)用的件炉。

package com.zhiqu.image.recognition;

import org.opencv.calib3d.Calib3d;
import org.opencv.core.*;
import org.opencv.features2d.*;
import org.opencv.highgui.Highgui;

import java.util.LinkedList;
import java.util.List;

/**
 * Created by niwei on 2017/4/28.
 */
public class ImageRecognition {

    private float nndrRatio = 0.7f;//這里設(shè)置既定值為0.7勘究，該值可自行調(diào)整

    private int matchesPointCount = 0;

    public float getNndrRatio() {
        return nndrRatio;
    }

    public void setNndrRatio(float nndrRatio) {
        this.nndrRatio = nndrRatio;
    }

    public int getMatchesPointCount() {
        return matchesPointCount;
    }

    public void setMatchesPointCount(int matchesPointCount) {
        this.matchesPointCount = matchesPointCount;
    }

    public void matchImage(Mat templateImage, Mat originalImage) {
        MatOfKeyPoint templateKeyPoints = new MatOfKeyPoint();
        //指定特征點(diǎn)算法SURF
        FeatureDetector featureDetector = FeatureDetector.create(FeatureDetector.SURF);
        //獲取模板圖的特征點(diǎn)
        featureDetector.detect(templateImage, templateKeyPoints);
        //提取模板圖的特征點(diǎn)
        MatOfKeyPoint templateDescriptors = new MatOfKeyPoint();
        DescriptorExtractor descriptorExtractor = DescriptorExtractor.create(DescriptorExtractor.SURF);
        System.out.println("提取模板圖的特征點(diǎn)");
        descriptorExtractor.compute(templateImage, templateKeyPoints, templateDescriptors);

        //顯示模板圖的特征點(diǎn)圖片
        Mat outputImage = new Mat(templateImage.rows(), templateImage.cols(), Highgui.CV_LOAD_IMAGE_COLOR);
        System.out.println("在圖片上顯示提取的特征點(diǎn)");
        Features2d.drawKeypoints(templateImage, templateKeyPoints, outputImage, new Scalar(255, 0, 0), 0);

        //獲取原圖的特征點(diǎn)
        MatOfKeyPoint originalKeyPoints = new MatOfKeyPoint();
        MatOfKeyPoint originalDescriptors = new MatOfKeyPoint();
        featureDetector.detect(originalImage, originalKeyPoints);
        System.out.println("提取原圖的特征點(diǎn)");
        descriptorExtractor.compute(originalImage, originalKeyPoints, originalDescriptors);

        List<MatOfDMatch> matches = new LinkedList();
        DescriptorMatcher descriptorMatcher = DescriptorMatcher.create(DescriptorMatcher.FLANNBASED);
        System.out.println("尋找最佳匹配");
        /**
         * knnMatch方法的作用就是在給定特征描述集合中尋找最佳匹配
         * 使用KNN-matching算法，令K=2斟冕，則每個(gè)match得到兩個(gè)最接近的descriptor口糕，然后計(jì)算最接近距離和次接近距離之間的比值，當(dāng)比值大于既定值時(shí)宫静，才作為最終match走净。
         */
        descriptorMatcher.knnMatch(templateDescriptors, originalDescriptors, matches, 2);

        System.out.println("計(jì)算匹配結(jié)果");
        LinkedList<DMatch> goodMatchesList = new LinkedList();

        //對(duì)匹配結(jié)果進(jìn)行篩選，依據(jù)distance進(jìn)行篩選
        matches.forEach(match -> {
            DMatch[] dmatcharray = match.toArray();
            DMatch m1 = dmatcharray[0];
            DMatch m2 = dmatcharray[1];

            if (m1.distance <= m2.distance * nndrRatio) {
                goodMatchesList.addLast(m1);
            }
        });

        matchesPointCount = goodMatchesList.size();
        //當(dāng)匹配后的特征點(diǎn)大于等于 4 個(gè)孤里，則認(rèn)為模板圖在原圖中伏伯，該值可以自行調(diào)整
        if (matchesPointCount >= 4) {
            System.out.println("模板圖在原圖匹配成功！");

            List<KeyPoint> templateKeyPointList = templateKeyPoints.toList();
            List<KeyPoint> originalKeyPointList = originalKeyPoints.toList();
            LinkedList<Point> objectPoints = new LinkedList();
            LinkedList<Point> scenePoints = new LinkedList();
            goodMatchesList.forEach(goodMatch -> {
                objectPoints.addLast(templateKeyPointList.get(goodMatch.queryIdx).pt);
                scenePoints.addLast(originalKeyPointList.get(goodMatch.trainIdx).pt);
            });
            MatOfPoint2f objMatOfPoint2f = new MatOfPoint2f();
            objMatOfPoint2f.fromList(objectPoints);
            MatOfPoint2f scnMatOfPoint2f = new MatOfPoint2f();
            scnMatOfPoint2f.fromList(scenePoints);
            //使用 findHomography 尋找匹配上的關(guān)鍵點(diǎn)的變換
            Mat homography = Calib3d.findHomography(objMatOfPoint2f, scnMatOfPoint2f, Calib3d.RANSAC, 3);

            /**
             * 透視變換(Perspective Transformation)是將圖片投影到一個(gè)新的視平面(Viewing Plane)捌袜，也稱作投影映射(Projective Mapping)说搅。
             */
            Mat templateCorners = new Mat(4, 1, CvType.CV_32FC2);
            Mat templateTransformResult = new Mat(4, 1, CvType.CV_32FC2);
            templateCorners.put(0, 0, new double[]{0, 0});
            templateCorners.put(1, 0, new double[]{templateImage.cols(), 0});
            templateCorners.put(2, 0, new double[]{templateImage.cols(), templateImage.rows()});
            templateCorners.put(3, 0, new double[]{0, templateImage.rows()});
            //使用 perspectiveTransform 將模板圖進(jìn)行透視變以矯正圖象得到標(biāo)準(zhǔn)圖片
            Core.perspectiveTransform(templateCorners, templateTransformResult, homography);

            //矩形四個(gè)頂點(diǎn)
            double[] pointA = templateTransformResult.get(0, 0);
            double[] pointB = templateTransformResult.get(1, 0);
            double[] pointC = templateTransformResult.get(2, 0);
            double[] pointD = templateTransformResult.get(3, 0);

            //指定取得數(shù)組子集的范圍
            int rowStart = (int) pointA[1];
            int rowEnd = (int) pointC[1];
            int colStart = (int) pointD[0];
            int colEnd = (int) pointB[0];
            Mat subMat = originalImage.submat(rowStart, rowEnd, colStart, colEnd);
            Highgui.imwrite("/Users/niwei/Desktop/opencv/原圖中的匹配圖.jpg", subMat);

            //將匹配的圖像用用四條線框出來
            Core.line(originalImage, new Point(pointA), new Point(pointB), new Scalar(0, 255, 0), 4);//上 A->B
            Core.line(originalImage, new Point(pointB), new Point(pointC), new Scalar(0, 255, 0), 4);//右 B->C
            Core.line(originalImage, new Point(pointC), new Point(pointD), new Scalar(0, 255, 0), 4);//下 C->D
            Core.line(originalImage, new Point(pointD), new Point(pointA), new Scalar(0, 255, 0), 4);//左 D->A

            MatOfDMatch goodMatches = new MatOfDMatch();
            goodMatches.fromList(goodMatchesList);
            Mat matchOutput = new Mat(originalImage.rows() * 2, originalImage.cols() * 2, Highgui.CV_LOAD_IMAGE_COLOR);
            Features2d.drawMatches(templateImage, templateKeyPoints, originalImage, originalKeyPoints, goodMatches, matchOutput, new Scalar(0, 255, 0), new Scalar(255, 0, 0), new MatOfByte(), 2);

            Highgui.imwrite("/Users/niwei/Desktop/opencv/特征點(diǎn)匹配過程.jpg", matchOutput);
            Highgui.imwrite("/Users/niwei/Desktop/opencv/模板圖在原圖中的位置.jpg", originalImage);
        } else {
            System.out.println("模板圖不在原圖中！");
        }

        Highgui.imwrite("/Users/niwei/Desktop/opencv/模板特征點(diǎn).jpg", outputImage);
    }

    public static void main(String[] args) {
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

        String templateFilePath = "/Users/niwei/Desktop/opencv/模板.jpeg";
        String originalFilePath = "/Users/niwei/Desktop/opencv/原圖.jpeg";
        //讀取圖片文件
        Mat templateImage = Highgui.imread(templateFilePath, Highgui.CV_LOAD_IMAGE_COLOR);
        Mat originalImage = Highgui.imread(originalFilePath, Highgui.CV_LOAD_IMAGE_COLOR);

        ImageRecognition imageRecognition = new ImageRecognition();
        imageRecognition.matchImage(templateImage, originalImage);

        System.out.println("匹配的像素點(diǎn)總數(shù)：" + imageRecognition.getMatchesPointCount());
    }
}

代碼解釋見文中的注釋虏等，執(zhí)行結(jié)果如下：

原圖

模板

模板特征點(diǎn)

特征點(diǎn)匹配過程

匹配結(jié)果