有許多用于特征檢測和提取的算法咐汞，我們將會對其中大部分進行介紹映皆。OpenCV最常使用的特征檢測和提取算法有：

Harris：該算法用于檢測角點翩伪；
SIFT：該算法用于檢測斑點；
SURF：該算法用于檢測角點戒职；
FAST：該算法用于檢測角點；
BRIEF：該算法用于檢測斑點透乾；
ORB：該算法代表帶方向的FAST算法與具有旋轉(zhuǎn)不變性的BRIEF算法洪燥；

通過以下方法進行特征匹配：

暴力(Brute-Force)匹配法磕秤；
基于FLANN匹配法；
可以采用單應性進行空間驗證捧韵。

特征提取算法比較

算法效果比較博文

計算速度： ORB>>SURF>>SIFT（各差一個量級）
旋轉(zhuǎn)魯棒性： SURF>ORB~SIFT（表示差不多）
模糊魯棒性： SURF>ORB~SIFT
尺度變換魯棒性： SURF>SIFT>ORB（ORB并不具備尺度變換性）

基本概念

特征向量

用于表示和量化圖像的數(shù)字列表市咆，簡單理解成將圖片轉(zhuǎn)化為一個數(shù)字列表表示。特征向量中用來描述圖片的各種屬性的向量稱為特征矢量再来。

特征描述符（特征描述子）Descriptor

參考
是一種算法和方法蒙兰，輸入1個圖像，返回多個特征向量（主要用來處理圖像的局部芒篷，往往會把多個特征向量組成一個一維的向量）搜变。主要用于圖像匹配（視覺檢測），匹配圖像中的物品针炉。

SIFT特征算法與DoG尺度空間

SIFT論文
 原理
 opencv官網(wǎng)解釋
實質(zhì)是在不同的尺度空間上查找關(guān)鍵點(特征點)痹雅，并計算出關(guān)鍵點的方向。SIFT所查找到的關(guān)鍵點是一些十分突出糊识，不會因光照绩社，仿射變換和噪音等因素而變化的點，如角點赂苗、邊緣點愉耙、暗區(qū)的亮點及亮區(qū)的暗點等。

SIFT

尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform或SIFT)是一種電腦視覺的算法用來偵測與描述影像中的局部性特征拌滋，它在空間尺度中尋找極值點朴沿，并提取出其位置、尺度败砂、旋轉(zhuǎn)不變量赌渣。
其應用范圍包含物體辨識、機器人地圖感知與導航昌犹、影像縫合坚芜、3D模型建立、手勢辨識斜姥、影像追蹤和動作比對鸿竖。

尺度空間

對現(xiàn)實中物體的描述一定要在一個十分重要的前提下進行，這個前提就是對自然界建模時的尺度铸敏。當用一個機器視覺系統(tǒng)分析未知場景時缚忧，計算機沒有辦法預先知道圖像中物體的尺度，因此我們需要同時考慮圖像在多尺度下的描述杈笔，獲知感興趣物體的最佳尺度闪水。圖像的尺度空間表達指的是圖像的所有尺度下的描述。

DoG尺度空間

DoG空間極值點

特征點方向歸一化

計算特征點描述子

SIFT算法分解為如下四步：

尺度空間極值檢測：搜索所有尺度上的圖像位置蒙具。通過高斯微分函數(shù)來識別潛在的對于尺度和旋轉(zhuǎn)不變的興趣點球榆。
關(guān)鍵點定位：在每個候選的位置上峰弹，通過一個擬合精細的模型來確定位置和尺度。關(guān)鍵點的選擇依據(jù)于它們的穩(wěn)定程度芜果。
方向確定：基于圖像局部的梯度方向鞠呈，分配給每個關(guān)鍵點位置一個或多個方向。所有后面的對圖像數(shù)據(jù)的操作都相對于關(guān)鍵點的方向右钾、尺度和位置進行變換蚁吝，從而提供對于這些變換的不變性。
關(guān)鍵點描述：在每個關(guān)鍵點周圍的鄰域內(nèi)舀射，在選定的尺度上測量圖像局部的梯度窘茁。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化脆烟。

sift = cv2.xfeatures2d.SIFT_create()
'''
SIFT_create([, nfeatures[, nOctaveLayers[, contrastThreshold[, edgeThreshold[, sigma]]]]]) -> retval
    .   @param nfeatures The number of best features to retain. The features are ranked by their scores
    .   (measured in SIFT algorithm as the local contrast)
    .   
    .   @param nOctaveLayers The number of layers in each octave. 3 is the value used in D. Lowe paper. The
    .   number of octaves is computed automatically from the image resolution.
    .   
    .   @param contrastThreshold The contrast threshold used to filter out weak features in semi-uniform
    .   (low-contrast) regions. The larger the threshold, the less features are produced by the detector.
    .   
    .   @param edgeThreshold The threshold used to filter out edge-like features. Note that the its meaning
    .   is different from the contrastThreshold, i.e. the larger the edgeThreshold, the less features are
    .   filtered out (more features are retained).
    .   
    .   @param sigma The sigma of the Gaussian applied to the input image at the octave \#0. If your image
    .   is captured with a weak camera with soft lenses, you might want to reduce the number.
'''
keypoints, descriptor = sift.detectAndCompute(img_gray, None)
'''
        detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
        .   Detects keypoints and computes the descriptors
        算法分成了兩步山林，第一步特征提取，第二步計算描述符
'''

'''
keypoints數(shù)據(jù)結(jié)構(gòu)
pt, 坐標
size, 特征直徑
angle, 特征方向
response, 特征強度
octave,該特征在金字塔的第幾層被找到
class_id
'''

KeyPoint數(shù)據(jù)結(jié)構(gòu)解析

img = cv2.imread('laugh.jpg')
img_large = cv2.imread('laugh_large.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray_large = cv2.cvtColor(img_large, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
keypoints, descriptor = sift.detectAndCompute(gray, None)
keypoints2, descriptor2 = sift.detectAndCompute(gray_large, None)
img = cv2.drawKeypoints(image=img, outImage=img, keypoints=keypoints, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                        color=(0, 0, 255))
img_large = cv2.drawKeypoints(image=img_large, outImage=img_large, keypoints=keypoints2,
                              flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                              color=(0, 0, 255))

cv2.imshow('sift', img)
cv2.imshow('sift_large', img_large)

SIFT效果

SURF算法和Fast Hessian矩陣

SURF論文
 原理
 opencv官網(wǎng)解釋
SURF是SIFT的加速版邢羔，它善于處理具有模糊和旋轉(zhuǎn)的圖像驼抹，但是不善于處理視角變化和光照變化。在SIFT中使用DoG對LoG進行近似拜鹤，而在SURF中使用盒子濾波器對LoG進行近似框冀，這樣就可以使用積分圖像了（計算圖像中某個窗口內(nèi)所有像素和時，計算量的大小與窗口大小無關(guān)）敏簿∶饕玻總之，SURF最大的特點在于采用了Haar特征以及積分圖像的概念惯裕，大大加快了程序的運行效率温数。

surf = cv2.xfeatures2d.SURF_create(hessian_threshold)
# hessian_threshold 保留的特征值越少，越強大的特征值才會被保留蜻势，需要根據(jù)具體圖像進行調(diào)整

img = cv2.imread("laugh.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

alg = cv2.xfeatures2d.SURF_create(10000)
keypoints, descriptor = alg.detectAndCompute(gray, None)
img = cv2.drawKeypoints(img, keypoints, img, (0, 0, 255), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imshow('hessian_10000', img)

SURF - hessan閾值效果對比

SURF - 不同尺度效果對比

注意事項

因為專利原因撑刺，OpenCV3.3開始不再免費開放SIFT\SURF，需要免費的請使用ORB算法

ORB特征算法

ORB算法綜合了FAST角點檢測算法和BRIEFF描述符咙边。

FAST特征檢測

算法原理
 opencv官方文檔
FAST只是一種特征點檢測算法猜煮，并不涉及特征點的特征描述。

fast = cv2.FastFeatureDetector_create(threshold=10)

img = cv2.imread("laugh.jpg", 0)
fast = cv2.FastFeatureDetector_create()
keypoints = fast.detect(img, None)
img = cv2.drawKeypoints(img, keypoints, None, (0, 0, 255))

FAST - threshold100效果圖

FAST - 默認threshold(10)效果圖

BRIEF特征描述符

論文
 opencv官方文檔
 中文版
Brief是Binary Robust Independent Elementary Features的縮寫败许。這個特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征點附近隨機選取若干點對淑蔚，將這些點對的灰度值的大小市殷，組合成一個二進制串，并將這個二進制串作為該特征點的特征描述子刹衫。文章同樣提到醋寝，在此之前搞挣，需要選取合適的gaussian kernel對圖像做平滑處理。

缺點

1：不具備旋轉(zhuǎn)不變性音羞。
2：對噪聲敏感
3：不具備尺度不變性囱桨。

img = cv2.imread("laugh.jpg", 0)
# Initiate FAST detector
star = cv2.xfeatures2d.StarDetector_create()
# Initiate BRIEF extractor
brief = cv2.xfeatures2d.BriefDescriptorExtractor_create()
# find the keypoints with STAR
kp = star.detect(img, None)
# compute the descriptors with BRIEF
kp, des = brief.compute(img, kp)
print(brief.descriptorSize())
print(des.shape)

ORB

ORB論文
 OpenCV官方文檔

ORB采用了FAST作為特征點檢測算子，特征點的主方向是通過矩（moment）計算而來解決了BRIEF不具備旋轉(zhuǎn)不變性的問題嗅绰。
ORB還做了這樣的改進舍肠，不再使用pixel-pair，而是使用9×9的patch-pair窘面，也就是說翠语，對比patch的像素值之和，解決了BRIEF對噪聲敏感的問題财边。
關(guān)于計算速度：
ORB是sift的100倍肌括，是surf的10倍。

import cv2

img = cv2.imread("A.jpg", 0)
orb = cv2.ORB_create()
kp, des = orb.detectAndCompute(img, None)
# len(kp) : 485
# des.shape:  (485, 32)

ORB效果

附：相關(guān)知識

特征提取方法

直方圖

對圖片數(shù)據(jù)酣难、特征分布的一種統(tǒng)計
對數(shù)據(jù)空間(bin)進行量化

聚類

Kmeans

顏色特征

量化顏色直方圖谍夭，適用于均勻分布的顏色空間，如RGB憨募，HSV等慧库。
統(tǒng)計落在量化單元上的像素數(shù)量，bin內(nèi)的像素由bin中心的顏色代表
聚類顏色直方圖馋嗜，適用于非均勻分布的顏色空間齐板，如Lab等

幾何特征

邊緣：尺度問題->不同的標準差 $\sigma$ 捕捉到不同尺度的邊緣
斑點 Blob：二階高斯導數(shù)濾波LoG

LoG圖找零點就是邊緣

LoG圖找極值點就是斑點

DoG：LoG近似于2個不同尺度的高斯差分，計算量大大減小

藍色是LoG葛菇，黑色是DoG

關(guān)鍵點(keypoint)：不同視角圖片之間的映射甘磨，圖片配準、拼接眯停、運動跟蹤济舆、物體識別、機器人導航莺债、3D重建

紋理特征

HOG方向梯度直方圖
LBP局部二值模式
Gabor濾波器組：多尺度多方向滋觉。原理：頻域中是加窗傅里葉變換，時域中是一個高斯核和正弦平面波的乘積

三尺度齐邦、八方向

局部特征

SIFT\SURF

OpenCV+Python特征提取算法與圖像描述符之SIFT / SURF / ORB