PSIFT：Pore Scale-invariant feature transform肴掷；毛孔尺度不變特征點

Pore-SIFT原理

PSIFT（Pore-Scale-invariant feature transform）是一種檢測局部特征的算法敬锐，該算法通過求一幅圖中的特征點（Interest points,or corner points）及其有關(guān)Scale 和 Orientation 的描述子得到特征并進行圖像特征點匹配，以得出圖像匹配的效果呆瞻。

構(gòu)建尺度空間

影像在不同的尺度下用高斯濾波器(Gaussian filters)進行卷積(convolved)台夺，然后利用連續(xù)高斯模糊化影像差異來找出關(guān)鍵點。關(guān)鍵點是根據(jù)不同尺度下的高斯差(Difference of Gaussians,DoG)的最大值(不同于SIFT痴脾，這里Pore-SIFT只尋找高斯差最大的關(guān)鍵點)颤介。由上式可知DoG影像是原始影像與不同尺度倍率的高斯模糊后之差值。Pore-SIFT算法為了求得在不同尺度倍率之下DoG影像的極大值赞赖，先將原始影像與不同尺度倍率的高斯模糊進行卷積滚朵，這些經(jīng)高斯模糊處理后的影像依其尺度倍率以2倍為一單位分組，并且通常為一個選定后的定值薯定，因此在每一組內(nèi)經(jīng)高斯模糊處理后的影像數(shù)量相同始绍，此時將同一組相鄰的經(jīng)高斯模糊處理后的影像兩兩相減可得其DoG影像Figure 1。

Figure 卷積金字塔示意圖

DOG尺度空間極值檢測

在尺度空間中话侄，每一個采樣點要和333的鄰域內(nèi)與其他點進行比較亏推，若該點為鄰域內(nèi)的最大值(如Figure 2所示)，則將該點作為候選點年堆。由于時在多尺度下尋找的候選點吞杭，該候選點為該鄰域內(nèi)的極大值點，利用該點所提取出的特征能具有非常好的尺度不變特征变丧，對于圖像小范圍的縮放與模糊具有良好的魯棒性芽狗。

這里寫圖片描述

邊緣響應(yīng)的去除

在不同尺寸空間下可能找出過多的關(guān)鍵點，有些關(guān)鍵點可能相對不易辨識或易受噪聲干擾痒蓬。Pore-SIFT算法的下一步將會借由關(guān)鍵點附近像素的資訊童擎、關(guān)鍵點的尺寸、關(guān)鍵點的主曲率來定位各個關(guān)鍵點攻晒，借此消除位于邊上或是易受噪聲干擾的關(guān)鍵點顾复。一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率鲁捏。主曲率通過一個2×2 的Hessian矩陣H求出:
$H = \left[ \begin{matrix} D_{xx} & D_{xy} \\ D_{xy} & D_{yy} \end{matrix} \right] \tag{3}$
$Tr(H)=D_{xx}+ D_{yy}=α+β$
$Det(H) = D_{xx} D_{yy}-D_{xy}^2=αβ$

曲率滿足要求的點應(yīng)滿足如下要求芯砸，其中r是給定的閾值，一般取r=10：
$\frac{Tr(H)^2}{Det(H)}<\frac{(r+1)^2}{r}$
經(jīng)過計算后剩余下的點便是下一步的候選點。

計算關(guān)鍵點主方向并旋轉(zhuǎn)

在方位定向中假丧，關(guān)鍵點以相鄰相素的梯度方向分布作為指定方向參數(shù)双揪，使關(guān)鍵點描述子能以根據(jù)此方向來表示并具備旋轉(zhuǎn)不變性。經(jīng)高斯模糊處理后的影像 $L(x,y,σ)$ 包帚，在 $σ$ 尺寸下的梯度量 $m(x,y)$ 與方向 $θ(x,y)$ 可由相鄰之像素值計算:
$m(x,y)=√((L(x+1,y)-L(x-1,y))^2+(L(x,y+1)-L(x,y-1))^2 )$
$θ(x,y)=arctan?(L(x,y+1)-L(x,y-1),L(x+1,y)-L(x-1,y))$
計算每個關(guān)鍵點與其相鄰像素之梯度的量值與方向后渔期，為其建立一個以10度為單位36條的直方圖。每個相鄰像素依據(jù)其量值大小與方向加入關(guān)鍵點的直方圖中婴噩，最后直方圖中最大值的方向即為此關(guān)鍵點的方向, 將圖像進行正交旋轉(zhuǎn)擎场，旋轉(zhuǎn)至主方向 (Figure 3)，確保每個PSIFT特征旋轉(zhuǎn)不變性几莽。

旋轉(zhuǎn)至主方向

關(guān)鍵點描述子

找到關(guān)鍵點的位置迅办、尺寸并賦予關(guān)鍵點方向后，將可確保其移動章蚣、縮放站欺、旋轉(zhuǎn)的不變性。此外還需要建立一個描述子向量纤垂，使其在不同光線與視角下皆能保持其不變性矾策。首先每個88的子區(qū)域內(nèi)建立一個8方向的直方圖，在關(guān)鍵點周圍2828的區(qū)域中一共64個子區(qū)域(子區(qū)域的大小為44)峭沦，計算每個像素的梯度量值大小與方向后加入此子區(qū)域的直方圖中(8個方向)的梯度大小(如圖Figure 4所示)贾虽，共可產(chǎn)生648=512維，并將其歸一化吼鱼，該向量即為關(guān)鍵點的描述子蓬豁。將每個點提取出的512維特征向量組成一個特征矩陣，至此形成一張完整圖像的Pore-SIFT特征描述符矩陣(大小k*512,k為特征點個數(shù) )

關(guān)鍵點位置直方圖

Pore-SIFT特征匹配

得到不同圖像的Pore-SIFT特征后菇肃，利用特征便可比較兩張圖像的相似之處,在此使用傳統(tǒng)的計算特征歐式距離的方法地粪，生成的Image_A、Image_B兩幅圖的描述子琐谤，(分別是k1512維和k2512維)蟆技，就將兩圖中各個scale（所有scale）的描述子進行匹配，匹配上512維即可表示兩個特征點匹配上了斗忌。實際操作中质礼，為了減少誤差，增強魯棒性织阳，取圖像Image_A中的某個關(guān)鍵點几苍，并找出其與圖像Image_B中歐式距離最近的前兩個關(guān)鍵點，在這兩個關(guān)鍵點中陈哑，如果最近的距離除以次近的距離小于某個比例閾值，則接受這一對匹配點。降低這個比例閾值惊窖，PSIFT匹配點數(shù)目會減少刽宪，但更加穩(wěn)定。閾值的取值范圍在0.4~0.8之間都是可以接受的界酒，根據(jù)不同的需求有不同的取值圣拄。
用于人臉匹配有很好的效果。

人臉匹配效果

個人實現(xiàn)的PSIFT的Python代碼：https://github.com/BlackJocker1995/PSIFT_python

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末毁欣，一起剝皮案震驚了整個濱河市庇谆，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌凭疮，老刑警劉巖饭耳，帶你破解...
沈念sama閱讀 216,402評論 6贊 499
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異执解，居然都是意外死亡寞肖，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,377評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門衰腌，熙熙樓的掌柜王于貴愁眉苦臉地迎上來新蟆，“玉大人，你說我怎么就攤上這事右蕊∏淼荆” “怎么了？”我有些...
開封第一講書人閱讀 162,483評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵饶囚，是天一觀的道長帕翻。經(jīng)常有香客問我，道長坯约，這世上最難降的妖魔是什么熊咽？我笑而不...
開封第一講書人閱讀 58,165評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮闹丐，結(jié)果婚禮上横殴，老公的妹妹穿的比我還像新娘。我一直安慰自己卿拴，他們只是感情好衫仑，可當(dāng)我...
茶點故事閱讀 67,176評論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著堕花，像睡著了一般文狱。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上缘挽，一...
開封第一講書人閱讀 51,146評論 1贊 297
城市分裂傳說
那天瞄崇，我揣著相機與錄音呻粹，去河邊找鬼。笑死苏研，一個胖子當(dāng)著我的面吹牛等浊，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播摹蘑，決...
沈念sama閱讀 40,032評論 3贊 417
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼筹燕，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了衅鹿？” 一聲冷哼從身側(cè)響起撒踪，我...
開封第一講書人閱讀 38,896評論 0贊 274
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎大渤，沒想到半個月后制妄，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,311評論 1贊 310
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡兼犯，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,536評論 2贊 332
?白月光啟示錄
正文我和宋清朗相戀三年忍捡，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片切黔。...
茶點故事閱讀 39,696評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡砸脊，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出纬霞，到底是詐尸還是另有隱情凌埂，我是刑警寧澤，帶...
沈念sama閱讀 35,413評論 5贊 343
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布诗芜，位于F島的核電站瞳抓，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏伏恐。R本人自食惡果不足惜孩哑，卻給世界環(huán)境...
茶點故事閱讀 41,008評論 3贊 325
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望翠桦。院中可真熱鬧横蜒，春花似錦、人聲如沸销凑。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,659評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽斗幼。三九已至澎蛛，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間蜕窿，已是汗流浹背谋逻。一陣腳步聲響...
開封第一講書人閱讀 32,815評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工呆馁，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人毁兆。一個月前我還...
沈念sama閱讀 47,698評論 2贊 368
代替公主和親
正文我出身青樓智哀，卻偏偏與公主長得像，于是被迫代替她去往敵國和親荧恍。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 44,592評論 2贊 353

PSIFT：Pore Scale-invariant feature transform；毛孔尺度不變特征點