1. 圖像配準的基本概念
Image registration 是指同一目標的兩幅或者兩幅以上的圖像在空間位置的對準流妻。圖像配準技術的過程序愚,稱為圖像匹配或者圖像相關(image matching or image correlation)妖混。圖像配準可以定義成兩相鄰圖像之間的空間變換和灰度變換此疹,即先將圖像像素的坐標X映射到一個新坐標系中的某一個坐標X’唤崭,再對其像素進行重采樣扯俱。圖像配準要求相鄰圖像之間有一部分在邏輯上是相同的,即相鄰的圖像有一部分反映了同一目標區(qū)域牺弹,這一點是實現(xiàn)圖像配準的基本條件浦马。如果確定了相鄰圖像代表同一場景目標的所有像素之間的關系,采用相應的處理算法即可以實現(xiàn)圖像配準张漂。
(1) 按配準模式分類晶默,圖像配準可以分為半自動配準和自動配準兩種:
半自動配準:人機交互方式提取特征(如角點),然后利用計算機對圖像進行特征匹配航攒、變換和重采樣磺陡。
自動配準:計算機自己完成∧螅基于灰度或者是基于特征币他。
(2) 按配準的方法分類,圖像配準可以分為基于灰度配準和基于特征配準憔狞。
基于灰度:精度高蝴悉,缺點是對圖像灰度變化敏感,尤其是非線性化的光照變化瘾敢。計算復雜度高拍冠,對目標的旋轉尿这、變形以及遮擋比較敏感。
基于特征:特征提取和特征匹配庆杜∩渲冢可提取的特征有點、線與區(qū)域欣福。特征區(qū)域一般采用互相關來度量责球,但互相關度量對旋轉處理比較困難,尤其是圖像之間存在部分圖像重疊的情況拓劝。最小二乘匹配算法和全局匹配的松弛算法能夠取得比較理想的結果雏逾。
2. 空間變換
在圖像配準中,首先根據參考圖像與待配準圖像相對應的特征點郑临,求解兩幅圖像之間的變換參數(shù)栖博;然后將待配準圖像做相應的空間變換,使得兩幅圖像在同一空間坐標系內厢洞。圖像變換就是尋找一種坐標變換的模型仇让,建立從一副圖像坐標到另一幅圖像坐標之間的映射關系。在圖像配準中躺翻,常用的有剛體變換丧叽、仿射變換、透視變換和非線性變換四種模型公你。
2.1 剛體變換(Rigid Transformation)
?剛體變換變換前后兩點間的距離依舊保持不變則被稱為剛體變換踊淳。?剛體變換可分解為平移變換、旋轉變換和反轉(鏡像)變換陕靠。
(1) 平移變換
http://blog.csdn.net/on2way/article/details/46801063
(2) 旋轉變換
http://blog.csdn.net/on2way/article/details/46801063
(3) 反轉變換
2.2 仿射變換(Affine Transformation)
簡單來說迂尝,“仿射變換”就是:“線性變換”+“平移”。
https://www.zhihu.com/question/20666664
cv2中用到getAffineTransform函數(shù)剪芥。
2.3 透視變換(Perspective Transformation)
仿射變換保證物體形狀的“平直性”和“平行性”垄开。透視變換不能保證物體形狀的“平行性”。仿射變換是透視變換的特殊形式税肪。
透視變換需要的是一個3*3的矩陣溉躲,同理opencv在構造這個矩陣的時候還是采用一種點對應的關系來通過函數(shù)自己尋找的,因為我們自己很難計算出來益兄。這個函數(shù)是M = cv2.getPerspectiveTransform(pts1,pts2)签财,其中pts需要變換前后的4個點對應位置。
推導過程:http://blog.csdn.net/wodownload2/article/details/52084300
2.4 非線性變換(Nonlinear Transformation)
非線性變換就是把直線映射為曲線偏塞。它一般使用多項式函數(shù),在二維空間內邦鲫,通過一個非線性函數(shù)來表示非線性變換灸叼。
非線性變換比較適合于那些具有全局性形變的圖像配準問題以及整體近似剛體但局部有形變的配準情況神汹。
3. 重采樣
經過空間變換后,最后通過灰度變換古今∑ㄎ海灰度變換是對空間變換后的待配準圖像值進行重新賦值,即重采樣捉腥。
重采樣的方法是利用待配準圖像與參考圖像最鄰近的像素點的灰度氓拼,使用逼近的方法得到待配準圖像的點陣的坐標點的灰度值,從而得到最終配準圖像抵碟。一般采用的算法有雙線性插值與最鄰近像元法桃漾。