Shape-Preserving Half-Projective Warps for Image Stitching

作者：Che-Han Chang; Yoichi Sato; Yung-Yu Chuang
機構(gòu)：臺灣大學(xué)
年份：2014
期刊/會議：Conference on Computer Vision and Pattern Recognition (CVPR)
原文地址：Shape-Preserving Half-Projective Warps for Image Stitching

本文提出了一種新的參數(shù)扭曲，它是投影變換和相似變換的空間組合誊酌。給定與兩個輸入圖像相關(guān)的投影變換，基于對投影變換的分析歧匈，我們的方法將重疊區(qū)域的投影變換平滑地外推到非重疊區(qū)域肌蜻，并且由此產(chǎn)生的扭曲在整個圖像上逐漸從投影變?yōu)橄嗨颇钡Ｌ嶙h的扭曲具有投影扭曲和相似扭曲的優(yōu)點。它作為投影扭曲提供了良好的對齊精度桑嘶，同時將單個圖像的視角保留為相似扭曲炊汹。它還可以與更先進的基于局部扭曲的對齊方法相結(jié)合，例如盡可能投影的扭曲逃顶，以獲得更好的對齊精度讨便。使用建議的經(jīng)線，通過縫合投影失真較小的圖像（拉伸形狀和放大尺寸）以政，可以擴展視野霸褒。

Ⅰ 介紹

動機：通常圖像拼接是找到全局參數(shù)扭曲使圖像對齊。全局參數(shù)扭曲選擇包括相似性盈蛮、仿射和投影废菱，具有強大的魯棒性，但是并非針對所有場景和運動都很靈活眉反。例如在非平面場景或有視差昙啄、運動物體時穆役，無法提供精確的對齊寸五。

為了解決上述問題，最近提出了幾種局部扭曲模型耿币。如平滑變換仿射 (SVA) 扭曲和盡可能投影 (APAP) 扭曲梳杏。這些方法不依賴于全局參數(shù)扭曲，而是在重疊區(qū)域采用局部參數(shù)扭曲淹接，在非重疊區(qū)域十性，投影正則化用于平滑外推圖像重疊之外的扭曲并整體類似于全局變換。

(a)和(b)為APAP扭曲塑悼，(c)和(d)是本文方法

使用APAP扭曲在非重疊區(qū)域投影扭曲嚴重改變了尺寸和形狀劲适，當下一張圖像被拼接時，失真會進一步加大厢蒜。

由于具有寬視野的單視角圖像不可避免地會引入嚴重的形狀/尺寸失真霞势，因此解決方案必須提供多視角拼接圖像。一個初步的想法是在重疊區(qū)域使用投影扭曲以更好地對齊斑鸦，同時在非重疊區(qū)域使用相似扭曲以保留每個視圖的視角愕贡。

本文提出了一種新的參數(shù)扭曲，即形狀保持半投影扭曲巷屿，它是投影變換和相似變換的空間組合固以。這種組合同時考慮了對齊的靈活性和視角的保留。

Ⅱ 相關(guān)工作

圓柱形和球形扭曲
多單應(yīng)和局部變換
投影變換和相似變換

Ⅲ 提出的方法

投影變換分析

投影變換（單應(yīng)矩陣）表示像素點 $(x,y)\to(x^\prime,y^\prime)$ 在齊次坐標系下的線性變換關(guān)系：
$\left[\matrix{x^{\prime}\cr y^{\prime}\cr 1}\right]\sim\left[\matrix{\hat{h}_{1}&\hat{h}_{2}&\hat{h}_{3}\cr \hat{h}_{4}&\hat{h}_{5}&\hat{h}_{6}\cr \hat{h}_{7}&\hat{h}_{8}&1}\right]\left[\matrix{x\cr y\cr 1}\right],\tag{1}$
其中 $\sim$ 表示依據(jù)尺寸相等。單應(yīng)矩陣擁有8個參數(shù)憨琳， $(x,y)$ 到 $(x^\prime.y^\prime)$ 的映射可以表示為：
$x^{\prime}={\hat{h}_{1}x+\hat{h}_{2}y+\hat{h}_{3}\over \hat{h}_{7}x+\hat{h}_{8}y+1},\quad y^{\prime}={\hat{h}_{4}x+\hat{h}_{5}y+\hat{h}_{6}\over \hat{h}_{7}x+\hat{h}_{8}y+1}. \tag{2}$
當我們將 $(x,y)$ 旋轉(zhuǎn)一定角度诫钓，變?yōu)樾碌淖鴺?img class="math-inline" src="https://math.jianshu.com/math?formula=(u%2Cv)" alt="(u,v)" mathimg="1">時，有如下對應(yīng)關(guān)系：
$\eqalignno{\left[\matrix{ x\cr y}\right]&=\left[\matrix{ \cos\theta & -\sin\theta\cr \sin\theta & \cos\theta}\right]\left[\matrix{ u\cr v}\right],&\hbox{(3)}\cr \theta&= {\rm atan} 2(-\hat{h}_{8}, -\hat{h}_{7}).&\hbox{(4)}}$
進行坐標變換后篙螟，新的單應(yīng)矩陣可以表示為：
$\eqalignno{\left[\matrix{ x^{\prime}\cr y^{\prime}\cr 1}\right]\sim\left[\matrix{ h_{1} & h_{2} & h_{3}\cr h_{4} & h_{5} & h_{6}\cr -c & 0 & 1}\right]\left[\matrix{ u\cr v\cr 1}\right],&&\hbox{(5)}\cr {\rm where}\ \left[\matrix{ h_{1} & h_{2}\cr h_{4} & h_{5}}\right]=\left[\matrix{ \hat{h}_{1} & \hat{h}_{2}\cr \hat{h}_{4} & \hat{h}_{5}}\right]\left[\matrix{ \cos\theta & -\sin\theta\cr \sin\theta & \cos\theta}\right],& &\hbox{(6)}\cr (h_{3}, h_{6})=(\hat{h}_{3},\hat{h}_{6}), & &\hbox{(7)}\cr c=\sqrt{\hat{h}_{7}^{2}+\hat{h}_{8}^{2}}.&&\hbox{(8)}}$
新的映射關(guān)系同樣可以寫為：
$\eqalignno{&x^{\prime}=H_{x}(u, v)={h_{1}u+h_{2}v+h_{3}\over 1-cu},&\hbox{(9)}\cr &y^{\prime}=H_{y}(u, v)={h_{4}u+h_{5}v+h_{6}\over 1-cu}.&\hbox{(10)}}$
于是將映射關(guān)系變?yōu)榱?img class="math-inline" src="https://math.jianshu.com/math?formula=u" alt="u" mathimg="1">和 $v$ 相關(guān)的函數(shù)尖坤。即
$[x^\prime, y^\prime]^T=H(u,v)=[H_x(u,v),H_y(u,v)]^T$
坐標變換的好處在于單應(yīng)矩陣中 $h_8=0$ 了，坐標變換導(dǎo)致有如下性質(zhì)：

尺度變化闲擦。單應(yīng)矩陣 $H$ 可以分解為仿射變換 $H_A$ 和純投影 $H_P$ 慢味，如下所示：
$\underbrace{\left[\matrix{ h_{1} & h_{2} & h_{3}\cr h_{4} & h_{5} & h_{6}\cr -c & 0 & 1}\right]}_{H}=\underbrace{\left[\matrix{ h_{1}+ch_{3} & h_{2} & h_{3}\cr h_{4}+ch_{6} & h_{5} & h_{6}\cr 0 & 0 & 1}\right]}_{H_{A}}\underbrace{\left[\matrix{ 1 & 0 & 0\cr 0 & 1 & 0\cr -c & 0 & 1}\right]}_{H_{P}}. \tag{11}$
像素點 $(u,v)$ 局部區(qū)域的變化可以用單應(yīng)矩陣 $H$ 的雅可比矩陣的行列式表示，即
$\eqalignno{\det J(u, v)&=\det J_{A}(u, v)\cdot\det J_{P}(u, v)\cr &=s_{A}\cdot{1\over (1-cu)^{3}},&\hbox{(12)}}$
其中 $s_A=\det J_A(u,v)$ 是取決于 $u$ 和 $v$ 的常量墅冷。特別地纯路，在(12)中，局部變換尺度因子只取決于 $u$ 寞忿， $u$ 越大驰唬，由單應(yīng) $H$ 導(dǎo)致的尺度變化越大，如下圖所示腔彰，沿著 $u$ 軸增大的區(qū)域扭曲變形越大叫编。

投影扭曲和我們的保形半投影扭曲的比較。請注意霹抛，本文方法扭曲顯示的形狀和大小失真比投影扭曲小得多搓逾。
$H$ 的線性

仿射變換保留線長度比例，然而投影變換并不會杯拐。然而霞篡，在特定的坐標下，長度比例在投影變換下也可以被正確保留端逼。在(9-10)式中朗兵，如果固定 $u$ ， $H_x(u_0,v)$ 和 $H_y(u_0,v)$ 是 $v$ 的線性函數(shù)：
$\eqalignno{&x^{\prime}=H_{x}(u_{0}, v)={h_2\over 1-cu_{0}}v+{h_{1}u_{0}+h_{3}\over 1-cu_{0}},&\hbox{(13)}\cr &y^{\prime}=H_{y}(u_{0}, v)={h_5\over 1-cu_{0}}v+{h_{4}u_{0}+h_{6}\over 1-cu_{0}}.&\hbox{(14)}}$
這表示顶滩，單應(yīng) $H$ 保留了線的長度比例余掖。
規(guī)則邊界

規(guī)則邊界由移動直線掃出來，可以參數(shù)化表示為： ${\bf s}(u,v)={\bf p}(u)+v\cdot{\bf r}(u)$ 礁鲁，其中 ${\bf p}(u)$ 為基準曲線盐欺， ${ \bf r}(u)$ 為導(dǎo)向曲線，考慮函數(shù) $k(u,v)=f(u)v+g(u)$ 救氯，其圖形（由 $(u,v,k(u,v))$ 構(gòu)成的表面）可以表示為
$\left[\matrix{u\cr v\cr k(u, v)}\right]=\underbrace{\left[\matrix{u\cr 0\cr g(u)}\right]}_{{\bf p}(u)}+v\underbrace{\left[\matrix{0\cr 1\cr f(u)}\right]}_{{\bf r}(u)},\tag{15}$
代表這是一個規(guī)則表面找田。而 $H_x(u,v)$ 和 $H_y(u,v)$ 可以寫成 $f(u)v+g(u)$ 的形式，表示的圖為規(guī)則表面着憨。

半投影扭曲

本文的扭曲方法用到了上述坐標變換投影變換 $H$ 的三個性質(zhì)墩衙。首先，將 ${\mathbb R}^2$ 依據(jù)直線 $u=u_1$ 分為兩個部分： $R_H=\{(u,v)|u\leq u_1\}$ 和 $R_L=\{(u,v)|u\geq u_1\}$ ，對于像素點 $(u,v)\in R_H$ 漆改，應(yīng)用原始變換 $H$ 心铃，對于像素點 $(u,v)\in R_L$ ，應(yīng)用相似變換 $S$ 取代原始變換 $H$ 挫剑，由性質(zhì)1可知 $R_L$ 區(qū)域會產(chǎn)生更大扭曲去扣。

為了保證扭曲的連續(xù)性，我們必須保證在分界線處所有的 $S(u,v)=H(u,v)$ 樊破，需要注意的是并非所有投影變換都滿足這個條件因為投影變換并非都是線性的愉棱。幸運的是，由性質(zhì)2可知哲戚，只要沿著 $v$ 方向奔滑，扭曲的連續(xù)性就可以得到保障，在分界線上對所有 $v$ 而言顺少，有
$S(u, v)={1\over 1-cu_{1}}\left(\left[\matrix{ h_{5} & h_{2}\cr -h_{2} & h_{5}}\right]\left[\matrix{ u\cr v}\right]+\left[\matrix{(h_{1}-h_{5})u_{1}+h_{3}\cr (h_{4}+h_{2})u_{1}+h_{6}}\right]\right).\tag{16}$
$u_1$ 的選擇在第四節(jié)中會詳細介紹朋其。

(a)原始圖像；(b)通過單應(yīng)$H$扭曲的變換脆炎；(c)C^0扭曲變換梅猿；(d)C^1扭曲變換

扭曲變換可以保證連續(xù)性( $C^0$ )，但是在分界線 $u=u_1$ 處秒裕，會有一個突變值袱蚓，為減少這一人為因素的影響，在 $R_L$ 區(qū)域不是只用一個單應(yīng)變換簇爆，而是引入緩沖區(qū)域讓 $H$ 平緩地過渡到 $S$ 癞松，使其擁有連續(xù)可微的性質(zhì)爽撒。

$C^1$ 外推法

為了形成 $C^1$ 扭曲入蛆，作者提出進一步將 $R_L$ 劃分為 $R_T=\{(u,v)|u_1<u<u_2\}$ 和 $R_S=\{(u,v)|u_2<u\}$ ，根據(jù)像素點所在區(qū)域硕勿，采用不同的扭曲變換：
$w(u, v)=\left\{\matrix{ H(u, v) & {\rm if}\ (u, v)\in R_{H}\cr T(u, v) & {\rm if}\ (u, v)\in R_{T}.\cr S(u, v) & {\rm if}\ (u, v)\in R_{S}}\right.\tag{17}$
其中 $T(u,v)$ 為 $R_T$ 區(qū)域的扭曲函數(shù)哨毁，介于 $H(u,v)$ 和 $S(u,v)$ 之間。 $S(u,v)$ 為 $R_S$ 區(qū)域的相似變換源武，參數(shù)化相似變換為：
$S(u, v)=\left[\matrix{{S_{x}(u, v)}\cr {S_{y}(u, v)}}\right]=\left[\matrix{ \alpha & -\beta\cr \beta & \alpha}\right]\left[\matrix{ u\cr v}\right]+\left[\matrix{ t_{x}\cr t_{y}}\right]. \tag{18}$
給定投影變換 $H$ 扼褪，可以首先確定 $u_1$ 和 $u_2$ 然后利用式(17)構(gòu)建變換 $w$ 。

由性質(zhì)3可知粱栖， $H_x$ 和 $H_y$ 都構(gòu)成規(guī)則表面话浇，由式(18)可知， $S_x$ 和 $S_y$ 也構(gòu)成規(guī)則表面闹究，這要求 $T_x(u,v)$ 和 $T_y(u,v)$ 也要構(gòu)成規(guī)則表面幔崖，因此我們假設(shè) $T(u,v)$ 有以下形式：
$T(u, v)=\left[\matrix{T_{x}(u, v)\cr T_{y}(u, v)}\right]=\left[\matrix{f_{x}(u)\cr f_{y}(u)}\right] +\left[\matrix{g_{x}(u)\cr g_{y}(u)}\right]. \tag{19}$
為了確定扭曲 $w$ ，需要確定的參數(shù)有 $S$ 中的 $\alpha$ 、 $\beta$ 赏寇、 $t_x$ 吉嫩、 $t_y$ ，以及 $T$ 中的 $f_x$ 嗅定、 $f_y$ 自娩、 $g_x$ 、 $g_y$ 渠退，夾著這四個函數(shù)都是 $u$ 的多項式忙迁，由式(9,10,18,19)代入式(17)，可以得到
$w(u, v)=\left[\matrix{w_{x}(u, v)\cr w_{y}(u, v)}\right]=\left[\matrix{F_{x}(u)v+G_{x}(u)\cr F_{y}(u)v+G_{y}(u)}\right],\tag{20}$
其中
$\eqalignno{&F_{x}(u)=\left\{\matrix{ {h_2\over 1-cu} & {\rm if}\ u\leq u_{1}\qquad\ \ \cr f_{x}(u) & {\rm if}\ u_{1} < u < u_{2}\, \cr -\beta & {\rm if}\ u_{2}\leq u\qquad}\right.&\hbox{(21)}\cr &G_{x}(u)=\left\{\matrix{ {h_{1}u+h_{3}\over 1-cu} & {\rm if}\ u\leq u_{1}\qquad\ \cr g_{x}(u) & {\rm if}\ u_{1} < u < u_{2}\cr \alpha u+t_{x} & {\rm if}\ u_{2}\leq u\qquad}\right.&\hbox{(22)}}$
$F_y$ 和 $G_y$ 可以用相同形式表示碎乃。

接下來需要找到 $\alpha$ 动漾、 $\beta$ 、 $t_x$ 荠锭、 $t_y$ 旱眯、 $f_x$ 、 $f_y$ 证九、 $g_x$ 删豺、 $g_y$ 等參數(shù)，這就要求 $F_x(u)$ 和 $G_x(u)$ 是連續(xù)的愧怜，以 $F_x(u)$ 為例呀页，由式(21)， $C^1$ 連續(xù)有：
$\eqalignno{&f_{x}(u_{1})={h_2\over 1-cu_{1}}\qquad (F_{x}(u_{1}) {\rm is}\ \ {\rm continuous}) &\hbox{(23)}\cr &f_{x}^{\prime}(u_{1})={ch_2\over (1-cu_{1})^{2}}\quad (F_{x}^{\prime}(u_{1}) \ {\rm is} \ {\rm continuous}) &\hbox{(24)}\cr & f_{x}(u_{2})=-\beta\qquad\qquad (F_{x}(u_{2}) \ {\rm is} \ {\rm continuous}) &\hbox{(25)}\cr &f_{x}^{\prime}(u_{2})=0\qquad\qquad\quad (F_{x}^{\prime}(u_{2}) \ {\rm is} \ {\rm continuous}) &\hbox{(26)}}$
故可以求得 $f_x$ 和 $\beta$ 拥坛，同樣可以利用 $F_y(u)$ 計算得到 $f_y$ 和 $\alpha$ 蓬蝶，用相同方法，可以由 $G_x$ 和 $G_y$ 求得其他參數(shù)猜惋。

到此丸氛，就可以根據(jù)一個單應(yīng)矩陣 $H$ 將待拼接圖像劃分為不同區(qū)域，采用不同扭曲變換獲得連續(xù)性著摔，采用一半投影變換一半相似變換的方式進行拼接缓窜。

Ⅳ 圖像拼接

形狀保留圖像拼接

給定兩幅圖像 $I_1$ 和 $I_2$ ，假設(shè)兩幅圖由 $H_{12}$ 相關(guān)谍咆，即將 $(x_2,y_2)$ 映射到 $(x_1,y_1)$ 上禾锤，若 $I_2$ 通過 $w$ 扭曲，則 $I_1$ 通過 $w\cdot H_{12}^{-1}$ 扭曲摹察，當 $w=H_{12}$ 時恩掷，相當于固定 $I_1$ 將 $I_2$ 扭曲，當 $w=I$ 時供嚎，相當于固定 $I_2$ 將 $I_1$ 扭曲黄娘。

為了使拼接圖像盡可能保持視角不變旦签，我們希望扭曲變換 $w$ 使圖像進行盡可能多的相似變換。為了實現(xiàn)這一想法，令 $I_i$ 的函數(shù) $E_i$ 表示扭曲矩陣 $w_i$ 的分化，即
$\eqalignno{&E_{i}(u_{1}, u_{2})\cr & =\min_{a_{i}, b_{i}}\iint_{(x, y)\in\Omega_{i}}\left\Vert J_{i}(x, y;u_{1}, u_{2})-\left[\matrix{ a_{i} & -b_{i}\cr b_{i} & a_{i}}\right]\right\Vert_{F}^{2}dxdy &\hbox{(27)}}$
其中 $\Omega_i$ 為 $I_i$ 的矩形區(qū)域乏悄， $J_{i}(x, y;u_{1}, u_{2})$ 為 $w_i$ 在 $(x,y)$ 處的雅可比矩陣，由于 $u_1$ 和 $u_2$ 是 $w_i$ 的參數(shù)羔巢，因此雅可比矩陣由 $(u_1,u_2)$ 決定。

當拼接兩幅圖像時罩阵，總能量
$E(u_1,u_2)=E_1(u_1,u_2)+E_2(u_1,u_2)$
能量函數(shù)是非線性的竿秆，作者采用均勻采用對其進行優(yōu)化。

對于圖像序列 $\{I_1,I_2,\cdots,I_n\}$ 稿壁，使用群組拼接策略找到所有圖像的對應(yīng)關(guān)系幽钢。給每對相鄰圖像找單應(yīng) $H_{i,i+1}$ ，并計算出第一張圖和最后一張圖的 $H_{1,n}$ 傅是，用于產(chǎn)生扭曲 $w$ 匪燕， $I_n$ 由 $w$ 扭曲，而其余圖像由 $w\cdot H_{in}^{-1}$ 扭曲喧笔。

使用本文的warp分析三幅圖像之間的幾何關(guān)系帽驯。

結(jié)合APAP扭曲

所提方法關(guān)注保留視角一致但不關(guān)注對齊的正確性。然而书闸，可以和對齊正確性方法進行結(jié)合來獲得兩者的優(yōu)點尼变。APAP是其中最先進的一種方式。一種方法就是用移動直接線性變換估計的APAP扭曲取代投影變換浆劲。然而這就為估計 $u_1$ 和 $u_2$ 帶來了困難嫌术。作者提出了一個簡單的方案結(jié)合APAP和所提方法。

（a）本文的扭曲可以解釋為一個投影扭曲牌借，然后是一個后扭曲進行細化度气。（b）在apap warp之后應(yīng)用我們的post warp進行集成。（c）使用apap+本文warp的兩個圖像之間的幾何關(guān)系走哺。

投影變換 $H$ 后引入 $w\cdot H^{-1}$ 表示為上圖(a)蚯嫌，后扭曲可以認為是對扭曲的矯正，只作用于 $R_L$ 區(qū)域丙躏。盡管APAP是局部變換，但在全局也是用的投影變換束凑，因此晒旅，可以先用APAP進行局部扭曲 $w_{APAP}$ ，再施加后扭曲 $w\cdot H^{-1}$ 汪诉，以進行調(diào)整废恋√革總的來說，結(jié)合APAP的扭曲函數(shù)可以表示為：
$w\circ H^{-1}\circ w_{{\rm AP}{\rm AP}}.\tag{28}$

Ⅴ 實驗

結(jié)合本文方法和其他方法進行對比

多張圖像的拼接效果

APAP方法與本文方法的結(jié)合

Ⅵ 結(jié)論

本文提出了一種新穎的圖像拼接扭曲鱼鼓。我們的扭曲在保持其原始視角的同時全局對齊圖像拟烫。與 APAP 扭曲相結(jié)合時，結(jié)果可提供準確的對齊迄本、更少的失真和多視角視圖硕淑。我們的參數(shù)選擇程序目前沒有考慮圖像內(nèi)容（例如，線特征）嘉赎。因此置媳，當場景充滿線條結(jié)構(gòu)時，所選參數(shù)對于減少線條失真可能無效公条。將來拇囊，我們還想探索將我們的扭曲應(yīng)用于不同應(yīng)用程序（例如視圖變形）的可能性。

SPHP：形狀保留半投影圖像拼接