基本矩陣F與本質(zhì)矩陣E的分析與計算

對于這三個矩陣還有坐標系什么的真是看了忘，忘了看鹊杖，今日索性一次性將它記下來，下次再忘的時候翻看一下就行了扛芽。

相機成像原理

如果直接將膠片放置在物體前面骂蓖，由于光的折射，反射等等現(xiàn)象川尖，在膠片上是成不了像的登下。但是在物體和膠片之間放上一塊擋板，擋板上有一個小孔叮喳，它阻擋了大部分的光線被芳，就將這個屏障上的小孔稱之為光圈，膠片上就獲得了倒立的圖像馍悟。但是畔濒，這個小孔成像存在一個問題，就是锣咒，光圈越小曝光時間越長侵状，形成高亮度的圖像赞弥，，而且太小了趣兄，就會產(chǎn)生光的衍射現(xiàn)象绽左，圖像也模糊了，光圈大雖然曝光時間短了艇潭，可圖像變模糊了拼窥。對于這樣子的相機來進行實時的特征提取等等顯然是行不通的，所以就有了透鏡系統(tǒng)蹋凝。在光圈之前加凸透鏡鲁纠，眾所周知，凸透鏡具有聚焦的功能鳍寂，這樣房交，成像的速度加快了許多，只需要差不多0.01秒伐割。

對極約束

當(dāng)相機為單目的時候，只知道2D的像素坐標刃唤，需要通過兩視圖來估計相機的運動隔心。假設(shè)從兩張圖像中得到了一對匹配好的特征點，如果有若干對這樣的匹配點尚胞，就可以通過這些二維圖像點之間的對應(yīng)關(guān)系硬霍，恢復(fù)出兩幀之間攝像機的運動。兩視圖的對極幾何約束可以用基本矩陣F表示笼裳，那么如何得到這個矩陣呢?

對極幾何約束

首先說明一些術(shù)語唯卖，O1和O2稱為光心，O1躬柬、O2和P構(gòu)成的平面稱為極平面拜轨，p和e1，q和e2稱為極線允青，e1和e2為O1和O2與像素平面的交點稱為極點橄碾。可以知道的是由于他們都在同一平面上颠锉，所以q點的投影必然在pe1這條極限上法牲，而同理p的投影也必然在qe2上（針對于像素平面）。矩陣F表示了第一幀的像素點p與第二幀的像素點q極線之間的映射關(guān)系琼掠。如何得到F和E拒垃，有以下兩種方法：

方法一：

這里需要引用兩個點的齊次坐標叉乘能夠表達一條直線l的系數(shù)〈赏埽可以對其進行證明（兩點的叉乘表達一條直線），直線的方程可以表示為 $ax+by+c=0\implies （a,b,c)^T(x,y,1)$ 蛙粘，所以該直線可以用向量 $l=(a,b,c)^T$ 進行表示钧栖。e2是光心O1在第二幀上的投影，假設(shè)光心O1的齊次坐標為 $(\mathbf 0,1)^T$ 副硅，轉(zhuǎn)到光心O2的坐標為 $[R|t]O1=t$ ，將O2投影到相機平面翅萤，則e2的坐標為 $e2=Kt$ 恐疲，q的齊次坐標為 $(x2,y2,1)$ 。又因為 $e2\times q=[e2]_\times q$ 所以直線qe2可以表示為 $l=[e2]_\times q$ 套么，由于這里p和q的坐標都用齊次坐標表示培己，那么（這里的"="是在相差尺度系數(shù)的情況下成立的）：

$p=KP$

$q=K(RP+t)=K[R|t]P$

設(shè) $x_1$ 和 $x_2$ 是歸一化平面的坐標，所以：

$x_1=K^{-1}p$ 胚泌， $x_2=K^{-1}q$

$\implies x_2=Rx_1+t=[R|t]x_1$ ? ? ? ? ?(1)

$\implies q=K[R|t]K^{-1}p$

所以 $l=[e_2]_\times K[R|t]K^{-1}p$ 省咨，又因為q在直線上，那么 $q^T[e_2]_\times K[R|t]K^{-1}p=0$ 玷室，

由于K是3*3的矩陣零蓉，[R|t]是4*4的矩陣，將K進行擴展第4行第4列為1之外穷缤，第四列的其他值均為0敌蜂，所以對于[R|t]來說，t的值已經(jīng)對結(jié)果沒有影響了津肛，所以上式就變成 $l=[e_2]_\times KRK^{-1}p$ 章喉，將 $e2=Kt$ 代入，得：

$F=[e_2]_\times KRK^{-1}=[Kt]_\times KRK^{-1}$

又有 $[x]_\times M=M^{-T}[M^{-1}x]_\times$ 身坐，所以 $F=[Kt]_\times KRK^{-1}=K^{-T}[K^{-1}Kt]_\times RK^{-1}=K^{-T}[t]_\times RK^{-1}$

且 $q^TFp=0$ 秸脱。

方法二：

將（1）式叉乘t，可以得到： $[t]_\times x_2=[t]_\times Rx_1$ 部蛇，再將其乘以 $x_2$ 摊唇，由于 $[t]_\times x_2$ 是一個與t和x2都垂直的向量，所以左邊為0涯鲁，有;

$x_2[t]_\times Rx_1=0$ 遏片，代入p，q撮竿，得 $q^Tk^{-T}[t]_\times RK^{-1}p=0$ 吮便，綜上所述：

$E=[t]_\times R$ ， $F=K^{-T}[t]_\times RK^{-1}$

基本矩陣F的求解

由于 $q^TFp=0$ 幢踏，F(xiàn)的秩為2（原因是因為 $[t]_\times$ 的秩為2）髓需，自由度為7（尺度等價性），使用直接線性變換8點法來進行計算房蝉。具體推導(dǎo)出來的就不寫了僚匆，直接得出 $Af=\mathbf0$ 微渠，A是一個8*9的矩陣， $f$ 就是將F矩陣展開的向量咧擂。

A中的一行為： $(x_1x_2,x_1y_2,x_1,y_1x_2,y_1y_2,y_1,x_2,y_2,1)$ 逞盆，一共需要8組匹配點

$f$ 為： $f=(f_{11},f_{12},f_{13},f_{21},f_{22},f_{23},f_{31},f_{32},f_{33})^T$

計算過程：

（1）構(gòu)造得到 $Af=0$ ;

（2）對A進行SVD分解。由于A的秩是8（忽略特征點在同一個平面上的情況）松申，那么它的對角矩陣的值為 $\sigma _1\geq \sigma _2\geq ...\geq \sigma_8>0$ 云芦，而 $A=U\Sigma V^T$ ，右乘 $V$ 得到 $AV=U\Sigma$ （U和V都是正交矩陣贸桶，轉(zhuǎn)置就是它的逆）舅逸，其列向量形式為：

$Av_i=\begin{cases}\sigma_iu_i, &\quad i=1,...8\\0, &\quad i=9\end{cases}$

$i=9$ 求得的剛好是Af=0，為了求得F只要取V的最后一列就能構(gòu)造了皇筛。

$R=UWV^T$ （3）但是琉历，從上面構(gòu)造的F可能是滿秩的，所以需要進一步的求解水醋，將上面構(gòu)造的F進行SVD分解旗笔， $F=U\Sigma V^T$ ，現(xiàn)在求得的 $\Sigma$ 值應(yīng)該是有三個大于0的數(shù)拄踪，由于秩為2换团，應(yīng)該將最后一個特征值置為0，為：

$\Sigma =\begin{pmatrix} \sigma _1 & 0&0\\ 0& \sigma_2 &0\\0 & 0 & \sigma_3 \end{pmatrix}\implies$ $\Sigma =\begin{pmatrix} \sigma _1 & 0&0\\ 0& \sigma_2 &0\\0 & 0 & 0 \end{pmatrix}$ ? ? ? ? ??

最終的F就等于最后一個特征值置為0對角矩陣乘以U和V宫蛆，為 $F=U\Sigma V^T$ 。

本質(zhì)矩陣E的求解及分解

可以通過基本矩陣F得到本質(zhì)矩陣E的猛， $E=K^TFK$ 耀盗，也可以通過構(gòu)造和基本矩陣一樣的八點法來得到。由于 $E=[t]_\times R$ 卦尊，t有3個自由度叛拷，R也有3個自由度，那么它應(yīng)該有6個自由度岂却，又因為E的尺度等價性忿薇，所以E只有5個自由度。

對E進行奇異值分解相當(dāng)于對 $[t]_\times$ 與 $R$ 的乘積進行分解躏哩，乘積奇異值分解有個性質(zhì)是任何一個矩陣A與正交矩陣相乘署浩，其奇異值保持不變，證明：

由于奇異值是通過計算 $A^TA$ 的特征值得到的扫尺，那么 $A^TA=[t]_\times ^T R^TR[t]_\times =[t]_\times ^T[t]_\times$ 筋栋，所以奇異值不變。

設(shè) $Z=\begin{pmatrix} 0 & -1&0\\ 1& 0&0\\0 & 0 & 0 \end{pmatrix}$ 正驻， $W=\begin{pmatrix} 0 & -1&0\\ 1& 0&0\\0 & 0 & 1 \end{pmatrix}$

由于 $[t]_\times$ 為反對稱矩陣弊攘，可以證明任意的反對稱矩陣都可以用 $S=kUZU^T$ 來表示抢腐，又有：

$Z=diag(1,1,0)W$

所以 $[t]_\times =kUdiag(1,1,0)WU^T$ ，則本質(zhì)矩陣就可以寫成 $E=kUdiag(1,1,0)WU^TR$ （根據(jù)尺度等價性襟交，k可以去掉）迈倍，那么 $V^T=WU^TR$ ，這就可以說明E的奇異值為何是 $diag(\sigma,\sigma,0)$ 的形式了捣域。

知道了E的SVD分解形式啼染，R和t也可以相應(yīng)的分解出來，E和-E是等價的竟宋，所以R和t存在兩組解：

$[t]_\times =UZU^T$ 提完， $R=UW^TV^T$

$[t]_\times =-UZU^T$ ， $R=UWV^T$

最后只要把任意一點帶入4種解中丘侠，檢測該點在兩個相機下的深度徒欣，就可以確定哪個解是正確的了。

總結(jié)

先就寫這些吧蜗字，之后遇到什么不會或是容易忘記的再補充打肝。

參考資料

《視覺SLAM十四講》高翔

《矩陣分析與應(yīng)用》張賢達

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市挪捕，隨后出現(xiàn)的幾起案子粗梭，更是在濱河造成了極大的恐慌，老刑警劉巖级零，帶你破解...
沈念sama閱讀 211,743評論 6贊 492
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件断医，死亡現(xiàn)場離奇詭異，居然都是意外死亡奏纪，警方通過查閱死者的電腦和手機鉴嗤，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,296評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來序调，“玉大人醉锅，你說我怎么就攤上這事》⒕睿” “怎么了硬耍？”我有些...
開封第一講書人閱讀 157,285評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長边酒。經(jīng)常有香客問我经柴，道長，這世上最難降的妖魔是什么墩朦？我笑而不...
開封第一講書人閱讀 56,485評論 1贊 283
?港島之戀（遺憾婚禮）
正文為了忘掉前任口锭，我火速辦了婚禮，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘鹃操。我一直安慰自己韭寸，他們只是感情好，可當(dāng)我...
茶點故事閱讀 65,581評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布荆隘。她就那樣靜靜地躺著恩伺，像睡著了一般。火紅的嫁衣襯著肌膚如雪椰拒。梳的紋絲不亂的頭發(fā)上晶渠，一...
開封第一講書人閱讀 49,821評論 1贊 290
城市分裂傳說
那天，我揣著相機與錄音燃观，去河邊找鬼褒脯。笑死，一個胖子當(dāng)著我的面吹牛缆毁，可吹牛的內(nèi)容都是我干的番川。我是一名探鬼主播，決...
沈念sama閱讀 38,960評論 3贊 408
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼脊框，長吁一口氣：“原來是場噩夢啊……” “哼颁督！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起浇雹，我...
開封第一講書人閱讀 37,719評論 0贊 266
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤沉御，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后昭灵，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體吠裆，經(jīng)...
沈念sama閱讀 44,186評論 1贊 303
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,516評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年烂完，在試婚紗的時候發(fā)現(xiàn)自己被綠了试疙。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 38,650評論 1贊 340
活死人
序言：一個原本活蹦亂跳的男人離奇死亡窜护，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出非春，到底是詐尸還是另有隱情柱徙，我是刑警寧澤，帶...
沈念sama閱讀 34,329評論 4贊 330
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布奇昙，位于F島的核電站护侮，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏储耐。R本人自食惡果不足惜羊初，卻給世界環(huán)境...
茶點故事閱讀 39,936評論 3贊 313
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧长赞，春花似錦晦攒、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,757評論 0贊 21
一樁弒父案脯颜，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至贩据，卻和暖如春栋操，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背饱亮。一陣腳步聲響...
開封第一講書人閱讀 31,991評論 1贊 266
情欲美人皮
我被黑心中介騙來泰國打工矾芙，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人近上。一個月前我還...
沈念sama閱讀 46,370評論 2贊 360
代替公主和親
正文我出身青樓剔宪，卻偏偏與公主長得像，于是被迫代替她去往敵國和親戈锻。傳聞我的和親對象是個殘疾皇子歼跟，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 43,527評論 2贊 349