摘要

計(jì)算機(jī)視覺和攝影測量中的一個眾所周知的問題是周圍景物的精確實(shí)時(shí)繪圖穴豫。 由于具有固有7自由度的單個投射傳感器的性質(zhì)讨盒，誤差累積和尺度漂移仍然是基于視覺的系統(tǒng)的問題围辙。 這對于復(fù)雜的運(yùn)動軌跡尤其重要峦剔。 然而翅阵，希望使用廉價(jià)的小型系統(tǒng)，例如具有單個攝像機(jī)設(shè)置的小型無人機(jī)秕衙。
我們提出了一種簡單有效的基于外觀的方法蠢甲，通過使用LiDAR數(shù)據(jù)在單目視覺建圖系統(tǒng)中進(jìn)行位姿圖優(yōu)化。 如果激光掃描可用据忘，我們的系統(tǒng)允許使用單個電光傳感器進(jìn)行魯棒的建圖和定位鹦牛。 我們使用大量合成生成的2-D LiDAR強(qiáng)度圖(intensity views)來全局記錄相機(jī)圖像。我們特別提供了生成合成強(qiáng)度圖像和從這些數(shù)據(jù)中提取特征的見解勇吊。 這使得基于全局外觀的2-D相機(jī)圖像的2-D / 3-D信息成為3-D點(diǎn)云數(shù)據(jù)曼追。 因此，我們能夠校正相機(jī)軌跡并估計(jì)來自單目相機(jī)圖像的地理參考度量結(jié)構(gòu)汉规。
可能的應(yīng)用很多礼殊，包括自主導(dǎo)航，實(shí)時(shí)地圖更新/擴(kuò)展或基于視覺的室內(nèi)地圖鲫忍。

1.簡介

遙感和計(jì)算機(jī)視覺的一項(xiàng)基本任務(wù)是繪制周圍的景觀。 LiDAR（光探測和測距）掃描儀是常見的傳感器系統(tǒng)钥屈，用于快速精確地采集場景幾何信息[8]悟民。 不幸的是，LiDAR掃描儀仍然很昂貴篷就，并且通常需要龐大的操作平臺射亏。 對于現(xiàn)代或?qū)崟r(shí)更新，人們更喜歡非常小而輕的單目傳感器系統(tǒng)竭业，例如具有單個相機(jī)的迷你/納米無人機(jī)（無人駕駛飛行器）智润。
最近在同步定位和建圖（SLAM）和運(yùn)動結(jié)構(gòu)（SfM）領(lǐng)域的工作使得大規(guī)模建圖系統(tǒng)即使對于基于視覺困難的單目傳感器情況也是如此。 然而未辆，單個投射傳感器的固有7自由度導(dǎo)致僅基于視覺的單目建圖系統(tǒng)的額外問題窟绷。
在這項(xiàng)工作中，我們提出了一種使用基于視覺的利用LiDAR掃描點(diǎn)進(jìn)行建圖的系統(tǒng)咐柜。 我們特別關(guān)注利用多個LiDAR掃描環(huán)境的相機(jī)圖像的全局定位方法兼蜈。 全局定位是指沒有初始化的相機(jī)圖像的6自由度配準(zhǔn)。 我們使用反向散射的激光強(qiáng)度信息來生成合成圖拙友，這使得能夠基于多模態(tài)外觀的相機(jī)圖像配準(zhǔn)全局掃描坐標(biāo)系为狸。 然后，生成的圖像對基于視覺的重建施加約束遗契，并允許單目視覺數(shù)據(jù)的度量和全局參考的3-D重建辐棒。

跳過一段相關(guān)工作

2. 方法

我們專注于在基于圖像的定位和相機(jī)軌跡優(yōu)化模塊（圖1中的紅框）中的LiDAR數(shù)據(jù)表示和集成，因?yàn)楦櫱岸撕蜖顟B(tài)優(yōu)化后端類似于[22]。 建圖系統(tǒng)可以分解為以下子組件：
#######a. 跟蹤前端：
用本地特征(local feature approach)方法處理初始化漾根、短期相機(jī)跟蹤和特征軌跡生成泰涂。 特征追蹤用作狀態(tài)優(yōu)化模塊的輸入。
#######b. 狀態(tài)優(yōu)化后端
狀態(tài)優(yōu)化后端基于窗口束調(diào)整（windowed bundle adjustment立叛，BA）框架负敏，以同時(shí)確定運(yùn)動軌跡和3D建圖。
#######c. 多模態(tài)相機(jī)校準(zhǔn)(Multi-Modal Camera Calibration)
校準(zhǔn)模塊基于LiDAR數(shù)據(jù)確定固有的相機(jī)參數(shù)和失真系數(shù)秘蛇。
#######d. 回環(huán)檢測和軌跡優(yōu)化
基于來自配準(zhǔn)框架(registration framework)的位姿信息其做，我們使用圖優(yōu)化結(jié)合BA框架來校正建圖和相機(jī)軌跡。
擬議的方法如下：
（A）首先赁还，我們預(yù)處理原始LiDAR點(diǎn)云數(shù)據(jù)以生成局部特征圖（LiDAR特征DB）妖泄。 這涉及多個地面和空中激光掃描的三維配準(zhǔn)。 基于該數(shù)據(jù)艘策，生成一致的特征圖蹈胡。
（B）然后，該特征圖使得能夠基于外觀(appearance)的單個相機(jī)圖像的全局定位朋蔫。 這是通過首先從地圖中選擇特征子集罚渐，然后使用基于Ransac的2-D / 3-D PnP [11]求解器來記錄相機(jī)圖像來實(shí)現(xiàn)的。 然后可選地通過使用基于強(qiáng)度的配準(zhǔn)來細(xì)化配準(zhǔn)驯妄。

2.1 特征圖生成(A)

標(biāo)準(zhǔn)地面掃描儀在距離200米的情況下實(shí)現(xiàn)幾毫米的測距精度青扔。 我們的數(shù)據(jù)集基于多個地面和一個航空LiDAR掃描源织。 為了處理巨大數(shù)據(jù)集的可視化和特征生成，我們使用八叉樹數(shù)據(jù)結(jié)構(gòu)對數(shù)據(jù)進(jìn)行下采樣微猖。 在使用統(tǒng)計(jì)異常值過濾器去除小掃描偽像后谈息，我們使用以下過程生成特征地圖：

2.1.1 雷達(dá)掃描預(yù)處理

為了啟用基于局部特征的位置識別系統(tǒng)，我們使用基于點(diǎn)的渲染從3D LiDAR數(shù)據(jù)生成合成強(qiáng)度圖像凛剥。 合成圖基于反向散射激光脈沖的強(qiáng)度侠仇。 我們在原始激光掃描儀位置周圍生成合成圖像。 我們僅使用非常小的位移（例如1-2米）掃描儀位置來避免合成視圖中的陰影區(qū)域犁珠。 然而傅瞻，我們密集地采樣整個視圖半球并使用大視場（例如，80度）以便有效地生成投影失真的圖像塊盲憎。
基于這些圖像嗅骄，我們使用Surf [1]或Sift [14]等局部圖像描述符提取特征。 還使用來自渲染圖的特征檢測器位置處的GPU深度緩沖信息來確定特征位置的3D坐標(biāo)饼疙。 然后將掃描儀位置周圍的所有特征描述符L = {d1溺森，d2慕爬，...，dm}合并在掃描儀位置L特征數(shù)據(jù)集中屏积。 然后我們計(jì)算KD樹并對所有激光掃描儀位置重復(fù)此過程医窿。

2.1.2 3-D雷達(dá)掃描配準(zhǔn)

具有來自多個原始LiDAR數(shù)據(jù)集的特征圖的查詢圖像的全局定位需要公共坐標(biāo)系，因此需要配準(zhǔn)局部激光掃描坐標(biāo)系炊林。我們選擇中心LiDAR數(shù)據(jù)集的局部坐標(biāo)系作為參考系姥卢。我們使用虛擬視圖中提取的局部特征在掃描位置之間的渲染圖中自動找到基于2-D / 2-D外觀的對應(yīng)關(guān)系。在對特征位置進(jìn)行反投影之后渣聚，我們最終得到3-D / 3-D對應(yīng)關(guān)系独榴，用于估計(jì)剛性3D變換∞戎Γ基于對應(yīng)關(guān)系棺榔，我們（RANSAC）通過使用Horns方法來求解連接局部激光掃描坐標(biāo)系的最小二乘近似解來估計(jì)變換。對于基于機(jī)載和地面激光器的困難的初始外觀匹配隘道，我們從地面和航空數(shù)據(jù)集生成了納迪爾視圖症歇。然后，我們使用最近提出的自相似性描述符[21]結(jié)合廣義霍夫變換[2]來找到基于強(qiáng)度信息的2-D / 2-D對應(yīng)關(guān)系谭梗。然后使用ICP進(jìn)一步細(xì)化初始配準(zhǔn)忘晤。

2.1.3 強(qiáng)度標(biāo)準(zhǔn)化（正則化？）

為了基于多個原始LiDAR數(shù)據(jù)集計(jì)算一致的特征描述符激捏，必須考慮在不同位置设塔，角度和距離處獲得的變化的反向散射激光強(qiáng)度。 因此缩幸，我們實(shí)現(xiàn)了基于能量平衡和朗伯反射模型的強(qiáng)度歸一化[8,5]壹置。 在該模型中竞思，接收能量I_r取決于透射能量I_t表谊，物體表面距離R和入射角θ，其表示表面法線和激光束方向之間的傾斜角盖喷。 使用局部體積單元的協(xié)方差矩陣（包括約30個點(diǎn)）計(jì)算表面角度爆办。 然后，最小特征值的特征向量用作表面法線的近似值（圖2）课梳。 為此距辆，我們使用以下近似模型方程：

2.2 基于外觀的全局定位(Appearance Based Global Localization背犯，B )

給定與來自掃描表面的3D信息相結(jié)合的局部特征圖坏瘩，我們現(xiàn)在能夠使用基于Ransac的PnP求解器方法估計(jì)查詢給定相機(jī)圖像的6-DoF姿勢。

2.2.1 Feature Set Selection

所提出的基于圖像的位置識別系統(tǒng)中的重要步驟是參考掃描儀位置L = {d1漠魏，d2倔矾，...，dm}和相機(jī)查詢圖像Q來選擇圖像特征的子集柱锹。還對圖像進(jìn)行建模哪自。 作為一組iid 特征描述符Q = {d1，d2奕纫，...提陶，dn}。 通過簡單的MAP方法實(shí)現(xiàn)選擇匹层，該方法關(guān)于在查詢中發(fā)現(xiàn)的圖像特征的分布以及在假設(shè)均勻激光掃描先驗(yàn)p(L)的情況下在掃描位置L周圍合成生成的激光掃描圖像隙笆。

2.2.2 基于強(qiáng)度的位姿細(xì)化(Intensity Based Pose Refinement)

基于強(qiáng)度的細(xì)化在計(jì)算上非常昂貴（每個圖像大約15-25s）袜瞬。 為此，我們僅將該步驟用于聯(lián)合確定外部和內(nèi)部參數(shù)或失真系數(shù)身堡。 在這種情況下邓尤，我們聯(lián)合配準(zhǔn)多個幀（例如，5-10）并且在假設(shè)恒定的內(nèi)部參數(shù)的情況下一次優(yōu)化所有參數(shù)的相似性度量贴谎。

2.3 運(yùn)動和結(jié)構(gòu)優(yōu)化（C）

SfM方法的最新進(jìn)展導(dǎo)致了非常強(qiáng)大的算法汞扎，它充分利用了潛在問題的稀疏性結(jié)構(gòu)[13,10]。 像[9,22]這樣的現(xiàn)代建圖系統(tǒng)現(xiàn)在也使用SfM技術(shù)擅这，與FASTSlam [23]等基于濾波器的現(xiàn)有解決方案形成對比澈魄。 這些關(guān)鍵幀BA方法現(xiàn)在也可以在給定合理大小的關(guān)鍵幀集（例如，20-30幀）的現(xiàn)代“擱置”硬件上實(shí)時(shí)工作仲翎。

2.3.1 關(guān)鍵幀BA

2.3.2 相機(jī)軌跡優(yōu)化

攝像機(jī)軌跡優(yōu)化被視為位姿圖優(yōu)化問題[17,22]。 該方法通過使用連續(xù)攝像機(jī)位置Ti和Tj之間的相對姿勢約束來encodes攝像機(jī)軌跡優(yōu)化：

3. 實(shí)驗(yàn)和結(jié)果

我們使用來自無人機(jī)系統(tǒng)的地面（720x576px）和低空航空視頻流扫外。 使用MD4-200 Microdrones mini-UAV獲得飛行器序列（1280×720px莉钙，68度視角）。

3.1 Evaluation Procedure

為了評估筛谚，我們將多個視頻序列幀配準(zhǔn)到共同的激光掃描坐標(biāo)系磁玉，并通過目視檢查仔細(xì)檢查注冊結(jié)果。 我們還通過使用LiDAR掃描作為校準(zhǔn)體來確定相機(jī)的固有參數(shù)驾讲。 通過這種方式蚊伞，我們確定了多個攝像機(jī)圖像的地面實(shí)況投影矩陣（外部和內(nèi)部參數(shù)）。 這允許準(zhǔn)確評估局部特征對應(yīng)，因?yàn)槲覀儸F(xiàn)在已經(jīng)了解了相機(jī)圖像的基礎(chǔ)場景幾何臣嚣。 我們使用與[16]中描述的相同的評估程序惫搏，基于ROC曲線通過改變匹配閾值。 真/假 - 陽性/陰性的自動確定基于3-D和2-D局部特征坐標(biāo)（3.0px內(nèi)部閾值）的重投影誤差掠拳。 通過這種方式癞揉，我們還確定了所有可能的正確對應(yīng)關(guān)系，以確定召回值溺欧。

3.2 Multi Modal Correspondences