LIDAR和立體相機(jī)在移動(dòng)機(jī)器人建圖中的數(shù)據(jù)融合
摘要
LIDAR（2D）已被廣泛用于移動(dòng)機(jī)器人中的建圖和導(dǎo)航。但是院崇，它的使用僅限于簡(jiǎn)單的環(huán)境。可以通過添加更多傳感器并將這些數(shù)據(jù)一起處理來解決此問題竿拆。本文探討了一種如何將立體相機(jī)和LIDAR的測(cè)量結(jié)果與動(dòng)態(tài)建圖融合的方法。來自LIDAR數(shù)據(jù)的柵格地圖用作先決條件并且由來自立體相機(jī)的2D柵格圖擴(kuò)展宾尚。該方法基于從立體視覺獲取的視差圖中的地面估計(jì)如输。對(duì)于地面檢測(cè)，使用RANSAC和最小二乘法央勒。在確定障礙物之后不见，生成2D占用圖。該方法的輸出是2D地圖崔步，作為來自LIDAR和相機(jī)的補(bǔ)充地圖的融合稳吮。從Willow Garage Stereo和Hokuyo UTM-30LX Laser獲得的實(shí)驗(yàn)結(jié)果足以確定這種方法是有益的，盡管我的實(shí)現(xiàn)仍然是原型井濒。在本文中灶似，我們提出了應(yīng)用方法，分析結(jié)果瑞你，并討論修改和可能的擴(kuò)展酪惭，以獲得更好的結(jié)果。
1. 簡(jiǎn)介
環(huán)境建圖是移動(dòng)機(jī)器人最重要的部分之一者甲。 它是定位和導(dǎo)航的基礎(chǔ) - 尤其是在未知環(huán)境中的實(shí)時(shí)進(jìn)行春感。 關(guān)于2D LIDAR和立體相機(jī)分別進(jìn)行建圖的研究很多（不僅僅是因?yàn)樗鼈兊氖褂妙l率）。 激光雷達(dá)提供頻率很高的非常準(zhǔn)確的信息。 但是鲫懒，該傳感器僅在一個(gè)平面上提供信息嫩实。 例如，LIDAR能夠在正確的位置看到桌子的腿窥岩，但不能看到作為機(jī)器人障礙的桌面甲献。 另一方面，立體相機(jī)可以提供具有任何物體的顏色和紋理的3D結(jié)構(gòu)信息颂翼。 然而晃洒，與激光范圍檢測(cè)器相比，相機(jī)的精度較低朦乏，因此視野范圍受到限制球及。
我們?cè)诒疚闹杏懻摰膯栴}主要是來自LIDAR和立體相機(jī)的數(shù)據(jù)融合，如何引導(dǎo)數(shù)據(jù)以獲得任何新的或更好的建圖信息集歇，而不僅僅是來自一個(gè)傳感器的數(shù)據(jù)桶略。 此外，我們探索了應(yīng)該使用哪些方法來實(shí)現(xiàn)融合诲宇，重點(diǎn)是立體相機(jī)（簡(jiǎn)稱立體）數(shù)據(jù)處理际歼。 這項(xiàng)工作的目的是找出我們的方法是否有用。 我們沒有提供這種方法的最佳結(jié)果姑蓝。 當(dāng)然鹅心，我們可以通過卓越的相機(jī)和更合適的數(shù)據(jù)獲得更好的效果。
有一些技術(shù)可以解決我們問題的某些部分纺荧。例如旭愧，[1]中提出了一種3D物體檢測(cè)技術(shù)。但是宙暇，這種方法是通過使用三個(gè)攝像頭來執(zhí)行的输枯，并且它們不關(guān)注環(huán)境建圖，而只關(guān)注對(duì)象檢測(cè)占贫。在這些[2,3]的工作中桃熄，有障礙物和道路被發(fā)現(xiàn)。他們的方法基于“v-disparity”型奥。然而瞳收，這種方法在障礙物占據(jù)圖像的大部分（大多數(shù)是室內(nèi)）的環(huán)境中或在室外環(huán)境中會(huì)失敗，在存在斜率變化的情況下厢汹，表示地面（道路）的2D線不是直線螟深。。還有論文[2]烫葬，它傾向于將視差圖轉(zhuǎn)換為3D點(diǎn)云界弧，然后使用深度信息在從視差圖進(jìn)行原始提取之前提取地面和障礙物[3,4]。然而，由于在距離估計(jì)中涉及非線性變換夹纫，使用3D點(diǎn)云是不可靠的咽瓷，其中使用了相機(jī)的不準(zhǔn)確參數(shù)设凹。
我們的方法是基于立體相機(jī)視差圖中的ground plane檢測(cè)舰讹。 然后我們確定環(huán)境中的障礙物并將該場(chǎng)景投影到3D點(diǎn)云中，用于2D地圖構(gòu)建闪朱。 最后月匣，我們通過立體視覺的2D地圖補(bǔ)充LIDAR的2D地圖。 第2節(jié)介紹了建圖中使用的兩種傳感器的基本信息和問題奋姿。第3節(jié)介紹了基于地面檢測(cè)的立體建圖方法的細(xì)節(jié)锄开。在第4節(jié)中，我們提出了數(shù)據(jù)融合的概念称诗，最后我們展示了 并在第5節(jié)討論我們的方法的結(jié)果萍悴。所有結(jié)論總結(jié)在第6節(jié)。
2. 建圖中的傳感器
盡管激光測(cè)距儀相對(duì)昂貴寓免，但激光雷達(dá)和相機(jī)是移動(dòng)機(jī)器人中最常用的傳感器癣诱。 從數(shù)據(jù)到信息的轉(zhuǎn)換是高級(jí)別的。
2.1 LIDAR
2D LIDAR是非接觸式光學(xué)傳感器袜香，它使用激光束掃描二維區(qū)域的環(huán)境撕予。 它從小角度掃描到完整的360度，掃描頻率可以是5Hz到50Hz蜈首，例如最常用的LIDAR傳感器实抡。
多年來，從LIDAR獲取定位和導(dǎo)航地圖的最常用方法是柵格地圖(Occupancy grid mapping)欢策。 這種方法已經(jīng)研究了很長時(shí)間吆寨，因此我們將它作為我們方法的先決條件。 地圖是小單元格的組合 - 您可以將單元格視為柵格或像素化踩寇。 每個(gè)單元格的值表示單元格被障礙物占據(jù)的概率（灰度 - 黑色表示100％占用啄清，白色表示空閑）。 綠色柵格代表未知環(huán)境姑荷。 我們可以看到盒延，在圖1中機(jī)器人前方的區(qū)域中有許多物體，而在背面的區(qū)域未知鼠冕。 有關(guān)此方法實(shí)現(xiàn)的詳細(xì)信息添寺，請(qǐng)參閱[5,6,7]。
2.2 立體相機(jī)
立體相機(jī)提供有關(guān)場(chǎng)景的重要信息：顏色该押，紋理疗杉，強(qiáng)度和主要3D結(jié)構(gòu)。 而且蚕礼，相機(jī)能夠看到障礙物后面烟具。 然而，狹窄的視野和有限的范圍是缺點(diǎn)奠蹬。
如果我們想要正確使用立體相機(jī)朝聋，我們需要校準(zhǔn)相機(jī)以獲得相機(jī)內(nèi)在和外在參數(shù)來修復(fù)圖像（因此我們的圖像不再變形）。 基于相機(jī)校準(zhǔn)和極線幾何的參數(shù)囤躁，我們能夠糾正立體圖像并找到像素對(duì)應(yīng)關(guān)系[8]冀痕。
最后，我們可以計(jì)算兩點(diǎn)之間的雙目視差狸演，我們需要有關(guān)深度的信息言蛇。 該原理基于相應(yīng)像素的之間的差異（參見圖2）：
基于視差圖的3D場(chǎng)景，從該視差圖向后重建場(chǎng)景严沥。 對(duì)于這種重投影到相機(jī)坐標(biāo)系猜极，我們需要來自相機(jī)校準(zhǔn)的參數(shù)：
我們可以看到有很多步驟，立體相機(jī)會(huì)累積精度誤差：
a. 對(duì)于校正參數(shù)的估計(jì)
b. 圖片修正
c. 找到像素對(duì)應(yīng)關(guān)系的視差算法
d. 從視差圖到3D坐標(biāo)的重投影消玄。
3. 立體建圖
我們使用地面機(jī)器人受扳，因此我們考慮二維機(jī)器人運(yùn)動(dòng)。 雖然立體相機(jī)提供3D信息兔跌，但我們將其轉(zhuǎn)換為2D柵格勘高，類似于2.1節(jié)中的LIDAR地圖。 該地圖補(bǔ)充了LIDAR地圖（均為2D）坟桅，這是地面機(jī)器人定位和導(dǎo)航的合適方法华望。
在我們的方法中，我們直接從視差圖確定障礙物和自由區(qū)域 - 注意從2D視角到3D正交系統(tǒng)的向后投影位于鏈的末端仅乓。 我們的方法的方案如圖3所示：
3.1 視差地圖
視差圖允許我們使用來自相機(jī)傳感器的原始數(shù)據(jù)赖舟，根據(jù)一些估計(jì)的參數(shù)消除所有不必要的變換。 我們建議進(jìn)行一些預(yù)處理夸楣，例如通過雙邊濾波器平滑圖像宾抓。 然后純粹的視差計(jì)算是不夠的子漩，因?yàn)槲覀儊G失了關(guān)于精確邊緣的信息并且對(duì)象是不完整的。 我們可以通過基于加權(quán)最小二乘法[10]的原始視差圖的后濾波來解決這個(gè)問題石洗。
3.2 地面檢測(cè)
我們使用平面的幾何模型來找到機(jī)器人前面的地平面矿辽。 我們可以簡(jiǎn)單地假設(shè)地面具有恒定的高度。 它對(duì)于室內(nèi)應(yīng)用非常有用郭厌，其中地面相對(duì)于攝像機(jī)的位置沒有變化袋倔。 但是，動(dòng)態(tài)方法（我們使用）在更多情況下有效折柠。 平面的幾何定義是：
為了得到我們平面的具體定義宾娜，我們需要例如平面上的3個(gè)點(diǎn)。 為此扇售，隨機(jī)樣本共識(shí)（RANSAC）[12]是從計(jì)算機(jī)視覺社區(qū)內(nèi)開發(fā)的有效技術(shù)前塔。 基本上我們迭代地和隨機(jī)地在感興趣的區(qū)域中生成3個(gè)點(diǎn)，然后擬合平面并計(jì)算內(nèi)部和異常值的比率承冰。 地面大部分覆蓋圖像的下半部分华弓，因此我們只能將此部分用作感興趣的區(qū)域以提高效率。
3.3 障礙物檢測(cè)
為了確定機(jī)器人運(yùn)動(dòng)的障礙物和自由區(qū)域百宇，我們使用簡(jiǎn)單的決策規(guī)則：
3.4 Occupancy grid map
為了在占用網(wǎng)格圖中表示結(jié)果岸更，我們需要將我們的信息從視角（視差圖）轉(zhuǎn)換為正交3D。 為此膊升，我們使用第2節(jié)中提到的方程式怎炊。當(dāng)我們有點(diǎn)的正交坐標(biāo)時(shí)，我們可以將它們投影到2D空間中廓译。 這是一個(gè)步驟评肆，其中錯(cuò)誤確定的障礙底部被頂部適當(dāng)?shù)馗采w。(???)
我們不討論地圖中柵格的占用概率非区，因?yàn)樗皇潜疚牡哪康摹?我們將方法簡(jiǎn)化為網(wǎng)格中的2個(gè)值 - 占用和未知（見第5節(jié)）瓜挽，因?yàn)檫@對(duì)我們的研究來說已經(jīng)足夠了。 此外征绸，由于其不準(zhǔn)確性久橙，從立體相機(jī)中省略了自由柵格是合理的。有關(guān)正確視差圖的完整實(shí)現(xiàn)管怠，請(qǐng)參閱第2.1節(jié)或[5]淆衷。
4. 數(shù)據(jù)融合
我們?nèi)诤系哪康氖菫榻▓D帶來新信息，例如用于路徑規(guī)劃渤弛。 由于LIDAR的高精度（見2.1）祝拯，定位應(yīng)主要從LIDAR圖計(jì)算。 要將攝像機(jī)包含在定位中她肯，應(yīng)將此傳感器的優(yōu)先級(jí)設(shè)置為正確的值佳头。 另一方面，路徑規(guī)劃器肯定會(huì)從我們的方法中獲得信息辕宏。
我們不包括從相機(jī)到定位的障礙信息（為此畜晰，我們可以使用類似相機(jī)SLAM [16]的東西）。 但是瑞筐，我們建議使用此方法升級(jí)路徑規(guī)劃器 - 它應(yīng)該知道LIDAR不可見的障礙物凄鼻，盡管相機(jī)有點(diǎn)不準(zhǔn)確。 可以使用路徑規(guī)劃的高級(jí)實(shí)現(xiàn)聚假，例如基于local cost map的矢量場(chǎng)直方圖(Vector Field Histogram)[17]块蚌。
