1.Introduction
相機對特征具有較強的追蹤性能蚕脏，但立體視覺對外參標定的依賴過強愿阐，對于有細小誤差的標定結(jié)果可能會導致較大的深度估計誤差，然而激光的深度估計誤差較小葡兑，并且獨立于外參估計誤差。
目前激光到相機的標定仍是一個活躍領域赞草，精度在幾個像素誤差之內(nèi)讹堤。
該paper不顯式使用任何LIDAR-SLAM算法，實現(xiàn)激光和相機的深度信息融合的里程計和BA房资，但沒有實現(xiàn)回環(huán)檢測蜕劝。
pipeline：
monocular image sequence(Camera)
- Feature extraction
- Feature preprocessing
- Frame to frame motion estimation
scale information（LIDAR)
- scale estimation
fusion
- compute camera poses and 3d structure
2.Feature extraction and preprocessing
該paper使用了viso2實現(xiàn)了特征提取和匹配，viso2包含了非極大值抑制轰异、剔除離群值等功能岖沛，能在30-40ms能匹配2000個特征。作者還使用了深度學習來剔除在運動物體上的landmark
3.Scale estimation
思想：從LIDAR中獲得被檢測到的特征點的深度
A.方法概述
首先將LIDAR點云轉(zhuǎn)換到相機坐標系搭独，然后投影到圖像平面婴削，然后對每一個圖像特征點f執(zhí)行一下五步：
- 選擇f周圍的ROI中的LIDAR點云集F（塊B）
- 從F中分割除前景集F_seg（塊C）
- 用前景集F_seg擬合平面p（塊D)，如果f屬于地面牙肝，則使用一種特殊的擬合算法（塊E）
- 將p和f對應的視線相交唉俗，得到f的深度
- 對估計的深度執(zhí)行測試
B.選擇鄰域(即ROI)
用矩形框作為ROI，ROI中的激光點要能組成一個平面配椭，而不是一條直線上
C.前景分割
由于特征點通常都是角點虫溜，如果直接對點集F擬合一個平面，通常都會產(chǎn)生錯誤的估計股缸，因此需要將前景分割出來衡楞。
前景分割算法利用了深度直方圖，以深度跳變點作為前后景的分界點敦姻，分割后f可以看作是前景平面中的一條邊瘾境。
D.平面擬合
從F_seg中選擇三點張成一個能夠穩(wěn)定估計值的最大面積的三角形F_delta。如果F_delta過小镰惦，則不使用該深度估計
E.特例：地面上的點
F_seg擬合得到的平面是垂直于雷達的垂直軸（迷守？我認為是水平軸）的。但在地面上的點是不可以用該方法估計的旺入，因為激光雷達在垂直方向上的精度低于水平方向上的精度兑凿。但地面上的點是有價值的凯力，所以利用RANSAC算法對激光雷達點云提取出具有魯棒擬合特性的地面
4.Frame to frame odometry
用PnP估計相機運動，為了解決具有有效深度的特征點較少的問題礼华，該paper加入了極線約束沮协。為了減少離群值的影響，該paper使用了柯西核函數(shù)包裹損失函數(shù)和極線約束卓嫂。
5.后端
該paper提出了一個基于關鍵幀的BA框架，該框架從結(jié)構(gòu)和軟件上獨立于先驗估計聘殖。
A.選擇的重要性
衡量了準確率和花銷
B.關鍵幀的選擇
C.地標(Landmark)選擇
該paper將Landmark分成了三部分：近(Near)晨雳，中(Middle)，遠(Far)
- Near對平移估計較為重要
- Middle對平移和旋轉(zhuǎn)都重要
- Far對旋轉(zhuǎn)重要
為了保證三維地標的均勻分布奸腺，該paper對三維地標采用了中值濾波的體素濾波器餐禁。對不同的部分使用了不同的選擇策略。
