姓名：李增輝
學(xué)號：19021210862
轉(zhuǎn)載自：https://zhuanlan.zhihu.com/p/116901401
【嵌牛導(dǎo)讀】本文介紹了自動(dòng)駕駛中多傳感器融合的原因與方法
【嵌牛鼻子】常見自動(dòng)駕駛傳感器的特性
【嵌牛提問】多傳感器融合還面臨什么問題孽鸡？
【嵌牛正文】
一丧失、多傳感器融合的必要性
為什么一定要多傳感器融合呢失晴？主要是揚(yáng)長避短、冗余設(shè)計(jì)蒸绩，提高整車安全系數(shù)。多傳感器融合系統(tǒng)所實(shí)現(xiàn)的功能要遠(yuǎn)超這些獨(dú)立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和账千。使用不同的傳感器種類可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下贝次，額外提供一定冗余度。這種錯(cuò)誤或故障可能是由自然原因（諸如一團(tuán)濃霧）或是人為現(xiàn)象（例如對攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致五督。各傳感器優(yōu)缺點(diǎn)如下：
相機(jī)：對目標(biāo)的顏色和紋理比較敏感藏否，可以完成目標(biāo)分類、檢測充包、分割副签、識別等任務(wù)，但是不能得到精確的探測距離，而且易受光照继薛、天氣條件的影響修壕。
LiDAR：可以獲得目標(biāo)精確的3D信息，檢測范圍也能夠到達(dá)150米遏考。對光照不敏感慈鸠，晚上也可以正常工作。但是角分辨率大灌具，目標(biāo)稀疏青团，無法獲得目標(biāo)紋理，分類不準(zhǔn)咖楣，而且在雨督笆、霧、雪等惡劣天氣中诱贿，性能會(huì)下降娃肿。對揚(yáng)塵、水霧也比較敏感珠十，易產(chǎn)生噪點(diǎn)料扰。
radar：可以提供精確的距離和速度信息，探測距離也比較遠(yuǎn)焙蹭，可以全天候工作晒杈，但分辨率較低，無法提供物體高度信息孔厉。
相關(guān)傳感器對比如下表：
二拯钻、多傳感器融合的先決條件
眾多的傳感器裝在同一輛車上，如nuscenes中使用了6個(gè)camera撰豺、1個(gè)lidar粪般、5個(gè)radar，使用同一個(gè)系統(tǒng)來采集并處理數(shù)據(jù)污桦，為了將他們規(guī)范刊驴，我們需要對這些傳感器統(tǒng)一坐標(biāo)系和時(shí)鐘，目的就是為了實(shí)現(xiàn)三同一不同：同一個(gè)目標(biāo)在同一個(gè)時(shí)刻出現(xiàn)在不同類別的傳感器的同一個(gè)世界坐標(biāo)處寡润。
1捆憎，統(tǒng)一時(shí)鐘
在這里要做的就是同步不同傳感器的時(shí)間戳：
GPS時(shí)間戳的時(shí)間同步方法:?這個(gè)需要看傳感的硬件是否支持該種方法，如果支持則傳感器給出的數(shù)據(jù)包會(huì)有全局的時(shí)間戳梭纹，這些時(shí)間戳以GPS為基準(zhǔn)躲惰，這樣就使用了相同的時(shí)鐘，而非各自傳感器的時(shí)鐘了变抽。
但是還有一個(gè)問題础拨，不同傳感器的數(shù)據(jù)頻率是不同的氮块，如lidar為10Hz，camera為25/30Hz诡宗，那不同傳感器之間的數(shù)據(jù)還是存在延遲滔蝉，如下圖所示。雖然可以通過找相鄰時(shí)間戳的方法找到最近幀塔沃，但是如果兩個(gè)時(shí)間戳差距較大蝠引，障礙物又在移動(dòng)，最終會(huì)導(dǎo)致較大的同步誤差蛀柴。
硬同步方法：這種方法可以緩解查找時(shí)間戳造成的誤差現(xiàn)象螃概。該方法可以以激光雷達(dá)作為觸發(fā)其它傳感器的源頭，當(dāng)激光雷達(dá)轉(zhuǎn)到某個(gè)角度時(shí)鸽疾，才觸發(fā)該角度的攝像頭吊洼，這可以大大減少時(shí)間差的問題。這套時(shí)間同步方案可以做到硬件中制肮，這樣可以大大降低同步誤差冒窍，提高數(shù)據(jù)對齊效果。
2豺鼻，統(tǒng)一坐標(biāo)系
統(tǒng)一坐標(biāo)系有兩步超燃，一是運(yùn)動(dòng)補(bǔ)償，二是傳感器標(biāo)定拘领。
運(yùn)動(dòng)補(bǔ)償主要針對長周期的傳感器，如lidar樱调，周期為100ms约素。由于所有的傳感器都裝在車上，車是運(yùn)動(dòng)的剛體笆凌。因此傳感器在采集數(shù)據(jù)時(shí)圣猎，周期開始的時(shí)間點(diǎn)和結(jié)束時(shí)間點(diǎn)車輛是處于不同位置的，導(dǎo)致不同時(shí)刻采集的數(shù)據(jù)所處坐標(biāo)系不同乞而，因此需要根據(jù)車體的運(yùn)動(dòng)對傳感器采集的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償送悔。如下圖所示：虛線部分可以認(rèn)為是世界坐標(biāo)系，紅色點(diǎn)代表一個(gè)靜態(tài)的障礙物爪模，在坐標(biāo)系中有一個(gè)穩(wěn)定的坐標(biāo)（5欠啤，5）。藍(lán)色部分代表自動(dòng)駕駛車自己的局部坐標(biāo)系屋灌，也就是說世界坐標(biāo)系的（4洁段，0）為局部坐標(biāo)系的原點(diǎn)。在T+1時(shí)刻共郭，這個(gè)局部坐標(biāo)系移動(dòng)到了（6祠丝，0）的位置疾呻，也就是自動(dòng)駕駛車沿著X方向向前移動(dòng)了2。也就是說写半，在T時(shí)刻岸蜗，障礙物的在局部坐標(biāo)系下的坐標(biāo)是（1，5）叠蝇，而在T+1時(shí)刻璃岳，它的坐標(biāo)變?yōu)榱耍?1，5）蟆肆。
這個(gè)問題解決起來比較簡單矾睦，因?yàn)樽詣?dòng)駕駛車擁有比較準(zhǔn)確的實(shí)時(shí)定位信息，它可提供T和T+1兩個(gè)時(shí)刻內(nèi)炎功，車本身的姿態(tài)差距枚冗，利用姿態(tài)差，我們就可以比較容易補(bǔ)償自身移動(dòng)了多少蛇损。
傳感器標(biāo)定分為內(nèi)參標(biāo)定和外參標(biāo)定赁温，內(nèi)參標(biāo)定，解決的是單獨(dú)的每個(gè)傳感器與世界坐標(biāo)系間的變換淤齐；外參標(biāo)定是在世界坐標(biāo)系下股囊，解決的不同傳感器間的變換。傳感器外參校準(zhǔn)依賴于傳感器的精確內(nèi)參校準(zhǔn)更啄。具體的傳感器標(biāo)定方法稚疹，回頭會(huì)專門寫一篇文章介紹。
三祭务、融合方法
這一小節(jié)内狗，就是大家經(jīng)常可以看到的不同的融合方法义锥，這里僅做簡單介紹柳沙，后續(xù)會(huì)專門介紹相關(guān)方法。
經(jīng)過以上幾步拌倍，可以拿到的信息有：做好運(yùn)動(dòng)補(bǔ)償及時(shí)間同步的傳感器源數(shù)據(jù)赂鲤、傳感器內(nèi)參、傳感器外參柱恤，有了這些信息后数初，我們可以做相應(yīng)的融合方法了。到底如何做呢梗顺？下面舉兩個(gè)例子：
相機(jī)和lidar融合：激光雷達(dá)數(shù)據(jù)是包含了明確的(x妙真，y，z)數(shù)據(jù)的3D觀測荚守，通過標(biāo)定參數(shù)與照相機(jī)本身的內(nèi)參珍德，多傳感器深度融合可以實(shí)現(xiàn)把3D點(diǎn)投到圖像上练般，圖像上的某些像素也就打上了深度信息，幫助感知系統(tǒng)進(jìn)行基于圖像的分割或者訓(xùn)練深度學(xué)習(xí)模型锈候。
毫米波雷達(dá)和激光雷達(dá)融合：毫米波雷達(dá)和激光雷達(dá)的融合方式比較簡單薄料。在笛卡爾坐標(biāo)系下，它們擁有完整的( x泵琳，y )方向的信息摄职。因此在笛卡爾坐標(biāo)系下，激光雷達(dá)和毫米波雷達(dá)可以實(shí)現(xiàn)基于距離的融合获列。另外谷市，毫米波雷達(dá)還可以探測到障礙物速度，而激光雷達(dá)通過位置的追蹤击孩，也會(huì)得到對障礙物速度的估計(jì)迫悠，對這些速度的信息進(jìn)行融合，更能幫助篩選錯(cuò)誤的匹配候選集巩梢。
根據(jù)數(shù)據(jù)在整個(gè)流程中融合的不同位置创泄，可以分為前融合和后融合。
前融合
如上圖所示括蝠，在原始層把數(shù)據(jù)都融合在一起鞠抑，融合好的數(shù)據(jù)就好比是一個(gè)Super傳感器，而且這個(gè)傳感器不僅有能力可以看到radar忌警，還有能力可以看到攝像頭或者RGB搁拙，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛法绵。方法上只有一個(gè)感知的算法箕速，對融合后的多維綜合數(shù)據(jù)進(jìn)行感知。
后融合
如上圖所示礼烈，每個(gè)傳感器各自獨(dú)立處理生成的目標(biāo)數(shù)據(jù)；每個(gè)傳感器都有自己獨(dú)立的感知婆跑，比如激光雷達(dá)有激光雷達(dá)的感知此熬，攝像頭有攝像頭的感知，毫米波雷達(dá)也會(huì)做出自己的感知滑进。當(dāng)所有傳感器完成目標(biāo)數(shù)據(jù)（如目標(biāo)檢測犀忱、目標(biāo)速度預(yù)測）生成后，再使用一些傳統(tǒng)方法融合所有傳感器的結(jié)果扶关，得到最終結(jié)果阴汇。
前融合，還是后融合节槐？
到底哪種融合方式好呢搀庶？這里舉個(gè)例子：假設(shè)在你手上有一個(gè)手機(jī)拐纱，激光雷達(dá)只能看到手機(jī)的一個(gè)角，攝像頭只能看到第二個(gè)角哥倔，而毫米波雷達(dá)可以看到第三個(gè)角秸架，那么大家可以想象，如果使用后融合算法咆蒿，由于每個(gè)傳感器只能看到它的一部分东抹，這個(gè)物體非常有可能不被識別到，最終會(huì)被濾掉沃测。而在前融合中缭黔，由于它是集合了所有的數(shù)據(jù)，也就相當(dāng)于可以看到這個(gè)手機(jī)的三個(gè)角蒂破，那對于前融合來說馏谨，是非常容易能夠識別出這是一臺手機(jī)的。
