? ? ? ? 自動駕駛是高新科技產(chǎn)業(yè)發(fā)展和智能出行領(lǐng)域的優(yōu)勢行業(yè)翰灾，其中的各項(xiàng)技術(shù)發(fā)展迅速，取得了眾多關(guān)鍵成就致开。其中感知和定位模塊在自動駕駛系統(tǒng)中起著至關(guān)重要的作用双戳，自動駕駛汽車必須首先明確自己在真實(shí)世界中的位置飒货，明確車身周圍的眾多障礙物塘辅，包括動態(tài)障礙物和靜態(tài)障礙物扣墩。其中動態(tài)障礙物包括行人呻惕、動物、車輛做院、其他非機(jī)動車等键耕；靜態(tài)障礙物包括路障屈雄、路標(biāo)棚亩、護(hù)欄等讥蟆，可在高精地圖中予以標(biāo)注瘸彤，而且必須依賴地圖更新的頻率质况。而感知部分則充分利用各項(xiàng)傳感器感知周圍環(huán)境，并且實(shí)時將數(shù)據(jù)回傳到工業(yè)電腦中贝，通過感知模塊的相應(yīng)模型和算法獲取障礙物的形態(tài)邻寿、速度绣否、距離蒜撮、類別等信息段磨，以便規(guī)劃和預(yù)測模塊預(yù)測障礙物的軌跡苹支，做出相應(yīng)的駕駛決策缭乘。無人駕駛汽車通過車載傳感系統(tǒng)獲取道路環(huán)境信息后自動規(guī)劃行駛路線并控制車輛的速度及轉(zhuǎn)向堕绩，進(jìn)而實(shí)現(xiàn)車輛在道路上安全可靠地行駛奴紧。無人駕駛汽車的關(guān)鍵技術(shù)主要包括對道路環(huán)境的感知黍氮、對行駛路徑的規(guī)劃沫浆、對車輛運(yùn)動行為的智能決策及對車輛實(shí)現(xiàn)自適應(yīng)運(yùn)動控制专执。目前環(huán)境感知技術(shù)發(fā)展的不成熟仍舊是阻礙無人駕駛汽車總體性能提高的主要原因本股，也是無人駕駛汽車進(jìn)行大規(guī)模產(chǎn)品化的最大障礙。
目前應(yīng)用于自動駕駛感知模塊的傳感器主要有攝像頭拄显、毫米波雷達(dá)苟径、超聲波雷達(dá)、激光雷達(dá)等躬审。攝像頭有著分辨率高棘街、速度快、傳遞的信息豐富盒件、成本低等優(yōu)勢蹬碧，依賴深度學(xué)習(xí)對復(fù)雜數(shù)據(jù)的強(qiáng)大學(xué)習(xí)能力能極大提高環(huán)境感知的分類能力炒刁；毫米波雷達(dá)有著反應(yīng)速度快恩沽、操作簡單、無視遮擋等優(yōu)勢翔始，并且能在各種條件下的提供目標(biāo)有效的位置和速度罗心；激光雷達(dá)有著精確的 3D 感知能力、對光線變化不敏感城瞎、信息豐富等優(yōu)勢渤闷，圖像數(shù)據(jù)無法提供準(zhǔn)確的空間信息、毫米波雷達(dá)擁有極低的分辨率脖镀、激光雷達(dá)有著十分昂貴的價格飒箭。同時，隨著各傳感器性能的提升蜒灰，單一傳感器帶來了更多的信息弦蹂，在不丟失有效信息的情況下，提取特征的難度十分巨大强窖。因此凸椿，如何高效的處理多傳感器數(shù)據(jù)并對其進(jìn)行高效的融合是一項(xiàng)極具挑戰(zhàn)的任務(wù)。
? ? ? ?近年來翅溺，深度學(xué)習(xí)在攝像頭數(shù)據(jù)上取得了驚人的成就脑漫，2D 目標(biāo)檢測速度和精度都得到了極大的提升，證明了深度學(xué)習(xí)是種有效的特征提取方法咙崎。卷積神經(jīng)網(wǎng)絡(luò)模型的發(fā)展优幸，極大地提高了提取自動駕駛攝像頭數(shù)據(jù)特征的速度和能力。有效利用這些高魯棒性褪猛、高質(zhì)量网杆、高檢測精度的圖像特征，基于視覺的無人駕駛汽車也能在 3D 感知任務(wù)中獲得不錯檢測結(jié)果。深度學(xué)習(xí)在處理激光雷達(dá)數(shù)據(jù)上也有著不錯的效果跛璧，隨著基于稀疏點(diǎn)云數(shù)據(jù)的網(wǎng)絡(luò)的提出严里，深度學(xué)習(xí)在點(diǎn)云特性的學(xué)習(xí)能力上也漸漸超過了一些傳統(tǒng)方法。然而追城，采用深度學(xué)習(xí)進(jìn)行多傳感器融合的時候刹碾，仍然存在著融合低效、數(shù)據(jù)不匹配以及容易過擬合等問題座柱；將多傳感器融合技術(shù)應(yīng)用到自動駕駛障礙物檢測的過程中也存在著檢測精度不夠迷帜、漏檢錯檢和實(shí)時處理能力不足的情況。由于自動駕駛汽車等級的提高色洞，傳統(tǒng)的多傳感器目標(biāo)融合已經(jīng)無法滿足決策對感知的需求戏锹，大量感知的冗余信息也對決策帶來了極大的困難。并且由于多傳感器的原始數(shù)據(jù)間在信息維度火诸、信息范信息量上有著巨大的差異锦针，有效的融合多傳感器信息變得十分困難。
? ? ? ?多傳感器的數(shù)據(jù)融合包括多傳感器的空間融合以及時間上的同步置蜀。傳感器安裝于汽車車身的不同位置奈搜，每個傳感器定義了自己的坐標(biāo)系，為了獲得被測對象的一致性描述盯荤，需將不同的坐標(biāo)系轉(zhuǎn)換到統(tǒng)一的坐標(biāo)系上馋吗。點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)的空間融合模型涉及的坐標(biāo)系包括世界坐標(biāo)系、激光雷達(dá)坐標(biāo)系秋秤、相機(jī)坐標(biāo)系宏粤、圖像坐標(biāo)系和像素坐標(biāo)系∽坡空間融合的主要工作是求取雷達(dá)坐標(biāo)系绍哎、攝像頭坐標(biāo)系、圖像物理坐標(biāo)系芥玉、圖像像素坐標(biāo)系之間的轉(zhuǎn)換矩陣蛇摸。然而由于不同傳感器的工作頻率不同备图，數(shù)據(jù)采集無法同步灿巧，因此還需要根據(jù)工作頻率的關(guān)系進(jìn)行多傳感器時間上的融合,通常做法是將各傳感器數(shù)據(jù)統(tǒng)一到掃描周期較長的一個傳感器數(shù)據(jù)上。
? ? ? ?自動駕駛感知模塊信息融合又稱數(shù)據(jù)融合揽涮，也可以稱為傳感器信息融合或多傳感器融合抠藕，是一個從單個或多個信息源獲取的數(shù)據(jù)和信息進(jìn)行關(guān)聯(lián)、相關(guān)和綜合蒋困，以獲得精確位置和身份估計(jì)盾似，同時也是信息處理過程不斷自我修正的一個過程，以獲得結(jié)果的改善。利用多個傳感器獲取的關(guān)于對象和環(huán)境更豐富的信息零院，主要體現(xiàn)在融合算法上溉跃。因此，多傳感器系統(tǒng)的核心問題是選擇合適的融合算法告抄。? ?
? ? ? ?多傳感器信息融合可以簡單的劃分為：檢測級撰茎、位置級(目標(biāo)跟蹤級)、屬性級(目標(biāo)識別級)打洼。對于結(jié)構(gòu)模型,在信息融合的不同層次上有不同的結(jié)構(gòu)模型龄糊。檢測級的結(jié)構(gòu)模型有:并行結(jié)構(gòu)、分散結(jié)構(gòu)募疮、串行結(jié)構(gòu)炫惩、和樹狀結(jié)構(gòu)。位置級的結(jié)構(gòu)模型有:集中式阿浓、分布式他嚷、混合式和多級式,主要是通過多個傳感器共同協(xié)作來進(jìn)行狀態(tài)估計(jì)。屬性級的結(jié)構(gòu)模型有三類：對應(yīng)決策層芭毙、特征層和數(shù)據(jù)層屬性融合爸舒。
? ? ? ?檢測級融合是直接在多傳感器分布檢測系統(tǒng)中檢測判決或信號層上進(jìn)行的融合，對多個不同傳感器的檢測結(jié)果進(jìn)行綜合稿蹲，以形成對同一目標(biāo)更準(zhǔn)確的判決扭勉，獲得任意單個傳感器所無法達(dá)到的檢測效果，是信息融合理論中的一個重要研究內(nèi)容苛聘。位置級融合是直接在傳感器的觀測報告或測量點(diǎn)跡或傳感器的狀態(tài)估計(jì)上進(jìn)行的融合,包括時間和空間上的融合,是跟蹤級的融合,屬于中間層次,也是最重要的融合涂炎。多傳感器檢測融合系統(tǒng)主要可以分為集中式和分布式兩種方式。集中式融合是先將各個傳感器原始數(shù)據(jù)直接傳輸?shù)饺诤现行纳杌缓笕诤现行膶@些所有的數(shù)據(jù)進(jìn)行處理唱捣，最后生成判決。分布式融合是將各個傳感數(shù)據(jù)進(jìn)行預(yù)處理后网梢，得到獨(dú)立的檢測結(jié)果震缭，然后所有傳感器的檢測結(jié)果再傳到融合中心進(jìn)行假設(shè)檢驗(yàn)，生成最終的判決战虏。屬性級融合根據(jù)多傳感器融合屬性層級的不同主要分為三類拣宰，分別是數(shù)據(jù)層、特征層和目標(biāo)(決策)層上的融合烦感，方法主要有基于估計(jì)巡社、分類、推理和人工智能的方法等手趣。
? ? ? ?數(shù)據(jù)層融合是對傳感器采集到的原始數(shù)據(jù)進(jìn)行融合處理晌该，融合前不會對原始數(shù)據(jù)進(jìn)行預(yù)處理，而先在數(shù)據(jù)上進(jìn)行融合，處理融合后的數(shù)據(jù)朝群。然后進(jìn)行特征提取和判斷決策燕耿，是最低層次的融合。每個傳感器只是將其原始數(shù)據(jù)傳輸?shù)饺诤夏K姜胖，然后融合模塊處理來自所有傳感器的原始數(shù)據(jù)缸棵。然后將融合的原始數(shù)據(jù)作為輸入提供相應(yīng)的算法。傳統(tǒng)方法中谭期，Pietzsch 等利用低級測量矢量融合用于組合來自不同傳感器的數(shù)據(jù)堵第，用于預(yù)碰撞應(yīng)用。隨著深度學(xué)習(xí)的發(fā)展隧出，在數(shù)據(jù)配準(zhǔn)的情況下踏志，也可以利用深度學(xué)習(xí)對配準(zhǔn)后的數(shù)據(jù)進(jìn)行學(xué)習(xí)。此類融合方法要求所融合的各傳感器信息具有非常高的配準(zhǔn)精度胀瞪。這種融合處理方法的優(yōu)點(diǎn)是提供其它兩種融合層次所不能提供的細(xì)節(jié)信息针余，可以通過融合來自不同來源的原始數(shù)據(jù)在很早的階段對數(shù)據(jù)進(jìn)行分類但是所要處理的傳感器數(shù)據(jù)量大，處理時間長凄诞，需要很高的數(shù)據(jù)帶寬圆雁，實(shí)時性差，抗干擾能力差帆谍，并且在實(shí)踐中可能很復(fù)雜伪朽，且數(shù)據(jù)融合由于原始數(shù)據(jù)采用不同格式和不同傳感器類型，要求傳感器是同類的汛蝙。因此在架構(gòu)中添加新傳感器需要對融合模塊進(jìn)行重大更改烈涮。
? ? ? ?因此一些研究者開始引入了特征層融合的思想。與直接使用來自不同傳感器的原始數(shù)據(jù)進(jìn)行融合不同窖剑，特征級融合首先分別對各自數(shù)據(jù)進(jìn)行特征提取坚洽，然后對提取的特征進(jìn)行融合處理。特征級融合需要對傳感器采集到的數(shù)據(jù)作提取特征處理西土，抽象出特征向量讶舰，然后對特征信息進(jìn)行處理，最后到融合后的特征需了，用于決策跳昼，屬于中間層次的融合。其優(yōu)點(diǎn)在于有助于提高實(shí)時性援所，降低對通信寬帶的要求庐舟。特征級融合提供了更多的目標(biāo)特征信息欣除，增大了特征空間維數(shù)住拭。融合性能有所降低的原因是由于損失了一部分有用信息。特征級融合的實(shí)現(xiàn)技術(shù)主要有：模板匹配法、聚類算法滔岳、神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（Support Vector Machine, SVM）等杠娱。大多數(shù)基于深度學(xué)習(xí)的方法也是利用神經(jīng)網(wǎng)絡(luò)提取特征，對不同傳感器提出的特征之間做級聯(lián)或者加權(quán)谱煤，如 RoarNet摊求、AVOD、MV3D刘离、F-PointNet等室叉。特征級融合的主要優(yōu)點(diǎn)是它能夠減少傳感器數(shù)據(jù)到融合模塊的帶寬，并且可以通過提升特征的互補(bǔ)性來提升效果硫惕。特征級融合保留了低級融合的相同分類和預(yù)處理能力茧痕，允許相關(guān)數(shù)據(jù)類似地有效地集成到跟蹤算法中吼拥。
? ? ? ?目標(biāo)(決策)層融合架構(gòu)與低級融合相反优训。每個傳感器分別進(jìn)行目標(biāo)檢測算法吓蘑，并產(chǎn)生跟蹤目標(biāo)列表拾并。然后粗卜，融合模型將這些目標(biāo)與一個目標(biāo)跟蹤序列融合相關(guān)聯(lián)庶橱。對每個傳感器進(jìn)行預(yù)處理轻专、特征提取蚓峦、識別或判決徽级，最后得到的初步?jīng)Q策進(jìn)行融合判斷气破，因此是最高層次的融合。決策級融合可以在同質(zhì)或異質(zhì)傳感器中進(jìn)行融合餐抢。決策級融合的優(yōu)點(diǎn)與不足恰好和數(shù)據(jù)級相反堵幽，目標(biāo)級融合的主要優(yōu)勢在于其模塊化和傳感器特定細(xì)節(jié)的封裝。并且通信量小弹澎，有一定的抗干擾能力朴下，處理代價低，選用適當(dāng)融合算法苦蒿，可以將影響降到最低殴胧；主要缺點(diǎn)：預(yù)處理代價高，數(shù)據(jù)信息處理效果比較依賴于預(yù)處理階段的性能佩迟。常用的方法有：專家系統(tǒng)方法团滥、模糊集合論、貝葉斯推理报强、D-S 證據(jù)理論等【逆ⅲ現(xiàn)階段大多數(shù)目標(biāo)層融合的目標(biāo)檢測方法十分低效，不適用于自動駕駛汽車對檢測時間的要求秉溉。同時力惯，特征層和數(shù)據(jù)層的融合也需要更多的考慮各自數(shù)據(jù)形式碗誉。
? ? ? ?目前大多數(shù)多傳感器融合研究集中于圖像數(shù)據(jù)與多線激光雷達(dá)，然而父晶，只基于攝像頭的自動駕駛感知系統(tǒng)哮缺，缺乏空間信息的維度，無法精確的恢復(fù)空間信息的位置甲喝。攝像頭易受到光線尝苇、探測距離等因素的影響，當(dāng)檢測遠(yuǎn)距離目標(biāo)的時候埠胖，只能給出分辨率極低的信息糠溜，甚至人的肉眼無法分辨，導(dǎo)致無法標(biāo)注或錯誤標(biāo)注的問題直撤，無法穩(wěn)定地應(yīng)對復(fù)雜多變的交通環(huán)境下車輛檢測任務(wù)诵冒，無法滿足無人駕駛汽車穩(wěn)定性的要求。因此谊惭，自動駕駛目標(biāo)檢測需要更多的傳感器汽馋。而激光雷達(dá)具有探測距離遠(yuǎn)、不受光線影響并且能夠準(zhǔn)確獲得目標(biāo)距離信息等優(yōu)點(diǎn)圈盔，能夠彌補(bǔ)攝像頭的缺點(diǎn)豹芯。當(dāng)目標(biāo)被識別時，可判斷此時檢測框內(nèi)有無點(diǎn)云驱敲，來決定是否修正相應(yīng)的識別置信度铁蹈。雷達(dá)點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)的融合不僅能獲得準(zhǔn)確的目標(biāo)的深度信息，還能降低圖像檢測時的漏檢的概率众眨，達(dá)到了融合數(shù)據(jù)以提高檢測效果的目的握牧，通過這種多視圖的編碼方案能夠獲得對稀疏３Ｄ點(diǎn)云更有效和緊湊的表達(dá)。
? ? ? ?由于視覺圖像獲取較易娩梨、處理方法多樣沿腰，所以視覺技術(shù)是現(xiàn)階段自主車輛研究中的主要獲取信息手段。其中視覺技術(shù)主要分為單目視覺和雙目視覺狈定。單目視覺識別技術(shù)多采用基于車輛特征的方法颂龙，該方法主要利用車輛與背景有差異的特征，如紋理纽什、邊緣和底部陰影等措嵌。但這種方法獲取的信息量不足，缺乏深度信息芦缰，而且易受外部環(huán)境的干擾企巢，諸如光照和陰影等因素。雙目視覺識別技術(shù)雖然可以取得較好的效果让蕾，但其計(jì)算量較大浪规，算法復(fù)雜或听，難以保證車輛識別的實(shí)時性。激光雷達(dá)能夠獲得場景的距離信息罗丰，不易受光照等外部條件的影響神帅，但其獲取的外部信息不充分再姑，易造成誤判萌抵。因?yàn)閳D像具有較好的橫向紋理特征，點(diǎn)云能夠提供可靠的縱向空間特征元镀，故而采用多傳感器融合技術(shù)可以克服單一傳感器獲取信息量不足绍填，探測范圍小的缺點(diǎn)。隨著自動駕駛和深度學(xué)習(xí)技術(shù)的發(fā)展栖疑，多傳感器融合相關(guān)技術(shù)得到了極大的推動讨永。多傳感器融合技術(shù)基本可概括為：對于不同時間和空間維度的多傳感器信息，依據(jù)融合準(zhǔn)則遇革，對這些信息進(jìn)行分析卿闹，獲得對被測量的目標(biāo)一致性描述與解釋，進(jìn)而實(shí)現(xiàn)后續(xù)的決策和估計(jì)萝快，使融合結(jié)果比單獨(dú)獲取的結(jié)果更加豐富與準(zhǔn)確锻霎。在自動駕駛領(lǐng)域，卡爾曼濾波算法揪漩、D-S 證據(jù)理論等傳統(tǒng)多傳感器融合算法仍然發(fā)揮著十分重要的作用旋恼。但隨著深度學(xué)習(xí)快速發(fā)展，端到端的數(shù)據(jù)融合也成為自動駕駛不可或缺的方法奄容。
? ? ? ?現(xiàn)有的融合方案有些僅用于輔助確認(rèn)目標(biāo)的存在性冰更，例如在激光雷達(dá)返回有目標(biāo)的大致區(qū)域進(jìn)行相應(yīng)的視覺檢測；有些使用了統(tǒng)一框架進(jìn)行融合昂勒，如在基于卡爾曼濾波框架下蜀细，對于不同傳感器賦予了不同的協(xié)方差，并在任意一個傳感器獲得目標(biāo)數(shù)據(jù)后進(jìn)行序貫更新戈盈。這些方案均可以實(shí)現(xiàn)多傳感器數(shù)據(jù)融合审葬，但由于只是將不同傳感器等同看待而進(jìn)行融合，方法雖然直接但低效奕谭，因而效果有較大提升空間涣觉。在基于純視覺的 3D 目標(biāo)估計(jì)中，估計(jì)的距離屬性極其不穩(wěn)定血柳，而通過多傳感器的融合官册，對視覺信息進(jìn)行修正，極大的提高自動駕駛的目標(biāo)檢測精度难捌。 在目標(biāo)層的融合攝像頭和激光雷達(dá)信息不能滿足自動駕駛的要求膝宁。
參考：
? ? ? ? 廖岳鵬（基于多傳感器的自動駕駛目標(biāo)檢測）? ? ? ? ? ? ? ????????https://wenku.baidu.com/view/93e561a2fbd6195f312b3169a45177232f60e480.html? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??????? CVPR_2017 :?Multi-view ?3d ?object ?detection ?network ?for ?autonomous driving鸦难；
