從 Apollo 起步-Lesson 4：感知
感知
在本課中 我們將首先介紹計算機視覺的基本應用領域套硼，然后我們將介紹機器學習峻堰、神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡的基礎知識。
我們將繼續(xù)討論感知模塊在無人駕駛車中的具體任務垦沉，接下來將介紹 Apollo 感知模塊的體系結構和傳感器融合的相關主題助析。希望這會讓你對無人駕駛感知系統(tǒng)有一個清晰認識
計算機視覺
作為人類 你和我可以自動識別圖像中的物體，甚至可以推斷這些物體之間的關系娄猫。但是 對于計算機而言贱除，圖像只是紅色、綠色和藍色值的集合媳溺。如何將這些顏色值翻譯為解讀有意義的圖像內(nèi)容并不明顯月幌。
無人駕駛車有四個感知世界的核心任務。
檢測 是指找出物體在環(huán)境中的位置
分類 是指明確對象是什么
跟蹤 是指隨時間的推移觀察移動物體悬蔽。如其他車輛飞醉、自行車和行人
語義分割意味著將圖像中的每個像素與語義類別進行匹配。如道路屯阀、汽車或天空
我們可將 分類 作為作為研究計算機視覺一般數(shù)據(jù)流程的例子缅帘。
圖像分類器是一種將圖像作為輸入并輸出標識該圖像的標簽或“類別”的算法。例如 交通標志分類器查看停車標志并識別它是停車標志难衰、讓路標志钦无、限速標志，還是其他類型的標志盖袭。分類器甚至可以識別行為失暂。比如一個人是在走路 還是在跑步。
分類器有很多種鳄虱，但它們都包含一系列類似的步驟弟塞。
- 首先 計算機接收類似攝像頭等成像設備的輸入，這通常被捕獲為圖像或一系列圖像拙已。
- 然后通過預處理發(fā)送每個圖像預處理對每個圖像進行了標準化處理决记。常見的預處理步驟包括調(diào)整圖像大小或旋轉(zhuǎn)圖像或?qū)D像從一個色彩空間轉(zhuǎn)換為另一個色彩空間。例如從全彩到灰度倍踪。預處理可幫助我們的模型更快地處理和學習圖像系宫。
- 接下來 提取特征。特征有助于計算機理解圖像建车。例如 將汽車與自行車區(qū)分開來的一些特征扩借，汽車通常具有更大的形狀 并且它有四個輪子而不是兩個，形狀和車輪將是汽車的顯著特征缤至。我們將在本課的后面詳細討論特征潮罪。
- 最后 這些特征被輸入到分類模型中，此步驟使用特征來選擇圖像類別。例如 分類器可以確定圖像是否包含汽車嫉到、自行車沃暗、行人或者根本不包含這樣的對象。為了完成這些視覺任務屯碴，需要建立模型。模型是幫助計算機了解圖像內(nèi)容的工具膊存，在計算機視覺中 無論經(jīng)過訓練的模型執(zhí)行什么任務导而，它們通常在開始時將攝像頭圖像作為輸入。
攝像頭圖像
攝像頭圖像是最常見的計算機視覺數(shù)據(jù)隔崎。
以這張汽車照片為例今艺，讓我們看看計算機如何認為這實際上是一輛汽車的圖像。
從計算機的角度來看爵卒，圖像只是一個二維網(wǎng)格虚缎，也被稱為矩陣。矩陣中的每個單元格都包含一個值钓株，數(shù)字圖像全部由像素組成实牡，其中包含非常小的顏色或強度單位。
圖像中的每個像素都只是一個數(shù)值轴合，這些值構成了我們的圖像矩陣创坞。我們甚至可以改變這些像素值。我們可以通過為每個像素值添加一個標量整數(shù)來改變圖像亮度受葛，我們也可以向右移動每個像素值题涨，我們還可以執(zhí)行許多其他操作。通常 這些數(shù)字網(wǎng)格是許多圖像處理技術的基礎总滩。多數(shù)顏色和形狀轉(zhuǎn)換都只是通過對圖像進行數(shù)學運算以及逐一像素進行更改來完成「俣拢現(xiàn)在是一個將圖像分解為二維灰度像素值網(wǎng)格的示例。
彩色圖像是相似的 但更復雜一點闰渔，彩色圖像被構建為值的三維立方體席函。每個立方體都有高度、寬度和深度冈涧，深度為顏色通道數(shù)量向挖。大多數(shù)彩色圖像以三種顏色組合表示，紅色炕舵、綠色和藍色何之，這些圖像被稱為 RGB 圖像。對于 RGB 圖像 深度為 3咽筋！因此 RGB 圖像可以用一個薄盒子表示溶推，將深度視為三重疊加的二維色層很有幫助。一層為紅色，一層為綠色蒜危、一層為藍色虱痕，它們一起構建了一個完整的彩色圖像。
LiDAR 圖像
激光雷達傳感器創(chuàng)建環(huán)境的點云表征辐赞，提供了難以通過攝像頭圖像獲得的信息部翘，如距離和高度。
激光雷達傳感器使用光線 响委，尤其是激光 來測量與環(huán)境中反射該光線的物體之間的距離新思。激光雷達發(fā)射激光脈沖并測量物體將每個激光脈沖反射回傳感器所花費的時間。反射需要的時間越長 物體離傳感器越遠赘风，激光雷達正是通過這種方式來構建世界的視覺表征夹囚。
你可以在此可視化視圖中看到激光雷達的輸出，激光雷達通過發(fā)射光脈沖來檢測汽車周圍的環(huán)境邀窃。藍色點表示反射激光脈沖的物體荸哟，中間的黑色區(qū)域是無人駕駛車本身占據(jù)的空間。由于激光雷達測量激光束反射瞬捕，它收集的數(shù)據(jù)形成一團點或 “點云”鞍历。
點云中的每個點代表反射回傳感器的激光束，這些點云可以告訴我們關于物體的許多信息肪虎，例如其形狀和表面紋理堰燎。通過對點進行聚類和分析，這些數(shù)據(jù)提供了足夠的對象檢測笋轨、跟蹤或分類信息秆剪，在這里你可以看到在點云上執(zhí)行的檢測和分類結果。紅點為行人 綠點表示其他汽車爵政，正如你所看到的那樣 激光雷達數(shù)據(jù)提供了用于構建世界視覺表征的足夠空間信息仅讽。
計算機視覺技術不僅可以使用攝像頭圖像進行對象分類，還可以使用點云和其他類型的空間相關數(shù)據(jù)進行對象分類钾挟。
機器學習
機器學習是使用特殊算法來訓練計算機從數(shù)據(jù)中學習的計算機科學領域洁灵。通常 這種學習結果存放在一種被稱為“模型”的數(shù)據(jù)結構中。有很多種模型掺出，事實上 “模型”只是一種可用于理解和預測世界的數(shù)據(jù)結構徽千。
機器學習涉及使用數(shù)據(jù)和相關的真值標記來進行模型訓練。例如 可能會顯示車輛和行人的計算機圖像汤锨，以及告訴計算機哪個是哪個的標簽双抽，我會讓計算機學習如何最好地區(qū)分兩類圖像，這類機器學習也稱為 監(jiān)督式學習闲礼，因為模型利用了人類創(chuàng)造的真值標記
你可以設想一個類似的學習過程牍汹，但這次使用的是沒有真值標記的車輛與行人圖像铐维。在這種方法中 我們會讓計算機自行決定，哪些圖像相似 哪些圖像不同慎菲，這被稱為 無監(jiān)督學習嫁蛇。我們在這不提供真值標記，而是通過分析輸入的數(shù)據(jù)露该，計算機憑借自行學習找到區(qū)別睬棚。
另一種方法被稱為 “半監(jiān)督式”學習。它將監(jiān)督學習和無監(jiān)督學習的特點結合在一起解幼，該方法使用少量的標記數(shù)據(jù)和大量的未標記數(shù)據(jù)來訓練模型抑党。
強化學習 是另一種機器學習，強化學習涉及允許模型通過嘗試許多不同的方法來解決問題书幕，然后衡量哪種方法最為成功新荤。計算機將嘗試許多不同的解決方案揽趾，最終使其方法與環(huán)境相適應台汇。
例如 在模擬器中，強化學習智能體可訓練汽車進行右轉(zhuǎn)篱瞎，智能體將在初始位置發(fā)動車輛苟呐，然后進行實驗性駕駛，以多種不同的方向和速度俐筋。如果汽車實際完成了右轉(zhuǎn)牵素，智能體會提高獎勵，即得分澄者，這是針對導致成功結果的初始操作笆呆。起初 汽車可能無法找到執(zhí)行轉(zhuǎn)彎的方法，然而 就像人類那樣粱挡，汽車最終會從一些成功的右轉(zhuǎn)經(jīng)驗中學習赠幕，最后學會如何完成任務。
神經(jīng)網(wǎng)絡
人工神經(jīng)網(wǎng)絡是通過數(shù)據(jù)來學習復雜模式的工具询筏。神經(jīng)網(wǎng)絡由大量的神經(jīng)元組成榕堰，正如人體神經(jīng)系統(tǒng)的神經(jīng)元那樣，人工神經(jīng)元負責傳遞和處理信息嫌套，也可以對這些神經(jīng)元進行訓練逆屡。
你可以將一些圖像識別為車輛 無論它們是黑是白或大或小，你甚至可能不知道自己如何知道它們是車輛踱讨，也許是某些特征觸發(fā)了你的反應魏蔗，如車輪、車燈和車窗痹筛。
人工神經(jīng)網(wǎng)絡具有相似的運作方式沫勿，通過密集訓練 計算機可以辨別汽車叠纷、行人、交通信號燈和電線桿眼姐。
當看到該圖像時檩奠，你的大腦如何工作？你的大腦可能會將圖像分為幾部分蔓挖，然后識別特征夕土，如車輪、車窗和顏色 然后 大腦將使用這些特征對圖像進行檢測和分類瘟判。例如 在確定圖像是否為汽車時怨绣，大腦可能不會認為顏色是關鍵特征 因為汽車有多種顏色，所以大腦會將更多權重放在其他特征上 并降低顏色的重要性拷获。
同樣地 神經(jīng)網(wǎng)絡也會從圖像中提取許多特征但這些特征可能是我們?nèi)祟悷o法描述或甚至無法理解的特征篮撑，但我們最終并不需要理解，計算機將 調(diào)整這些特征的權重以完成神經(jīng)網(wǎng)絡的最終任務匆瓜，這就是深層神經(jīng)網(wǎng)絡的思維方式赢笨。
反向傳播算法
我們已經(jīng)討論過神經(jīng)網(wǎng)絡如何從數(shù)據(jù)中“學習”,那么你可能想知道這種學習如何發(fā)生。
學習有時稱為訓練驮吱，它由三步循環(huán)組成：前饋茧妒、誤差測定和反向傳播。
- 首先隨機分配初始權重左冬，即人工神經(jīng)元的值桐筏。通過神經(jīng)網(wǎng)絡來饋送每個圖像 產(chǎn)生輸出值，這被稱為前饋拇砰。
- 下一步為誤差測定梅忌，誤差是真值標記與與前饋過程所產(chǎn)生輸出之間的偏差。
- 最后一步是反向傳播除破，通過神經(jīng)網(wǎng)絡反向發(fā)送誤差此過程類似前饋過程 只是以相反方向進行牧氮。
每個人工神經(jīng)元都對其值進行微調(diào)，這是基于通過神經(jīng)網(wǎng)絡后向傳播的誤差皂岔。所有這些獨立調(diào)整的結果 可生成更準確的網(wǎng)絡 蹋笼。
一個訓練周期： 包括前饋、誤差測定和反向傳播還遠遠不夠躁垛，為了訓練網(wǎng)絡 通常需要數(shù)千個這樣的周期剖毯。但最終結果應該是：模型能夠根據(jù)新數(shù)據(jù)做出準確預測。
卷積神經(jīng)網(wǎng)絡
卷積神經(jīng)網(wǎng)絡 （CNN） 是 一種人工神經(jīng)網(wǎng)絡教馆， 它對感知問題特別有效逊谋。CNN 接受多維輸入，包括定義大多數(shù)傳感器數(shù)據(jù)的二維和三維形狀土铺。
如果使用標準神經(jīng)網(wǎng)絡對圖像進行分類胶滋，則需要通過一種方法將圖像連接到網(wǎng)絡的第一層板鬓，這屬于一維。標準做法是通過將圖像矩陣重塑為一個矢量究恤，并在一個大行中連接所有列 將圖像“展開”為一維像素陣列 俭令。
然而 這種方法打破了圖像中所嵌入的空間信息，如果圖像中有車輪部宿，則車輪中的所有像素將散布在整個像素陣列中抄腔。但我們知道 這些像素，以二維方式連接形成車輪理张。如果我們將其散布在一個維度上赫蛇，神經(jīng)網(wǎng)絡很難從圖像中提取車輪。
CNN 通過維持輸入像素之間的空間關系來解決這個問題雾叭。具體來說 CNN 通過將過濾器連續(xù)滑過圖像來收集信息悟耘，每次收集信息時，只對整個圖像的一小部分區(qū)域進行分析织狐，這被稱為 “卷積”暂幼。
當我們在整個輸入圖像上對一個過濾器進行“卷積”時，我們將該信息與下一個卷積層相關聯(lián)赚瘦。例如 CNN 可以識別第一個卷積層中的基本邊緣和顏色信息粟誓，然后 通過在第一層上卷積新過濾器奏寨，CNN 可以使用邊緣和顏色信息起意，來歸納更復雜的結構 如車輪、車門和擋風玻璃病瞳。而另一個卷積可使用車輪揽咕、車門和擋風玻璃識別整個車輛。最后 神經(jīng)網(wǎng)絡可使用這一高階信息對車輛進行分類套菜。
人們通常不太清楚 CNN 如何解讀圖像亲善，CNN 有時會側(cè)重于圖像中令人驚訝的部分，但這也是深度學習的神奇之處逗柴。CNN 根據(jù)其任務查找真正需要的特征蛹头，任務可能是圖像檢測、分類戏溺、分割或其他類型的目標渣蜗。
檢測與分類
在感知任務中,首先想到的是障礙物檢測和分類。
在駕駛過程中會遇到許多障礙物旷祸，靜態(tài)障礙物包括墻壁耕拷、樹木、桿子和建筑物托享。動態(tài)障礙物包括行人骚烧、自行車和各種汽車浸赫。
計算機首先需要知道這些障礙物的位置，然后對它們進行分類赃绊。在路中行駛的無人駕駛車可能會探測到許多不同的物體既峡，汽車根據(jù)所感知的物體類型，來確定路徑和速度碧查。如果感知到前方有一輛自行車涧狮，汽車可能會決定減速和變道 以便安全駛過自行車。但是 如果感知到前方有另一輛車么夫，并預測到前方車輛也將以接近限速的速度行駛者冤。無人駕駛車可能會保持其速度和車道。
另一個示例為 交通信號燈檢測分類档痪。首先 我們將使用計算機視覺對圖像中的交通信號燈進行定位涉枫。然后 我們可以根據(jù)燈光顯示顏色對交通信號燈進行分類。
在無人駕駛車輛中腐螟，我們使用什么算法來對障礙物進行檢測和分類愿汰？我們可以先使用檢測 CNN 來查找圖像中的對象的位置，在對圖像中的對象進行定位后乐纸，我們可以將圖像發(fā)送給另一個 CNN 進行分類衬廷。
我們也可以使用單一 CNN 體系結構對對象進行檢測和分類。一種通常的做法為在單個網(wǎng)絡體系結構的末端附加幾個不同的“頭”汽绢，一個頭可能執(zhí)行檢測吗跋，另一個則可能執(zhí)行分類。
一個經(jīng)典的體系結構為 R-CNN 及其變體 Fast R-CNN 和 Faster R-CNN宁昭、YOLO 和 SSD 是具有類似形式的不同體系結構跌宛。
tracking跟蹤
在檢測完對象后 我們需要追蹤它們。
追蹤的意義是什么积仗？如果我們對每個幀中的每個對象進行檢測并用邊界框?qū)γ總€對象進行標識疆拘。
那么跨幀追蹤對象會帶來哪些好處？首先 追蹤在檢測失敗時是至關重要的寂曹。如果你在運行檢測算法時哎迄，對象被其他對象遮擋一部分，則檢測算法可能會失敗隆圆。追蹤可以解決遮擋問題漱挚。另一個原因在于追蹤可以保留身份。障礙物檢測的輸出為包含對象的邊界框匾灶，但是 對象沒有與任何身份關聯(lián)棱烂，單獨使用對象檢測時，計算機不知道一個幀中的哪些對象與下一幀中的哪些對象相對應阶女。
該任務對人類來說很簡單 但對汽車來說很困難颊糜。追蹤的第一步為確認身份哩治，通過查找特征相似度最高的對象，我們將在之前的幀中檢測到的所有對象與在當前的幀中檢測到的對象進行匹配衬鱼。對象具有各種特征业筏，有些特征可能基于顏色 而另一些特征可能基于形狀，計算機視覺算法可以計算出復雜的圖像特征鸟赫，如局部二值模式和方向梯度直方圖蒜胖。當然 我們也需要考慮連續(xù)視頻幀中，兩個障礙物之間的位置和速度抛蚤。由于兩個幀之間的對象位置和速度沒有太大變化台谢，該信息也可以幫助我們快速找到匹配的對象。在確定身份后 我們可以使用對象的位置岁经，并結合預測算法以估計在下一個時間步的速度和位置朋沮，該預測可幫助我們識別下一幀中的相應對象。
segmentation 語義分割
語義分割涉及對圖像的每個像素進行分類缀壤。它用于盡可能詳細地了解環(huán)境樊拓，并確定車輛可駕駛區(qū)域。
語義分割依賴于一種特殊類型的 CNN塘慕，它被稱為全卷積網(wǎng)絡 或 FCN筋夏。FCN 用卷積層來替代傳統(tǒng) CNN 體系結構末端的平坦層。現(xiàn)在 網(wǎng)絡中的每一層都是卷積層图呢，因此其名稱為“全卷積網(wǎng)絡”条篷。
FCN 提供了可在原始輸入圖像之上疊加的逐像素輸出，我們必須考慮的一個復雜因素是大小岳瞭。在典型的 CNN 中 經(jīng)過多次卷積之后拥娄，所產(chǎn)生的輸出比原始輸入圖像小得多蚊锹。
然而 為了分割像素瞳筏，輸出尺寸必須與原始圖像的尺寸相匹配，為了達到該目的 我們可以對中間輸出進行上采樣處理牡昆，直到最終輸出的大小與原始輸出圖像的大小相匹配姚炕，網(wǎng)絡的前半部分通常被稱為編碼器。因為這部分網(wǎng)絡對輸入圖像的特征進行了提取和編碼丢烘，網(wǎng)絡的后半部分通常被稱為解碼器柱宦，因為它對這些特征進行了解碼 并將其應用于輸出。
Apollo 感知
Apollo 開放式軟件棽ネ可感知障礙物掸刊、交通信號燈和車道。對于三維對象檢測赢乓，Apollo 在高精度地圖上使用 感興趣區(qū)域 (ROI)來重點關注相關對象忧侧。
Apollo 將 ROI 過濾器應用于點云和圖像數(shù)據(jù)石窑，以縮小搜索范圍并加快感知。然后 通過檢測網(wǎng)絡饋送已過濾的點云蚓炬，輸出用于構建圍繞對象的三維邊界框松逊，最后 我們使用被稱為 檢測跟蹤關聯(lián) 的算法來跨時間步識別單個對象。
該算法先保留在每個時間步要跟蹤的對象列表肯夏，然后在下一個時間步中找到每個對象的最佳匹配经宏。對于交通信號燈的分類,Apollo 先使用高精度地圖來確定前方是否存在交通信號燈,如果前方有交通信號燈,則高精度地圖會返回燈的位置,這側(cè)重于攝像頭搜索范圍,在攝像頭捕獲到交通信號燈圖像后,Apollo 使用檢測網(wǎng)絡對圖像中的燈進行定位,然后 Apollo 從較大的圖像中提取交通信號燈。Apollo 將裁剪的交通燈圖像提供給分類網(wǎng)絡驯击，以確定燈顏色烁兰。如果有許多燈，則系統(tǒng)需要選擇哪些燈與其車道相關徊都。
Apollo 使用 YOLO 網(wǎng)絡缚柏，來檢測車道線和動態(tài)物體。 其中包括車輛碟贾、卡車币喧、騎自行車的人和行人，在經(jīng)過 YOLO 網(wǎng)絡檢測后袱耽，在線檢測模塊會并入來自其他傳感器的數(shù)據(jù)杀餐，對車道線預測進行調(diào)整，車道線最終被并入名為“虛擬車道”的單一數(shù)據(jù)結構中朱巨。同樣 也通過其他傳感器的數(shù)據(jù)對 YOLO 網(wǎng)絡所檢測到的動態(tài)對象進行調(diào)整以獲得每個對象的類型史翘、位置、速度和前進方向冀续。虛擬通道和動態(tài)對象均被傳遞到規(guī)劃與控制模塊琼讽。
傳感器數(shù)據(jù)比較
感知通常依賴于攝像頭、激光雷達和雷達洪唐。該圖顯示了這三種傳感器的優(yōu)缺點钻蹬，綠色代表性能良好，黃色代表混合性能凭需，紅色代表性能不佳问欠。
- 攝像頭非常適用于分類，在 Apollo 中 攝像頭主要用于交通信號燈分類 以及車道檢測粒蜈。
- 激光雷達的優(yōu)勢在于障礙物檢測顺献，即使在夜間 在沒有自然光的情況下，激光雷達仍能準確地檢測障礙物枯怖。
- 雷達在探測范圍和應對惡劣天氣方面占優(yōu)勢
通過融合這三種傳感器的數(shù)據(jù)注整，可實現(xiàn)最佳聚合性能，這被稱為“傳感器融合”
雷達與激光雷達
雷達已經(jīng)在汽車上使用很多年，在各種系統(tǒng)中都需要雷達肿轨，如自適應巡航控制借浊、盲點警告、碰撞浸膏和碰撞預防系統(tǒng)等萝招。盡管雷達技術已經(jīng)成熟蚂斤，它仍在不斷進步，作用不斷提升槐沼。其他傳感器測量速度的方法是計算兩次讀數(shù)之間的差距曙蒸，而雷達則通過多普勒效應來直接測量速度。多普勒效應根據(jù)對象在遠離還是接近你岗钩，測量出雷達的頻率變化纽窟。就像消防車警報器一樣，當車輛正在遠離你和駛向你時兼吓，聽起來聲是不一樣的臂港。多普勒效應對傳感器融合至關重要。因為它可以把速度作為獨立的測量參數(shù)视搏，從而提升了融合算法的收斂速度审孽。雷達還可以生成環(huán)境的雷達地圖，進而實現(xiàn)定位浑娜。因為雷達波在堅硬表面會回彈佑力。因此，它可以直接測量對象距離筋遭，無需在視線范圍內(nèi)也可以打颤。雷達可以看到其他車輛底部。并發(fā)現(xiàn)可能會被阻擋的建筑物和對象漓滔。在車上的所有傳感器中编饺，雷達是至不容易受雨霧影響的。而且視野寬闊响驴，可達 150 度透且，距離可達200 多米。與激光雷達和攝像頭相比踏施，雷達分辨率較低石蔗，尤其是在垂直方向，分辨率非常有限畅形。分辨率低意味著來自靜態(tài)物體的反射可能產(chǎn)生問題。例如诉探，街道上檢修孔蓋或汽水罐日熬，可能產(chǎn)生很高的雷達反射率，但他們并不大肾胯。我們將其稱為雷達雜波竖席。因此耘纱，當前的車載雷達通常會忽視靜態(tài)物體。
激光雷達是激光探測與測量的簡稱毕荐，而雷達則誰無線電探測與測量的簡稱束析。雷達使用無線電波，而激光雷達則使用紅激光束來確定傳感器和附近對象的距離憎亚。目前的激光雷達大多使用 900 納米光波長度的光源员寇。但部分激光雷達使用的光波長度更長，在雨霧中性能更好第美。當前的激光雷達使用旋轉(zhuǎn)座架發(fā)射激光蝶锋，掃描周邊環(huán)境。激光室脈沖式的什往，脈沖被對象反射扳缕，然后返回一個點云，來代表這些物體别威。激光雷達的空間分辨率遠遠高于雷達躯舔。因為激光束越聚焦，垂直方向的掃描層數(shù)量就越多省古，因此每層的激光雷達的密度也越高庸毫。目前，激光雷達還不能直接測量對象的速度衫樊，必須使用兩次或多次掃描之間的位置差來確定飒赃。激光雷達受天氣和傳感器清潔程度影響也很大，因此需要保持清潔科侈。它們塊頭也比其他傳感器更大载佳，因此也很難安裝，除非你只想在車頂安裝一個大的激光掃描器臀栈。
感知融合策略
Apollo 使用激光雷達和雷達來檢測障礙物蔫慧。用于融合輸出的主要算法為卡爾曼濾波。
卡爾曼濾波有兩個步驟权薯。第一步為預測狀態(tài)姑躲，第二步是更新測量結果。
設想我們正在跟蹤一名行人盟蚣，這里的狀態(tài)表示行人的位置和速度黍析，從已經(jīng)掌握的行人狀態(tài)開始。我們使用這些信息來執(zhí)行卡爾曼濾波的第一步屎开，即預測行人在將來的狀態(tài)阐枣。
下一步為誤差結果更新，我們使用新的傳感器來更新我們所認為的行人狀態(tài)，卡爾曼濾波算法是預測和更新步驟的無限循環(huán)蔼两。
實際上有兩種測量結果更新步驟：同步和異步甩鳄。同步融合同時更新來自不同傳感器的測量結果，而異步融合則逐個更新所收到的傳感器測量結果额划。傳感器融合可提高感知性能 因為各傳感器相輔相成妙啃，融合也可以減少跟蹤誤差，所以我們可以更加確信俊戳，對道路上其他物體位置的預測揖赴。
