以下分享也許可以解答您的疑問：

ADAS的實(shí)現(xiàn)途徑铁坎；

單目視覺ADAS的基本原理蜂奸；

單目視覺ADAS的技術(shù)難點(diǎn)（數(shù)據(jù)樣本積累、算法硬萍、芯片扩所、攝像頭及前后裝等）；

視覺ADAS的發(fā)展趨勢(shì)朴乖。

一祖屏、ADAS的實(shí)現(xiàn)途徑

伴隨著這幾年自動(dòng)駕駛概念的火熱，ADAS越來越受大家關(guān)注买羞，輔助駕駛作為自動(dòng)駕駛的早期階段袁勺，在整個(gè)流程里扮演著感和知的角色。

第一步是通過各種傳感器來采集車身已經(jīng)周邊環(huán)境信息畜普，包括但不限于GPS期丰、車身傳感器、攝像頭及雷達(dá)等吃挑。目前汽車智能都離不開這幾種傳感器的融合運(yùn)用钝荡，為車輛來建立周邊的立體信息。

第二步則是根據(jù)采集到的信息來進(jìn)行道路舶衬、車輛埠通、行人和路標(biāo)的識(shí)別。對(duì)各種工況下道路參與者的狀態(tài)提取逛犹，給決策者提供決策信息端辱。如果決策者為駕駛員，那么是輔助信息虽画；如果決策者為制動(dòng)部件掠手，那么就上升到AEB或者LC等Level 2以上的駕駛輔助階段。

各類傳感器的機(jī)制從底層邏輯來說是比較類似的狸捕，都是光學(xué)或者模擬信號(hào)的數(shù)字化喷鸽，采用算法來還原傳感量的變化。而攝像頭技術(shù)是目前ADAS領(lǐng)域最快速發(fā)展的傳感器技術(shù)灸拍。

SA（Strategy analytics）分析指出：如果車輛前方只有一個(gè)傳感器做祝，那么最大可能是攝像頭；如果車輛前方有多個(gè)傳感器鸡岗，那么確定的是會(huì)有一個(gè)攝像頭在其中混槐。

二、視覺ADAS的基本原理

我們以目前基于攝像頭的單目視覺為例來說明其基本原理轩性。

整個(gè)流程包括樣本的采集及標(biāo)記声登，同時(shí)對(duì)標(biāo)記的樣本進(jìn)行大范圍訓(xùn)練來提取特征和模型，將模型作為實(shí)際圖像數(shù)據(jù)進(jìn)行分類識(shí)別。

另外一個(gè)維度悯嗓，我們需要保證圖像源的質(zhì)量件舵，通過寬動(dòng)態(tài)、強(qiáng)光抑制脯厨、降噪等技術(shù)來保證輸入數(shù)據(jù)源的干凈铅祸，將真實(shí)環(huán)境清晰的數(shù)據(jù)進(jìn)行邊緣化和紋理化送入分類器進(jìn)行識(shí)別。

同時(shí)合武，在這個(gè)環(huán)節(jié)我們要非常注重模型數(shù)據(jù)和圖像源數(shù)據(jù)的一致性临梗，即樣本標(biāo)記的數(shù)據(jù)和實(shí)際圖像源要來自相同的鏡頭、圖像Sensor和相同的ISP技術(shù)稼跳，來保證訓(xùn)練和實(shí)際的高匹配盟庞。

這部分是目前在實(shí)驗(yàn)室做數(shù)據(jù)時(shí)很難實(shí)現(xiàn)的，很多可能采用的是公開的樣本庫來訓(xùn)練汤善，而公開樣本庫所采用的攝像頭什猖、鏡頭角度等并不是我們實(shí)際中使用的。

三萎津、視覺ADAS的難點(diǎn)

在產(chǎn)品開發(fā)中卸伞，難點(diǎn)在各個(gè)環(huán)節(jié)都有覆蓋。

首先是算法本身的檢測(cè)率锉屈，這是需要不斷提升的環(huán)節(jié)荤傲。需要在魯棒性和敏感性之間作平衡，來保證產(chǎn)品的良好體驗(yàn)颈渊。

同時(shí)從產(chǎn)品工程化的角度講遂黍，很多時(shí)候并不能用檢測(cè)率最高的算法，必須優(yōu)化算法速度俊嗽，因?yàn)槲覀儧]法將一顆i7芯片或者服務(wù)器搬到汽車上去雾家；其次是正負(fù)樣本的積累，考慮到源同步的問題绍豁，樣本積累必須來自實(shí)測(cè)芯咧，同時(shí)保證大量。

第三個(gè)方面竹揍，既然做的是產(chǎn)品敬飒，那么硬件處理器和攝像頭的選擇必須考慮性價(jià)比、可量產(chǎn)性等芬位。

第四无拗，安裝方面要盡可能的簡(jiǎn)化用戶的安裝步驟，降低安裝難度昧碉，那么需要在算法設(shè)計(jì)的時(shí)候充分將內(nèi)外參的兼容性考慮進(jìn)去英染，并在不同車型的測(cè)試中驗(yàn)證揽惹，這部分是采用技術(shù)提升體驗(yàn)的關(guān)鍵。

最后是天氣適應(yīng)性四康，每種傳感器都有自己的長(zhǎng)處搪搏，但是也都有自身的短板，比如雷達(dá)對(duì)靜態(tài)物體箭养、激光雷達(dá)對(duì)天氣慕嚷，攝像頭也會(huì)受制于天氣和光照影響哥牍，在這些條件下毕泌，提升攝像頭前端技術(shù)變得尤為重要（Mobileye也不僅僅是一個(gè)算法公司）。

當(dāng)前階段在嵌入式端工作的算法嗅辣，普遍基于機(jī)器學(xué)習(xí)撼泛，其優(yōu)點(diǎn)是工程化、量產(chǎn)化更有可行性澡谭。

任何人工智能算法的落地都必須具備可工程化愿题。一方面是視覺前端的提升帶來了運(yùn)算量的降低；另一方面科研人員的探索可以給技術(shù)實(shí)現(xiàn)提供更豐富的組合可能蛙奖。

同時(shí)摩爾定律的繼續(xù)深化帶來芯片可以實(shí)時(shí)的完成更多復(fù)雜的算法潘酗，特別是嵌入式芯片可以運(yùn)行以前高配置電腦甚至服務(wù)器才能完成的功能。

當(dāng)然硬幣的另一面雁仲，依然有需要用更好的方法來解決的地方仔夺，包括有遮擋的目標(biāo)物、檢測(cè)率的繼續(xù)提升等等攒砖。這些都有待攝像頭前端技術(shù)的繼續(xù)提升和深度學(xué)習(xí)算法的嵌入式應(yīng)用來解決缸兔。

四、視覺ADAS的功能

接下來我們通過兩個(gè)簡(jiǎn)單的例子來介紹車輛識(shí)別吹艇、車道線識(shí)別惰蜜、交通標(biāo)志牌識(shí)別等功能。

對(duì)車輛識(shí)別和車道線識(shí)別只是前方碰撞預(yù)警和車道偏離預(yù)警的第一步受神，我們還需要綜合速度抛猖、車輛自身行駛區(qū)域、前方車輛狀態(tài)等信息來進(jìn)行分析鼻听，參照ISO標(biāo)準(zhǔn)來進(jìn)行報(bào)警信息的輸出财著。

1、車輛識(shí)別及跟蹤：

2精算、車道線識(shí)別：

3瓢宦、交通標(biāo)志識(shí)別：

基于前面基本功能和背景的分析，我們從以下幾個(gè)方面來探討ADAS技術(shù)的深化之路灰羽，它需要的是面向AEB（自動(dòng)制動(dòng)）驮履、LC（車道中心保持）等鱼辙。

五、視覺ADAS的硬件

視覺ADAS系統(tǒng)其實(shí)是一套嚴(yán)謹(jǐn)?shù)墓鈱W(xué)系統(tǒng)或者相機(jī)玫镐。

但是它比普通相機(jī)運(yùn)行的環(huán)境更加苛刻倒戏，包括振動(dòng)、顛簸恐似、高溫等因素杜跷，我們從每一個(gè)環(huán)節(jié)來保證這套系統(tǒng)的一致性和可靠性，特別是圖像源環(huán)節(jié)矫夷，比如說鏡頭標(biāo)定葛闷、焦距控制、畸變系數(shù)的補(bǔ)償双藕，這些都構(gòu)成產(chǎn)品可量產(chǎn)性的重要因素淑趾。

視覺ADAS系統(tǒng)的內(nèi)參可靠性同時(shí)要結(jié)合外部參數(shù)的差異性。比如說車輛在平路和坡道時(shí)的視覺和測(cè)距完全不一樣忧陪，我們通過對(duì)自身鏡頭的參數(shù)和外部目標(biāo)的視角進(jìn)行距離矯正扣泊，最終達(dá)到1個(gè)像素以內(nèi)的誤差。

精準(zhǔn)的距離測(cè)試是前車碰撞預(yù)警乃至AEB的基礎(chǔ)嘶摊。

目前延蟹，基于單目視覺的測(cè)距方法集中于兩類：

其一，就是通過光學(xué)幾何模型（即小孔成像模型）建立測(cè)試對(duì)象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系叶堆，結(jié)合攝像頭內(nèi)阱飘、外參的標(biāo)定結(jié)果，便可以得到與前方車輛或障礙物間的距離蹂空；

其二俯萌，就是在通過采集的圖像樣本，直接回歸得到圖像像素坐標(biāo)與車距間的函數(shù)關(guān)系上枕，這種方法缺少必要的理論支撐咐熙，是純粹的數(shù)據(jù)擬合方法，因此受限于擬合參數(shù)的提取精度辨萍，魯棒性相對(duì)較差棋恼。

正因如此，我們采用了光學(xué)幾何模型進(jìn)行車距的計(jì)算锈玉。前面已經(jīng)說過了爪飘，我們采用了嚴(yán)格的攝像頭標(biāo)定方法可以獲得精準(zhǔn)的內(nèi)參和外參。

除此之外拉背，影響測(cè)距精度的另一重要因素就是車輛邊緣檢測(cè)的精度师崎。我們采用了精確的邊緣檢測(cè)和多幀綜合檢測(cè)的算法，可以在不同的光線環(huán)境下得到相對(duì)精準(zhǔn)的用于車距檢測(cè)的車輛坐標(biāo)信息椅棺。

盡管如此犁罩，由于道路平面的多變特性齐蔽，動(dòng)態(tài)的距離測(cè)試必須考慮外參的動(dòng)態(tài)改變量及圖像處理時(shí)的隨機(jī)誤差。圖像上幾個(gè)像素的跳變床估，就可能引起遠(yuǎn)距離車距測(cè)量的較大誤差含滴。

因此，我們?cè)谡`差來源分析的基礎(chǔ)上丐巫，力圖通過誤差修正方法及算法優(yōu)化方法谈况，從多個(gè)層面降低測(cè)距誤差：

道路環(huán)境的精準(zhǔn)重構(gòu)：

同時(shí)可以保證我們對(duì)周邊其他參照系的精確重構(gòu)。在這個(gè)模型圖像里递胧，我可以看到對(duì)道路環(huán)境進(jìn)行了位置重構(gòu)碑韵，對(duì)車道線距離、車輛距離谓着、車道線角度以及車高等信息完成了提取泼诱，特別是車道線的距離檢測(cè)可以達(dá)到厘米級(jí)的誤差坛掠。

六赊锚、視覺ADAS的算法

剛才講到的是前端攝像頭，接下來是算法端的核心屉栓。我們需要的是對(duì)樣本進(jìn)行大量的訓(xùn)練舷蒲。我們?cè)跇颖镜挠?xùn)練方式上采用了一些創(chuàng)新，包括UGC（User Generated Content）友多、圖像源同步牲平、自動(dòng)提取和人工校驗(yàn)相結(jié)合等。

算法的載體是硬件域滥，硬件的選擇需要從運(yùn)算速度纵柿、功耗散熱和成本三個(gè)方面來平衡。

攝像頭启绰、算法及硬件最終需要通過安裝來保證設(shè)計(jì)者的意志得到體現(xiàn)昂儒，糟糕的安裝會(huì)導(dǎo)致前面的工作功虧一簣。在有安裝條件的情況下委可，我們通過專業(yè)安裝人員進(jìn)行標(biāo)定板的安裝渊跋；同時(shí)我們有大量的DIY用戶，那么便可以通過精簡(jiǎn)的內(nèi)外參和行駛數(shù)據(jù)總結(jié)來給用戶提供個(gè)性化的報(bào)警機(jī)制着倾。

我們目前近千臺(tái)的激活用戶經(jīng)過上百萬公里的行駛里程積累拾酝，產(chǎn)生了一些比較喜人的數(shù)據(jù)。

根據(jù)我們的駕駛行為評(píng)分系統(tǒng)卡者，某個(gè)用戶在為我們貢獻(xiàn)了2950公里里程的實(shí)際數(shù)據(jù)的同時(shí)蒿囤，他的駕駛得分得到了穩(wěn)步的提高，充分體現(xiàn)了ADAS系統(tǒng)對(duì)用戶的駕駛規(guī)范性提升價(jià)值崇决。

最后材诽，針對(duì)視覺ADAS的發(fā)展趨勢(shì)镶摘，程建偉認(rèn)為將包含以下方面：

問答環(huán)節(jié)：

雷鋒網(wǎng)新智駕：請(qǐng)問基于攝像頭如何得到物體的三維位置？基于slam能重建出運(yùn)動(dòng)的車輛嗎岳守？

程：根據(jù)攝像頭的自身參數(shù)凄敢，得到目標(biāo)物體的縱向距離和橫向距離，進(jìn)一步計(jì)算出物體的寬度高度信息湿痢；可以通過自運(yùn)動(dòng)模型得到車輛的縱向和橫向運(yùn)動(dòng)涝缝。

雷鋒網(wǎng)新智駕：能否說一下單目和雙目的區(qū)別？基于視覺的測(cè)距為什么不選雙目譬重，會(huì)更準(zhǔn)嗎拒逮？

程：單目更加成熟，并且對(duì)性能要求更低臀规，安裝角度要求低滩援；雙目可以計(jì)算圖像深度信息，能更準(zhǔn)確的測(cè)量距離塔嬉，但是運(yùn)算要求高玩徊，有效距離近。人對(duì)距離的感知刷新是在0.1s級(jí)別谨究，所以99米和100米之間的誤差恩袱，實(shí)際對(duì)人的駕駛判斷沒有太高意義。單目測(cè)距完全符合ADAS的標(biāo)準(zhǔn)胶哲。

雷鋒網(wǎng)新智駕：基于光學(xué)幾何模型測(cè)距的方法依賴于物體在路面的假設(shè)畔塔，如果車輛被遮擋，或者行人下半身被綠化帶遮擋鸯屿，與路面沒有交點(diǎn)澈吨，那么如何測(cè)距？

程：我們的鏡頭在標(biāo)定時(shí)會(huì)計(jì)算FOE值寄摆，通過該參數(shù)與物體實(shí)際寬度值來計(jì)算實(shí)際距離谅辣，計(jì)算距離經(jīng)過多次濾波來消除遮擋的干擾。

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))新智駕：視覺ADAS技術(shù)需要處理的數(shù)據(jù)量多大冰肴？ 需要怎么樣的硬件資源屈藐？

程：數(shù)據(jù)處理量看功能以及優(yōu)化，目前的情況是行人檢測(cè)大于車輛檢測(cè)大于車道線檢測(cè)熙尉，目前車輛和車道大概40G FLOPS联逻，如果加上行人，會(huì)翻倍检痰。所以硬件的選擇一方面是處理器性能包归，另外是優(yōu)化性能的均衡。

雷鋒網(wǎng)新智駕：您認(rèn)為傳統(tǒng)視覺算法與新興CNN铅歼、RNN算法相比優(yōu)劣勢(shì)在哪里公壤？未來换可，您更看好哪種？

程：傳統(tǒng)視覺算法優(yōu)勢(shì)是目前成熟厦幅，計(jì)算量小沾鳄，可以實(shí)現(xiàn)嵌入式化，低成本化确憨；劣勢(shì)是算法的提升后期比較困難译荞；CNN在最近幾年得到了長(zhǎng)足的發(fā)展，目前更多的是在服務(wù)器后臺(tái)端運(yùn)行休弃，對(duì)于嵌入式化還有一段路要走吞歼；未來隨著摩爾定律的繼續(xù)發(fā)展，硬件性能的進(jìn)一步提升塔猾，CNN會(huì)有比較大的空間在嵌入式應(yīng)用領(lǐng)域篙骡，我們這這塊也已經(jīng)在做一些測(cè)試工作，也有一些比較好的結(jié)果丈甸。

雷鋒網(wǎng)新智駕：極目的單目ADAS方案與Mobileye有什么區(qū)別及優(yōu)勢(shì)糯俗？

程：Mobileye是單目ADAS的標(biāo)桿，目前國(guó)內(nèi)外單目的ADAS都是更多的在以他們?yōu)槟繕?biāo)進(jìn)行學(xué)習(xí)老虫。極目做了更多的針對(duì)國(guó)內(nèi)的路況適配叶骨，同時(shí)針對(duì)國(guó)人做了很多報(bào)警機(jī)制的優(yōu)化。同時(shí)我們以移動(dòng)互聯(lián)網(wǎng)/車聯(lián)網(wǎng)為載體祈匙，在大范圍樣本獲取方面，做了很多UGC的落地工作天揖。

雷鋒網(wǎng)原創(chuàng)文章夺欲，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知今膊。