姓名：劉一婷；學(xué)號：20021210599聚至；學(xué)院：電子工程學(xué)院

轉(zhuǎn)載于 ：微信公眾號“?CV研習(xí)社”’

原文鏈接：https://mp.weixin.qq.com/s/v4YHUmzOjv4agrbO6hORZw

【嵌牛導(dǎo)讀】車道線檢測是無人駕駛中重要的組成部分，本文將介紹車道線檢測所需的技術(shù)搜吧，面臨的問題等相速。

【嵌牛鼻子】車道線檢測

【嵌牛提問】車道線檢測技術(shù)能在哪些方面實(shí)現(xiàn)突破和提升沿腰？

【嵌牛正文】

針對車道線檢測的任務(wù)叔扼，我們需要弄清楚幾個問題：

1.車道線的表示形式事哭？

輸出類型：掩碼/點(diǎn)集/矢量線條

實(shí)例化：每個車道線是否形成實(shí)例

分類：是否對車道線進(jìn)行了分類（單白、雙黃等）

提前定義的參數(shù)：是否只能檢測固定數(shù)量的車道線

車道標(biāo)記：是否對車道上的行車標(biāo)記也做了檢測

這會影響到數(shù)據(jù)的標(biāo)注和網(wǎng)絡(luò)的輸出形式瓜富，而且最終需要的是車道線在世界坐標(biāo)系下的方程鳍咱。而神經(jīng)網(wǎng)絡(luò)更適合提取圖像層面的特征，直接回歸方程參數(shù)有較多限制与柑。所以谤辜，網(wǎng)絡(luò)推理輸出后需要相對復(fù)雜的后處理去解決真實(shí)坐標(biāo)的問題。

2.神經(jīng)網(wǎng)絡(luò)推理到哪一步价捧？

圖像分割方案傾向于像素點(diǎn)的分類丑念，該像素點(diǎn)是否屬于車道線標(biāo)識并對標(biāo)識類別進(jìn)行判斷；

圖像檢測方案傾向于抽象出分割邊界線结蟋，在設(shè)定的一系列anchor中判斷是否存在車道線脯倚，以及回歸車道線的位置參數(shù)。

逐像素的車道線標(biāo)識本身 or 表征出抽象的車道分隔邊界線嵌屎。

數(shù)據(jù)集

需要各場景類別的數(shù)據(jù)平衡推正，比如高速公路，輔路宝惰，盤山路植榕，夜晚，雨天等數(shù)據(jù)

檢查篩選出質(zhì)量較好的圖片尼夺，比如高速公路夜間的數(shù)據(jù)和雨中駕駛的視頻較為模糊

相近的圖片抽幀標(biāo)注内贮，可以每10張抽取1張，比如低速的多張圖片相似會造成準(zhǔn)確率虛高

增廣小類別的圖片汞斧，比如查看車道線系數(shù)直方圖夜郁，再小幅度旋轉(zhuǎn)使每個系數(shù)分布更為合理

縮放并歸一化數(shù)據(jù)，加速收斂

開源車道線數(shù)據(jù)集包括：

Caltech：一共約1.2k張圖片粘勒，場景比較簡單竞端，且視角較好；圖片大忻硭：640x480事富，如下圖

VPGNet：一共20k張圖片，包含白天（非雨天乘陪、雨天统台、大雨天）、夜晚的數(shù)據(jù)啡邑，同時包含了各種車道線類型贱勃，以及其他不同類型的車道標(biāo)識（左轉(zhuǎn)箭頭、直行箭頭、斑馬線等等）贵扰，如下圖

TuSimple：一共72k張圖片仇穗，位于高速路，天氣晴朗戚绕，車道線清晰纹坐，特點(diǎn)是車道線以點(diǎn)來標(biāo)注；圖片大形璐浴：1280x720耘子，如下圖

CULane：一共98k張圖片，包含擁擠球切，黑夜拴还，無線，暗影等八種難以檢測的情況欧聘，最多標(biāo)記4條車道線；圖片大卸伺琛：1640x590怀骤，如下圖

BDD100k：120M張圖片， 包含美國4個區(qū)的白天焕妙、黑夜各種天氣狀況蒋伦，二維8類別車道線；圖片大蟹偃怠：1280x720痕届，如下圖

ApolloScape：140k張圖片，特點(diǎn)是車道線以掩碼的形式標(biāo)注末患，包含2維或3維28個類別研叫；圖片大小：3384x2710璧针，如下圖

CurveLanes：華為彎道檢測數(shù)據(jù)集 135k張圖片, 采用三次樣條曲線手動標(biāo)注所有車道線,包括很多較為復(fù)雜的場景,如S路嚷炉、Y車道,還有夜間和多車道的場景。分為訓(xùn)練集10萬張探橱，驗(yàn)證集2萬張申屹，測試集3萬張；圖片大兴砀唷：2650x1440哗讥，如下圖

傳統(tǒng)圖像方法

通過邊緣檢測濾波等方式分割出車道線區(qū)域，然后結(jié)合霍夫變換胞枕、RANSAC等算法進(jìn)行車道線檢測杆煞。這類算法需要人工手動去調(diào)濾波算子，根據(jù)算法所針對的街道場景特點(diǎn)手動調(diào)節(jié)參數(shù)，工作量大且魯棒性較差索绪，當(dāng)行車環(huán)境出現(xiàn)明顯變化時湖员，車道線的檢測效果不佳。主流方式如下：

基于霍夫變換的車道線檢測瑞驱；

基于LSD直線的車道線檢測

基于俯視圖變換的車道線檢測娘摔；

基于擬合的車道線檢測；

基于平行透視滅點(diǎn)的車道線檢測唤反；

難點(diǎn)

應(yīng)用場景受限凳寺；霍夫直線檢測方法準(zhǔn)確但不能做彎道檢測，擬合方法可以檢測彎道但不穩(wěn)定彤侍，仿射變換可以做多車道檢測但在遮擋等情況下干擾嚴(yán)重肠缨。

透視變換操作會對相機(jī)有一些具體的要求，在變換前需要調(diào)正圖像盏阶，而且攝像機(jī)的安裝和道路本身的傾斜都會影響變換效果晒奕。

深度學(xué)習(xí)方法

車道線檢測的應(yīng)用場景具有時序信息特性，為了利用時序特征通常會引入RNN模塊名斟，加上Encoder-Decoder的形式已經(jīng)成為CNN特征提取的標(biāo)配脑慧，所以一般的做法是對Encoder提取的Features進(jìn)行進(jìn)一步加工，提取連續(xù)幀帶來的歷史信息砰盐∶铺唬或者借助一些額外的相關(guān)業(yè)務(wù)更好的引導(dǎo)車道線的回歸。主流深度學(xué)習(xí)的車道線檢測方法：包括二值語義分割產(chǎn)生掩碼圖部分和掩碼圖的線擬合部分岩梳。

二值語義分割主要采用CNN方法并引入一些方式提高語義分割精度囊骤，在 線的擬合階段可以采用學(xué)習(xí)到的轉(zhuǎn)換矩陣先將分割結(jié)果轉(zhuǎn)換為鳥瞰圖視角，然后冀值，采用均勻取點(diǎn)+最小二乘法擬合也物，擬合方程可選三次方程。

1.《Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks》：采用CNN+RNN的方式列疗，在Encoder和Decoder之間插入LSTM模塊焦除，對連續(xù)幀的輸入預(yù)測二值分割圖。

2.《Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending》：采用CNN的方式作彤，通過多尺度融合和輸出的方式提高定位精度膘魄，最后采用一種類似于NMS方法，將低層輸出中位置精度回歸較高的點(diǎn)逐步向高層輸出替換竭讳，得到最后融合優(yōu)化的車道線點(diǎn)輸出创葡。

3. 《Heatmap-based Vanishing Point boosts Lane Detection》：采用Encoder-Decoder結(jié)構(gòu)，在車道線的預(yù)測Head以外绢慢，增加了一個Head用于消失點(diǎn)的預(yù)測灿渴；這種結(jié)構(gòu)將特征提取階段的輸出和車道線預(yù)測的輸出進(jìn)行信息融合洛波，再經(jīng)過卷積層的處理后，輸出消失點(diǎn)的預(yù)測結(jié)果骚露。（類似VPGNet）

4. 《Lane Detection Model Based on Spatio-Temporal Network with Double ConvGRUs》：采用Encoder+RNN+ Decoder的方式蹬挤，在Encoder和Decoder之間插入GRU模塊，同樣對連續(xù)幀的輸入預(yù)測一張二值圖棘幸。

5.《RESA: Recurrent Feature-Shift Aggregator for Lane Detection》：采用Encoder-Decoder的方式焰扳，在Encoder和Decoder部分之間，插入RESA模塊误续，增強(qiáng)空間結(jié)構(gòu)信息在全局的傳播能力吨悍。（類似SCNN）

6. 《Real-Time LaneDtection Networks for Autonomous Driving》：采用Encoder+LSTM的方式，分割出車道線后采用聚類算法將不同的車道線進(jìn)行區(qū)分蹋嵌，然后再通過一個HNet變換到鳥瞰視角去檢測車道線育瓜。

7. 《Key Points Estimation and Point Instance Segmentation Approach for Lane Detection》：PiNet算法將車道線用點(diǎn)表示轉(zhuǎn)換成點(diǎn)的回歸問題，然后使用聚類算法區(qū)分不同車道線上的點(diǎn)和去掉一部分多余的點(diǎn)栽烂。

8. 《Ultra Fast Structure-aware Deep Lane Detection》：將車道線檢測定義為尋找車道線在圖像中某些行的位置的集合躏仇，即基于行方向上的位置選擇、分類腺办。

區(qū)別于上述車道線檢測和曲線擬合分開兩步去做的方式焰手，還有一種端到端的車道線擬合，輸入圖片菇晃，輸出車道線曲線模型參數(shù)。比如：《End-to-end Lane Detection through Differentiable Least-Squares Fitting》

性能指標(biāo)

在評判True or False時蚓挤，主要有兩種方式：

End Point磺送，通過判斷線的端點(diǎn)間的距離及其包圍面積是否超過閾值

IOU，直接計算IOU的重疊面積

面臨挑戰(zhàn)

（1）車道線這種細(xì)長的形態(tài)結(jié)構(gòu)灿意，需要更加強(qiáng)大的高低層次特征融合估灿，來同時獲取全局的空間結(jié)構(gòu)關(guān)系，和細(xì)節(jié)處的定位精度缤剧。

（2）車道線的形態(tài)有很多不確定性馅袁，比如被遮擋，磨損荒辕，以及道路變化時本身的不連續(xù)性汗销。需要網(wǎng)絡(luò)針對這些情況有較強(qiáng)的推測能力。

（3）車輛的偏離或換道過程會產(chǎn)生自車所在車道的切換抵窒，車道線也會發(fā)生左/右線的切換弛针。一些提前給車道線賦值固定序號的方法，在換道過程中會產(chǎn)生歧義的情況李皇。