“ 我們都在說corner case焰坪，但難得見到這一篇系統(tǒng)性的討論。”

今天分享一篇arxiv上2021年2月11日的文章：Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches轮洋，對自動駕駛視覺感知中的Corner Cases進行分析并提出了一些方法論碰纬。作者來自于德國布倫瑞克工業(yè)大學和大眾汽車集團。

圖源[1]

任何一個做自動駕駛的人崭倘，相信都躲不過一個詞：“corner cases”翼岁。所謂的corner cases，在論文中使用的定義是“there is a non-predictable relevant object/class in a relevant location”绳姨。用大白話來說便是“在正確的位置上出現了不可預測的目標”登澜，例如單純一把椅子阔挠，下圖第1列是正常的可預測的椅子飘庄，第2-4列對一個計算機視覺模型來說，很可能便是難以預測的“corner cases”购撼。

圖源[2]

對自動駕駛而言跪削，倘若感知系統(tǒng)遇到了corner cases，則會帶來嚴重的安全隱患迂求。例如前幾年發(fā)生的Tesla的Autopilot 沒有識別出正在橫穿的白色大卡車碾盐，直接從側面撞上去，導致車主立即死亡揩局；Uber 的自動駕駛車在亞利桑那州撞死一名推自行車過馬路的女性……

倘若存在能夠檢測出corner cases的方法毫玖，首先，可以用于offline篩選包含corner cases的數據凌盯，用于訓練新的感知算法付枫，能夠用于在實際應用中正確識別和處理這些corner cases情況；其次驰怎，還能作為online的安全監(jiān)控和警告阐滩，一旦檢測出遇到corner cases情況，可以主動提醒駕駛員進行干預县忌。

論文中根據檢測出corner cases的復雜程度掂榔，由淺到深继效，由易到難可以劃分為以下五大類，并且給出了一些例子：

• Pixel level：由數據上的錯誤造成

  • local outlier：攝像頭掉落導致存在像素點損壞装获；風擋上出現了污垢瑞信，秋天葉子落在風擋上，都會遮蔽攝像頭部分視野穴豫。

  • global outlier：在長隧道的盡頭喧伞，由于晴天大太陽導致攝像頭突然出現過度的曝光；夜里對向駛來的車輛開著的大燈讓攝像頭出現炫光绩郎；黃昏時在一條朝西的道路上開潘鲫，被夕陽光致“盲”。

• Domain level：數據表現出的對世界的觀測產生了整體偏移

  • domain shift：冬天到處覆蓋著白色的積雪肋杖；從法國通過海峽隧道開車到英國溉仑，出隧道后發(fā)現車輛都是靠左行駛。

• Object level：數據中存在未曾“見”過的實例

  • single-point anomaly状植，即出現了未知的物體：在居民區(qū)的道路中央出現了一只熊浊竟；一個拄拐杖和一個推著老人助推小車的人在過馬路；

• Scene level：單幀數據中出現了與預期不一致的場景模式

  • collective anomaly津畸，熟知的物體出現了大量未知的聚集：市中心聚集大量或站或走振定、高舉標語高喊口號的人群；早晚高峰出現了交通擁堵肉拓；十字路口出現了建筑工地后频，除了日常的交通標志外，還出現大量用于管制工地附近秩序的交通標志暖途；

  • contextual anomaly卑惜，熟知的物體出現在異常的位置：風暴過后一棵倒在路中間的樹；油灑在道路上驻售，周圍擺放了錐桶露久，雖然油已經被清理了，但錐桶還未撤掉欺栗；一輛車停在人行道上毫痕；

• Scenario level：連續(xù)幀數據中出現了與預期不一致的場景模式

  • anomalous，訓練數據中未出現并且存在高碰撞概率：“鬼探頭”迟几，旁邊靜止的車輛前突然出現一個行人消请；川流不息的路上，一輛相鄰車道僅稍微領先的車輛瘤旨，不打轉向燈梯啤，突然變道插入；在十字路口不遵循禮讓規(guī)則的車輛存哲；

  • novel因宇，訓練數據中未出現但不會增加碰撞概率：在視覺系統(tǒng)未見過的可穿越的鐵路道口七婴；

  • risky，訓練數據中曾出現并且仍存在一定碰撞概率：在狹窄的道路會車察滑；機動車道上超越騎自行車的人打厘；

圖源[1] Corner cases的分類

論文中介紹了幾類corner cases檢測的方法，并且根據不同的corner cases類型贺辰，也匹配了不同的方法（參見下表）户盯。

圖源[1] Corner cases的類別與檢測方法

具體的方法不在這里做過多介紹，感興趣的同學可以公眾號回復“20210225”獲取論文仔細研讀饲化。

在我看來莽鸭，要訓練一個corner cases檢測的模型并不容易：很難整理一個完全的包含所有類型corner cases的大規(guī)模數據集。因此吃靠，相較于僅使用有監(jiān)督方法硫眨，將無監(jiān)督學習與有監(jiān)督結合的方法應用于corner cases detection可能是比較靠譜的思路。一個典型的例子便是Tesla的影子模式：通過與人類駕駛員行為進行比對巢块，找出潛在的corner cases礁阁。而后對這些cases進行標注，加入有監(jiān)督訓練的數據集中族奢。

對于簡單的pixel姥闭、domain、object level越走，可以采用一些ood detection棚品、主動學習的思想。對于復雜的scene level和scenario level問題弥姻，更多的還是要依賴于深度學習方法從“感知”到“認知”的進化南片。

參考資料：

[1] https://arxiv.org/abs/2102.05897

[2] https://objectnet.dev

• END -

新朋友們可以看看我過往的相關文章

?

【相關推薦閱讀】

走不得的捷徑：shortcut learning捷徑學習

OOD Detection：挖掘生活中的椅子

構建數據的雙循環(huán)

深度學習在計算機視覺中應用的三大問題