摘要
- 本文中我們提出一個(gè)增量式近實(shí)時(shí)的語義建圖系統(tǒng)
- 構(gòu)建了一個(gè)3D滾動占用網(wǎng)格圖來表示世界什荣，內(nèi)存和計(jì)算效率很高矾缓，并且適用于大規(guī)模環(huán)境。
- 我們利用CNN分割作為先驗(yàn)預(yù)測稻爬，通過一個(gè)新的CRF模型進(jìn)一步優(yōu)化三維網(wǎng)格標(biāo)簽嗜闻。利用超像素增強(qiáng)算法的平滑性，形成魯棒的
高階勢因篇。針對圖優(yōu)化問題泞辐，提出了一種有效的平均域推理方法笔横。
- 我們在KITTI數(shù)據(jù)集熵評估了系統(tǒng)，并相對于已有的系統(tǒng)提高了超過10%分割精度
Introduction
- 語義三維重建現(xiàn)有的方法都有限制：例如不能實(shí)時(shí)運(yùn)行或不能適用于大規(guī)模場景咐吼，即使一些在GPU加速下可以實(shí)時(shí)
- 單目只能在室內(nèi)小環(huán)境吹缔，為了更好的適用性選用雙目相機(jī)
- 我們用CNN對2維圖像計(jì)算像素標(biāo)簽描述并轉(zhuǎn)換到3維柵格空間中。然后提出一個(gè)高階cliques的概率隨機(jī)域(CRF)模型來增強(qiáng)網(wǎng)格中的語義一致性锯茄。clique是通過超像素產(chǎn)生的厢塘。提出了一種有效的基于濾波的平均場（field）近似推理方法。
- 貢獻(xiàn)：
- 用滾動占據(jù)網(wǎng)格地圖肌幽、可應(yīng)用于大規(guī)模環(huán)境晚碾、（近）實(shí)時(shí)增量式語義3維建圖系統(tǒng)
- 在KITTI數(shù)據(jù)集熵提高分割精度>10%
- 利用穩(wěn)健的
potts模型，提出了一種基于濾波器的高階CRFs平均場推理方法喂急，并將其轉(zhuǎn)化為一個(gè)分層的pairwise模型
幾何建圖
A.
- 分成三步：雙目深度估計(jì)格嘁、相機(jī)位置估計(jì)、構(gòu)建3D網(wǎng)格地圖
- 深度估計(jì)用三角測量計(jì)算視差
- 用雙目ORB-SLAM來估計(jì)相機(jī)6自由度位姿
- 為了融合不同視角的觀測點(diǎn)廊移，把點(diǎn)云地圖變成3D occupancy grid糕簿，每個(gè)grid存儲被占據(jù)的概率并通過基于雙目深度測量的光線跟蹤逐步更新。如果占用值超過了一個(gè)閾值狡孔，則該網(wǎng)格將被視為已占用懂诗，并被考慮用于后一個(gè)CRF優(yōu)化
- 為了保持內(nèi)存和計(jì)算效率，占據(jù)地圖保持一個(gè)固定的尺寸并隨著相機(jī)移動（應(yīng)該就是摘要里說的滾動式）
B.顏色和標(biāo)簽融合
- 占據(jù)地圖中還存儲顏色和標(biāo)簽分配 為了后面的CRF優(yōu)化
- 顏色融合直接用不同觀測的平均值
- 標(biāo)簽融合用標(biāo)準(zhǔn)的Bayes準(zhǔn)則：（和占用地圖更新相似）
IV. HIERARCHICAL SEMANTIC MAPPING
