姓名：張志文 學號：19021210649
【嵌牛導讀】
3D 點云是一種不規(guī)則且無序的數據類型草讶，傳統(tǒng)的卷積神經網絡難以處理點云數據背亥。來自俄勒岡州立大學機器人技術與智能系統(tǒng)（CoRIS）研究所的研究者提出了 PointConv拨扶，可以高效的對非均勻采樣的 3D 點云數據進行卷積操作葵硕，該方法在多個數據集上實現了優(yōu)秀的性能卖陵。如將 CIFAR-10 數據轉換成點云儡嘶，使用 PointConv 實現例如 AlexNet 和 VGG 結構的網絡，可以達到與傳統(tǒng) CNN 相似的性能芜飘。
【嵌牛鼻子】
點云务豺；卷積
【嵌牛提問】
如何在點云上實現高效卷積操作呢？
【嵌牛正文】
一嗦明、背景
在機器人笼沥、自動駕駛和虛擬/增強現實應用中，直接獲取 3D 數據的傳感器日趨普遍娶牌。由于深度信息可以消除 2D 圖像中的大量分割不確定性（segmentation ambiguity）奔浅，并提供重要的幾何信息，因此具備直接處理 3D 數據的能力在這些應用中非常寶貴诗良。但 3D 數據通常以點云的形式出現乘凸。點云通常由一組無排列順序的 3D 點表示累榜，每個點上具有或不具有附加特征（例如 RGB 信息）灵嫌。由于點云的無序特性，并且其排列方式不同于 2D 圖像中的常規(guī)網格狀像素點寿羞，傳統(tǒng)的 CNN 很難處理這種無序輸入猖凛。
本文提出了一種可以在非均勻采樣的 3D 點云數據上高效進行卷積操作的方法。我們稱這種操作為 PointConv辨泳。PointConv 能夠在 3D 點云上構建多層深度卷積網絡玖院，其功能與 2D CNN 在柵格圖像上的功能類似菠红。但該結構可實現與 2D 卷積網絡相同的平移不變性，以及點云中對點順序的置換不變性难菌。在實驗中试溯，PointConv 可以在分類問題上的效果達到當前最佳水平郊酒，同時键袱，在 3D 點云的語義分割上能夠給出遠超論文提交時的最優(yōu)的分割結果摹闽。為了說明 PointConv 可以實現真正的卷積操作付鹿，我們還在圖像分類數據庫 CIFAR-10 上進行了測試澜汤。實驗表明倘屹，PointConv 能夠達到類似于傳統(tǒng) CNN 的分類精度。
該研究的主要貢獻包括：
- 提出密度重加權卷積操作 PointConv纽匙，它能夠完全近似任意一組 3D 點集上的 3D 連續(xù)卷積烛缔。
- 通過改變求和順序，提出了 PointConv 的高效實現践瓷。
- 將 PointConv 擴展到反卷積（PointDeconv）晕翠，以獲得更好的分割結果。
二淋肾、PointConv
兩個連續(xù)函數 f(x) 和 g(x) 關于一個 d 維向量 x 的卷積操作可以用下式表示：
由于圖像一般以固定的網格狀的矩陣形式存儲樊卓，因此在圖像上，卷積核通常在 3x3浇辜，5x5 的固定網格上實現唾戚。在 CNN 中，不同的鄰域采用同一個卷積核進行卷積膳灶，從而實現平移不變性。由此可見轧钓，圖像上的卷積操作是連續(xù)卷積操作的一種特殊的離散化表示毕箍。
3D 點云數據的表達方式與圖像完全不同。如圖 1 所示而柑，不同于圖像，3D 點云通常由一些 3D 點組成媒咳。3D 點之間沒有前后順序之分，因此顽耳，在 3D 點云上的卷積操作應具有排列不變性妙同，即改變 3D 點集中點順序不應影響卷積結果。此外胰耗，點云上的卷積操作應適應于不同形狀的鄰域芒涡。
為滿足這些要求费尽，在 3D 空間中，可以把連續(xù)卷積算子的權重看作關于一個 3D 參考點的局部坐標的連續(xù)函數。如下式所示：
其中速警，W 和 F 均為連續(xù)函數鸯两，(x, y, z) 是 3D 參考點的坐標，(δx,δy,δz) 表示鄰域 G 中的 3D 點的相對坐標忙灼。(2) 式可以離散化到一個離散的 3D 點云上。同時酸舍，考慮到 3D 點云可能來自于一個不均勻采樣的傳感器里初，為了補償不均勻采樣，我們提出使用逆密度對學到的權重進行加權淮阐。PointConv 可以由下式表示刁品，
其中，S 表示逆密度系數函數状您。連續(xù)函數 W 可以用多層感知器（MLP）近似镀裤。函數 W 的輸入是以 (x, y, z) 為中心的 3D 鄰域內的 3D 點的相對坐標暑劝，輸出是每個點對應的特征 F 的權重。S 是一個關于密度的函數担猛，輸入是每個點的密度傅联，輸出是每個點對應的逆密度系數。這個非線性的函數同樣可以用一個多層感知機近似蒸走。
圖 3 展示了在一個由 K 個 3D 點組成的鄰域上進行 PointConv 的流程比驻。圖中，C_in 和 C_out 表示輸入和輸出的特征的維度狈茉，k, c_in, c_out 表示索引掸掸。對于 PointConv 來說蹭秋，輸入由三部分組成：3D 點的相對坐標 P_local仁讨，密度 Density 和特征 F_in粒督。3D 點的相對坐標 P_local 經過連續(xù)函數 MLP1 之后可以得到對應的每一個點的特征的權重 W；而密度 Density 經過 MLP2 之后得到逆密度系數 S族跛；在得到權重 W, 逆密度系數 S 以及輸入的特征 F 之后锐墙，可以利用下式進行卷積，以得到輸出特征 F_out：
PointConv 通過學習連續(xù)的卷積核函數桐绒，適應了 3D 點云的不規(guī)則的特性之拨，實現了置換不變性蚀乔，使得卷積操作由傳統(tǒng)的圖像擴展到了 3D 點云領域。
三吉挣、高效 PointConv
最初版本的 PointConv 實現起來內存消耗大睬魂、效率低。為了解決這些問題际跪，我們提出了一種新型重構方法喉钢，將 PointConv 簡化為兩個標準操作：矩陣乘法和 2D 卷積。這個新技巧不僅利用了 GPU 的并行計算優(yōu)勢穴肘，還可以通過主流深度學習框架輕松實現舔痕。由于逆密度尺度沒有這樣的內存問題，所以下面的討論主要集中在權重函數 W 上慨代。
1. 內存問題的產生
具體來說啸如，令 B 為訓練階段的 mini-batch 大小，N 為點云中的點數想暗，K 為每個局部區(qū)域的點數帘不，C_in 為輸入通道數，C_out 為輸出通道數储狭。對于點云捣郊，每個局部區(qū)域共享相同的權重函數，這些可以通過 MLP 學習得到刮萌。但不同點處的權重函數計算出的權重是不同的侈净。由 MLP 生成的權重參數張量的尺寸為 B×N×K×(C_in×C_out)畜侦。假設 B = 32，N = 512澎语，K = 32验懊，C_in = 64，C_out = 64减俏，并且權重參數以單精度存儲碱工，一層網絡則需要 8GB 的內存奏夫。如此高的內存消耗將使網絡很難訓練历筝。[31] 使用非常小的網絡和少數的濾波器梳猪，這顯著降低了其性能。
2. 高效的 PointConv
為了解決前面提到的內存問題呛哟，我們提出了一個基于 Lemma 1 的內存高效版 PointConv匿沛，這也是本文最重要的貢獻。
具體的證明可以參考原論文公给。根據 Lemma 1 重新實現 PointConv淌铐，可實現完全相同的卷積操作蔫缸，但大大減少內存消耗。采用 1 中相同的配置吐葱，單層卷積操作的內存占用將由 8G 縮小為 0.1G 左右校翔，變?yōu)樵瓉淼?1/64. 圖 5 展示了高效的 PointConv 卷積操作。
四孟辑、反卷積操作
在分割任務中饲嗽，將信息從粗糙層傳遞到精細層的能力非常重要奈嘿。由于 PointConv 可以實現標準卷積操作，因此將 PointConv 擴展為 PointDeconv 是很順理成章的尽狠。PointDeconv 由兩部分組成：插值和 PointConv。首先，使用一個線性插值算法來得到精細層的特征的初始值盗似，再在精細層上進行一個 PointConv 進行優(yōu)化特征赫舒，從而獲得較高精度的特征值。圖 4 展示了反卷積操作的具體流程心赶。
本文內容為轉載缺猛，版權歸作者所有
