姓名：張志文 學(xué)號(hào)：19021210649
【嵌牛導(dǎo)讀】
PoinNet++是目前提出的最新的處理點(diǎn)云的網(wǎng)絡(luò)結(jié)構(gòu)
【嵌牛鼻子】
PointNet++；點(diǎn)云
【嵌牛提問(wèn)】
什么是PointNet++網(wǎng)絡(luò)匿又？
【嵌牛正文】
簡(jiǎn)介
作者在先前的研究中提出了Pointnet，此論文是Pointnet的改進(jìn)版Pointnet++。提出改進(jìn)的理由是因?yàn)镻ointnet無(wú)法很好地捕捉由度量空間引起的局部結(jié)構(gòu)問(wèn)題筷狼，由此限制了網(wǎng)絡(luò)對(duì)精細(xì)場(chǎng)景的識(shí)別以及對(duì)復(fù)雜場(chǎng)景的泛化能力瓶籽。
Pointnet的基本思想是對(duì)輸入點(diǎn)云中的每一個(gè)點(diǎn)學(xué)習(xí)其對(duì)應(yīng)的空間編碼，之后再利用所有點(diǎn)的特征得到一個(gè)全局的點(diǎn)云特征埂材。這里欠缺了對(duì)局部特征的提取及處理塑顺，比如說(shuō)點(diǎn)云空間中臨近點(diǎn)一般都具有相近的特征，同屬于一個(gè)物體空間中的點(diǎn)的概率也很大俏险，就好比二維圖像中严拒，同一個(gè)物體的像素值都相近一樣。
再者現(xiàn)實(shí)場(chǎng)景中的點(diǎn)云往往是疏密不同的竖独，而Pointnet是基于均勻采樣的點(diǎn)云進(jìn)行訓(xùn)練的裤唠，導(dǎo)致了其在實(shí)際場(chǎng)景點(diǎn)云中的準(zhǔn)確率下降。
Pointnet++就上述提出了改進(jìn)莹痢，解決了兩個(gè)問(wèn)題
1：如何對(duì)點(diǎn)云進(jìn)行局部劃分
2：如何對(duì)點(diǎn)云進(jìn)行局部特征提取
上述兩個(gè)問(wèn)題其實(shí)是相關(guān)聯(lián)的种蘸。
實(shí)現(xiàn)細(xì)節(jié)
層級(jí)點(diǎn)云特征學(xué)習(xí)
點(diǎn)集的特征提取由三部分組成，分別為Sampling layer竞膳、Grouping layer航瞭、Pointnet layer。
Sampling layer
采樣層在輸入點(diǎn)云中選擇一系列點(diǎn)坦辟，由此定義出局部區(qū)域的中心刊侯。采樣算法使用迭代最遠(yuǎn)點(diǎn)采樣方法 iterative farthest point sampling（FPS）。
FPS: 先隨機(jī)選擇一個(gè)點(diǎn)锉走，然后再選擇離這個(gè)點(diǎn)最遠(yuǎn)的點(diǎn)作為起點(diǎn)滨彻，再繼續(xù)迭代藕届，直到選出需要的個(gè)數(shù)為止
相比隨機(jī)采樣，能更完整得通過(guò)區(qū)域中心點(diǎn)采樣到全局點(diǎn)云
Grouping layer
目的是要構(gòu)建局部區(qū)域疮绷，進(jìn)而提取特征翰舌。思想就是利用臨近點(diǎn)，并且論文中使用的是neighborhood ball冬骚，而不是KNN椅贱，是因?yàn)榭梢员ＷC有一個(gè)fixed region scale，主要的指標(biāo)還是距離distance只冻。
Pointnet layer
在如何對(duì)點(diǎn)云進(jìn)行局部特征提取的問(wèn)題上庇麦，利用原有的Pointnet就可以很好的提取點(diǎn)云的特征，由此在Pointnet++中喜德，原先的Pointnet網(wǎng)絡(luò)就成為了Pointnet++網(wǎng)絡(luò)中的子網(wǎng)絡(luò)山橄，層級(jí)迭代提取特征。
點(diǎn)云密度不均勻時(shí)的魯棒特征學(xué)習(xí)
這里作者解決空間中點(diǎn)云的密度不均勻?qū)μ卣鲗W(xué)習(xí)帶來(lái)的挑戰(zhàn)舍悯。提出了兩種grouping的方法航棱，即如何提取不同尺度的局部patterns并按照局部點(diǎn)的密度去組合它們。稱為密度自適應(yīng)層
Multi-scale Grouping
簡(jiǎn)單而有效的方式萌衬，直接對(duì)不同密度的點(diǎn)云特征（通過(guò)Pointnet提取后的）進(jìn)行組合
不同密度的點(diǎn)云是通過(guò)對(duì)輸入點(diǎn)云進(jìn)行不同概率的dropout得到的
問(wèn)題是計(jì)算量比較大
Multi-resolution Grouping
分兩部分饮醇，一部分直接用Pointnet從raw points上提取的特征，另一部分是對(duì)subregion使用 set abstraction得到的特征的集合秕豫。第一部分相當(dāng)于是一個(gè)比較全局的部分朴艰，第二部分相當(dāng)于是一個(gè)比較局部的部分，這里用兩部分可以很好的控制局部區(qū)域的密度混移。當(dāng)局部區(qū)域的密度比較小的時(shí)候祠墅，說(shuō)明局部特征沒(méi)有全局特征可靠，因此可以增加全局特征的權(quán)重歌径。反之也是如此毁嗦。就相當(dāng)于權(quán)重可以在密度的變化之中可以被學(xué)習(xí)到。
Segmentation 部分
在網(wǎng)絡(luò)中輸入不斷被降采樣而在segmentation中l(wèi)abel都是針對(duì)原始點(diǎn)的回铛，相當(dāng)于需要做一個(gè)upsampling的動(dòng)作金矛。作者使用插值的方法再和之前的set abstraction 中的feature 做一個(gè) concatenate，
inverse distance weighted average based on k nearest neighbors
結(jié)論
Pointnet++的結(jié)構(gòu)在3D point clouds上取得了state of art的水平勺届，解決了如何處理采樣不均勻的問(wèn)題驶俊，也考慮了空間中點(diǎn)與點(diǎn)之間的距離度量，通過(guò)層級(jí)結(jié)構(gòu)利用局部區(qū)域信息學(xué)習(xí)特征免姿，網(wǎng)絡(luò)結(jié)構(gòu)更有效更魯棒
本文內(nèi)容為轉(zhuǎn)載饼酿，版權(quán)歸作者所有
