《PointNet:Depp Learning on Points Sets for 3D Classification and Segmentation》一文是點(diǎn)云作為輸入進(jìn)行神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的開(kāi)山之作航攒,在如今有關(guān)點(diǎn)云深度學(xué)習(xí)的研究中占據(jù)半壁江山,其以及其改進(jìn)版本常被用于特征提取器應(yīng)用于各個(gè)方向睁冬。
眾所周知,點(diǎn)云是具有無(wú)序性的轻猖。所以希望我們無(wú)論點(diǎn)云的輸入順序如何變換景埃,深度學(xué)習(xí)模型的輸出結(jié)果都是一致的,在以往的點(diǎn)云神經(jīng)網(wǎng)絡(luò)中為了達(dá)到這一點(diǎn)常使用3D變2D今膊,體素化等操作使得無(wú)序的點(diǎn)云變得具有拓?fù)鋵傩裕M(jìn)而達(dá)到這一目標(biāo)伞剑。
PointNet的最大貢獻(xiàn)就是無(wú)需對(duì)點(diǎn)云作變換斑唬,可以使得無(wú)序的點(diǎn)云直接輸入至神經(jīng)網(wǎng)絡(luò)中。其實(shí)現(xiàn)的手段非常的簡(jiǎn)單,但卻非常的有用--maxpooling恕刘。
最大池化顧名思義缤谎,就是取一串特征中最大的那個(gè),如下圖所示:
對(duì)于一個(gè)輸入的無(wú)序點(diǎn)云雪营,對(duì)其進(jìn)行最大池化弓千,取得x,y,z特征中最大的特征作為最后的輸出,這樣無(wú)論輸入如何變換献起,都可以保證輸出的一致性。當(dāng)然在一開(kāi)始就用最大池化的必然會(huì)造成信息丟失镣陕,所以需要先通過(guò)多層感知機(jī)將其映射到更高維的特征空間再進(jìn)行池化谴餐。
至此,PointNet網(wǎng)絡(luò)中最重要的思想部分已經(jīng)解釋完成了呆抑。PointNet的結(jié)構(gòu)非常簡(jiǎn)單岂嗓,是非常典型的encoder-decoder結(jié)構(gòu)。encoer首先通過(guò)多層感知機(jī)進(jìn)行特征加深鹊碍,然后利用最大池化提取全局特征厌殉。decoder部分也很中規(guī)中矩,主要是通過(guò)反卷積完成的侈咕。
細(xì)心的伙伴看結(jié)構(gòu)圖就會(huì)發(fā)現(xiàn)了公罕,其中有一個(gè)T-net我沒(méi)有講。
T-Net 加入在網(wǎng)絡(luò)的目的大概是為了讓不同姿態(tài)輸入的點(diǎn)云不影響最后結(jié)果耀销,時(shí)間太久記不清了楼眷,但是無(wú)需介意!P芪尽罐柳!因?yàn)樵谕瑘F(tuán)隊(duì)的后一篇文章PointNet++中自己否定了T-net,認(rèn)為T(mén)-net加不加對(duì)最后的結(jié)果沒(méi)有影響狰住。