摘要
- 基于PointNet++捣作，直接處理3D點(diǎn)云數(shù)據(jù)預(yù)測輸出3D手勢
關(guān)鍵
-
PointNet++
接受深度圖作為輸入慰安，轉(zhuǎn)換為點(diǎn)云，并下采樣為N個點(diǎn)。每個點(diǎn)取坐標(biāo)值和曲面法線向量作為初始特征輸入蔓钟，
,使用PointNet++提取特征
-
Oriented Bounding Box(OBB) 歸一化視角
OBB是一個緊貼輸入點(diǎn)云的邊界框蕴轨，OBB的方向由點(diǎn)云的PCA主成分分析得到(根據(jù)特征值降序排序)
為p在攝像機(jī)坐標(biāo)系下的坐標(biāo)词爬，
為OBB歸一化后的坐標(biāo)镐躲，
為3D旋轉(zhuǎn)矩陣，
為形心坐標(biāo)岖常，
為邊界框的最大邊長驯镊。
所以，為最終的歸一化坐標(biāo)
手勢回歸網(wǎng)絡(luò)
-
降維表示(瓶頸層)即增加幾何約束
使用PointNet++提取1024維全局特征向量，通過三層全連接層映射為F-dim(降維表示即增加約束)
-
參考DeepPrior網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計預(yù)測網(wǎng)絡(luò)阿宅，損失函數(shù)為
-
即點(diǎn)云降維后的特征向量候衍。
為歸一化后的真值，
為PointNet++,將真值經(jīng)PointNet++網(wǎng)絡(luò)提取特征降維與
在訓(xùn)練階段
其中
為最終的歸一化坐標(biāo)值洒放，
基于訓(xùn)練集的主成分蛉鹿，
為均值
在測試階段
所以
即得到最終預(yù)測的攝像機(jī)坐標(biāo)
第二項為
正則化項
-
指尖修正網(wǎng)絡(luò)
選取初始預(yù)測點(diǎn)的k-近鄰點(diǎn)作為輸入，歸一化輸入到PointNet++修正3D位置往湿。
