三維計算視覺研究內(nèi)容包括:
(1)三維匹配:兩幀或者多幀點云數(shù)據(jù)之間的匹配附井,因為激光掃描光束受物體遮擋的原因,不可能通過一次掃描完成對整個物體的三維點云的獲取瘩扼。因此需要從不同的位置和角度對物體進(jìn)行掃描炉奴。三維匹配的目的就是把相鄰掃描的點云數(shù)據(jù)拼接在一起。三維匹配重點關(guān)注匹配算法宵晚,常用的算法有最近點迭代算法 ICP和各種全局匹配算法垂攘。
(2)多視圖三維重建:計算機(jī)視覺中多視圖一般利用圖像信息,考慮多視幾何的一些約束淤刃,相關(guān)研究目前很火晒他,射影幾何和多視圖幾何是視覺方法的基礎(chǔ)。在攝影測量中類似的存在共線方程逸贾,光束平差法等研究陨仅。這里也將點云的多視匹配放在這里,比如人體的三維重建铝侵,點云的多視重建不僅強(qiáng)調(diào)逐幀的匹配灼伤,還需要考慮不同角度觀測產(chǎn)生誤差累積,因此也存在一個優(yōu)化或者平差的過程在里面咪鲜。通常是通過觀測形成閉環(huán)進(jìn)行整體平差實現(xiàn)狐赡,多視圖重建強(qiáng)調(diào)整體優(yōu)化∨北可以只使用圖像猾警,或者點云,也可以兩者結(jié)合(深度圖像)實現(xiàn)隆敢。重建的結(jié)果通常是Mesh網(wǎng)格。
(3)3D SLAM:點云匹配(最近點迭代算法 ICP崔慧、正態(tài)分布變換方法 NDT)+位姿圖優(yōu)化(g2o拂蝎、LUM、ELCH惶室、Toro温自、SPA);實時3D SLAM算法 (LOAM)皇钞;Kalman濾波方法悼泌。3D SLAM通常產(chǎn)生3D點云,或者Octree Map夹界」堇铮基于視覺(單目、雙目可柿、魚眼相機(jī)鸠踪、深度相機(jī))方法的SLAM,比如orbSLAM复斥,lsdSLAM...
(4)目標(biāo)識別:無人駕駛汽車中基于激光數(shù)據(jù)檢測場景中的行人营密、汽車、自行車目锭、以及道路和道路附屬設(shè)施(行道樹评汰、路燈纷捞、斑馬線等)。
(5)形狀檢測與分類:點云技術(shù)在逆向工程中有很普遍的應(yīng)用被去。構(gòu)建大量的幾何模型之后主儡,如何有效的管理,檢索是一個很困難的問題编振。需要對點云(Mesh)模型進(jìn)行特征描述缀辩,分類。根據(jù)模型的特征信息進(jìn)行模型的檢索踪央。同時包括如何從場景中檢索某類特定的物體臀玄,這類方法關(guān)注的重點是模型。
(6)語義分類:獲取場景點云之后畅蹂,如何有效的利用點云信息健无,如何理解點云場景的內(nèi)容,進(jìn)行點云的分類很有必要液斜,需要為每個點云進(jìn)行Labeling累贤。可以分為基于點的方法少漆,基于分割的分類方法臼膏。從方法上可以分為基于監(jiān)督分類的技術(shù)或者非監(jiān)督分類技術(shù),深度學(xué)習(xí)也是一個很有希望應(yīng)用的技術(shù)示损。
(7)立體視覺與立體匹配?ZNCC
(8)SFM(運動恢復(fù)結(jié)構(gòu))
1渗磅、點云濾波方法(數(shù)據(jù)預(yù)處理):
雙邊濾波、高斯濾波检访、條件濾波始鱼、直通濾波、隨機(jī)采樣一致性濾波脆贵。
VoxelGrid
2医清、關(guān)鍵點
ISS3D、Harris3D卖氨、NARF
SIFT3D会烙、
3、特征和特征描述
法線和曲率計算NormalEstimation双泪、特征值分析Eigen-Analysis持搜、EGI
PFH、FPFH焙矛、3D Shape Context葫盼、Spin Image
4、點云匹配
ICP村斟、穩(wěn)健ICP贫导、point to plane ICP抛猫、Point to line ICP、MBICP孩灯、GICP
NDT 3D闺金、Multil-Layer NDT
FPCS、KFPCS峰档、SAC-IA
Line Segment Matching败匹、ICL
5、點云分割與分類
分割:區(qū)域生長讥巡、Ransac線面提取掀亩、NDT-RANSAC、
K-Means欢顷、Normalize Cut(Context based)
3D Hough Transform(線槽棍、面提取)、連通分析抬驴、
分類:基于點的分類炼七,基于分割的分類;監(jiān)督分類與非監(jiān)督分類
6布持、SLAM圖優(yōu)化
g2o豌拙、LUM、ELCH题暖、Toro姆蘸、SPA
SLAM方法:ICP、MBICP芙委、IDC、likehood Field狂秦、Cross?Correlation灌侣、NDT
7、目標(biāo)識別裂问、檢索
Hausdorff距離計算(人臉識別)
8侧啼、變化檢測
基于八叉樹的變化檢測
9. 三維重建
泊松重建、Delaunay triangulations
表面重建堪簿,人體重建痊乾,建筑物重建,樹木重建椭更。
實時重建:重建植被或者農(nóng)作物的4D(3D+時間)生長態(tài)勢哪审;人體姿勢識別;表情識別虑瀑;
10.點云數(shù)據(jù)管理
點云壓縮湿滓,點云索引(KD滴须、Octree),點云LOD(金字塔)叽奥,海量點云的渲染
點云驅(qū)動的計算機(jī)圖形學(xué)主要研究應(yīng)用