二維攝像 + 三維重建法 = 深度視覺(jué)攝像
二維攝像
-
結(jié)構(gòu)光方案
-
優(yōu)點(diǎn)：
- 技術(shù)成熟残吩，深度圖像分辨率可以做得比較高劲件；
- 價(jià)格低廉锣枝。
-
缺點(diǎn)：
- 容易受光照影響唇撬，室外環(huán)境及夜間環(huán)境基本不能使用;
- 無(wú)法得到深度信息墩弯。
-
三維重建法
-
探針?lè)?/p>
- 時(shí)期：早期采用的
- 特點(diǎn)：簡(jiǎn)單粗暴
- 原理：直接手拿定位探針吩跋，在物體表面移動(dòng)，一個(gè)點(diǎn)一個(gè)點(diǎn)地測(cè)坐標(biāo)
-
直接測(cè)距法
- 超聲波法
- 原理：使用特定的人造聲源渔工，對(duì)物體表面逐點(diǎn)用聲程差來(lái)測(cè)距
- TOF法
全稱：Time of flight锌钮，即飛行時(shí)間法
原理：采用主動(dòng)光探測(cè)方式，使用特定的人造光源（如紅外線）引矩，通過(guò)入梁丘、反射光探測(cè)，對(duì)物體表面逐點(diǎn)用光程差來(lái)測(cè)距
-
運(yùn)用：
- 物流行業(yè)：通過(guò) TOF 相機(jī)迅速獲得包裹的拋重（即體積）旺韭，來(lái)優(yōu)化裝箱和進(jìn)行運(yùn)費(fèi)評(píng)估
- 安防和監(jiān)控：進(jìn)行 Peoplecounting 確定進(jìn)入人數(shù)不超過(guò)上限氛谜；通過(guò)對(duì)人流或復(fù)雜交通系統(tǒng)的counting，實(shí)現(xiàn)對(duì)安防系統(tǒng)的統(tǒng)計(jì)分析設(shè)計(jì)区端；敏感地區(qū)的檢測(cè)對(duì)象監(jiān)視值漫；機(jī)器視覺(jué)：工業(yè)定位、工業(yè)引導(dǎo)和體積預(yù)估织盼；替代工位上占用大量空間的杨何、基于紅外光進(jìn)行安全生產(chǎn)控制的設(shè)備；
- 機(jī)器人：在自動(dòng)駕駛領(lǐng)域提供更好的避障信息沥邻；機(jī)器人在安裝危虱、質(zhì)量控制、原料揀選應(yīng)用上的引導(dǎo)谋国；
- 醫(yī)療和生物：足部矯形建模槽地、病人活動(dòng)/狀態(tài)監(jiān)控、手術(shù)輔助芦瘾、面部3D 識(shí)別捌蚊；
- 互動(dòng)娛樂(lè)：動(dòng)作姿勢(shì)探測(cè)、表情識(shí)別近弟、娛樂(lè)廣告
-
優(yōu)點(diǎn)：
- 視角更寬缅糟；
- TOF相機(jī)體積小巧，跟一般相機(jī)大小相去無(wú)幾祷愉，非常適合于一些需要輕便窗宦、小體積相機(jī)的場(chǎng)合赦颇；
- TOF相機(jī)能夠?qū)崟r(shí)快速的計(jì)算深度信息，達(dá)到幾十到100fps赴涵；
- TOF的深度計(jì)算不受物體表面灰度和特征影響媒怯，可以非常準(zhǔn)確的進(jìn)行三維探測(cè)；
- 深度計(jì)算精度不隨距離改變而變化髓窜，基本能穩(wěn)定在cm級(jí)扇苞，這對(duì)于一些大范圍運(yùn)動(dòng)的應(yīng)用場(chǎng)合非常有意義。
-
缺點(diǎn)：
- 深度圖像分辨率較低寄纵，做一些簡(jiǎn)單的避障和視覺(jué)導(dǎo)航可以用鳖敷，但是要求精度高些的場(chǎng)景就不行；
- 測(cè)量距離較常規(guī)測(cè)量?jī)x器短程拭，一般不超過(guò) 10 米定踱；
- 測(cè)量結(jié)果受被測(cè)物性質(zhì)的影響；
- 大多數(shù)機(jī)器的測(cè)量結(jié)果受外界環(huán)境干擾較為明顯恃鞋，尤其是受外界光源擾,所以常只用于室內(nèi)崖媚；
- 系統(tǒng)誤差及隨機(jī)誤差對(duì)結(jié)果影響明顯，需要進(jìn)行后期數(shù)據(jù)處理恤浪；
- 由于傳感器芯片并不成熟至扰，成本很高，實(shí)現(xiàn)量產(chǎn)困難资锰。
- 超聲波法
-
雙目視覺(jué)法
原理：通過(guò)左右立體像對(duì)匹配后，再經(jīng)過(guò)三角測(cè)量法來(lái)進(jìn)行立體探測(cè)（兩角夾一邊 -> 確定一個(gè)三角形 -> 該三角形的高即為影像點(diǎn)的深度）
運(yùn)用：大疆無(wú)人機(jī)用其實(shí)現(xiàn)其無(wú)人機(jī)避障功能
-
優(yōu)點(diǎn)：
- 純雙目只需使用兩顆普通PRG攝像頭阶祭，并不涉及光學(xué)系統(tǒng)绷杜，成本低；
- 測(cè)量距離長(zhǎng)濒募。
-
缺點(diǎn)：
- 需要目標(biāo)具有良好的特征變化鞭盟，否則會(huì)無(wú)法進(jìn)行深度計(jì)算。
- 雙RGB攝像頭的純雙目攝像機(jī)瑰剃，繼承了普通RGB攝像頭的缺點(diǎn)：在昏暗環(huán)境下以及特征不明顯的情況下并不適用齿诉；
- 雙目立體相機(jī)需要用到的算法復(fù)雜度高，難度很大晌姚，處理芯片需要很高的計(jì)算性能粤剧，處理速度較慢；
- 雙目相機(jī)體積較大挥唠。
-
SFM法
- 全稱：Structure from Motion
- 原理：輸入是一段motion或者一時(shí)間系列的2D圖群抵恋，這里不需要任何相機(jī)的信息。在2D圖之間找到了匹配的地方宝磨，可以推斷出相機(jī)的各項(xiàng)參數(shù)弧关，從時(shí)間系列的2D圖像中推算3D信息盅安，通過(guò)匹配點(diǎn)之間的視差得到相對(duì)的深度信息。
- 運(yùn)用：“一日之內(nèi)建好羅馬”項(xiàng)目
綜述——深度視覺(jué)攝像
國(guó)內(nèi)三大主流深度攝像頭方案
-
(單目)結(jié)構(gòu)光
- 傳統(tǒng)攝像機(jī)
-
雙目視覺(jué)(雙目可見(jiàn)光/雙目RGB)
- 雙目攝像機(jī)
-
TOF飛行時(shí)間法
- 體感攝像機(jī)
三種主流深度檢測(cè)技術(shù)比較
一些具體運(yùn)用的demo
雙目攝像機(jī)用于垂直高度過(guò)濾技術(shù)：
既能準(zhǔn)確計(jì)算進(jìn)出人數(shù)世囊，又能有效過(guò)濾掉干擾物體（如推車(chē)别瞭、行李箱、人員徘徊株憾、擁擠及軀體重疊蝙寨、人員經(jīng)過(guò)未進(jìn)入等，另外用戶也需要有特殊應(yīng)用号胚，比如身高低于1.2米的兒童進(jìn)出不計(jì)數(shù)等）籽慢，使得客流統(tǒng)計(jì)準(zhǔn)確率號(hào)稱可以達(dá)到97%以上。
雙目立體視覺(jué)技術(shù)利用雙攝像頭攝取兩幅圖像的視差猫胁，構(gòu)建三維場(chǎng)景箱亿，在檢測(cè)到目標(biāo)后，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間位置偏差弃秆，獲取目標(biāo)的三維信息届惋，并能以三維立體視角精確區(qū)分行人和干擾物體，如推車(chē)菠赚、行李箱脑豹。
體感攝像機(jī)用于深度檢測(cè)：
以“直方圖”效果展示：
越近，則對(duì)應(yīng)的像素點(diǎn)黃色程度越亮衡查；越遠(yuǎn)瘩欺，則對(duì)應(yīng)的像素點(diǎn)黃色程度越暗。
以“熱度圖”效果展示：
從近到遠(yuǎn)拌牲，對(duì)應(yīng)的像素點(diǎn)顏色變化為： 紫 -> 紅 -> 橙 -> 黃 -> 綠 -> 藍(lán)
以“灰度圖”效果展示：
越近俱饿，則對(duì)應(yīng)的像素點(diǎn)越暗；越遠(yuǎn)塌忽，則對(duì)應(yīng)的像素點(diǎn)越白亮拍埠。
