隨著2017年蘋(píng)果iPhoneX手機(jī)的發(fā)布哎迄,移動(dòng)端3D人臉識(shí)別技術(shù)一夜成名爬泥,它的登場(chǎng)開(kāi)啟了智能交互的新時(shí)代漱抓。相比于觸控屏手指無(wú)法離開(kāi)屏幕童番、語(yǔ)音識(shí)別應(yīng)用場(chǎng)景存在的局限性,基于3D 視覺(jué)的手勢(shì)/人臉識(shí)別進(jìn)一步解放雙手威鹿,給用戶帶來(lái)了全新的智能人機(jī)交互體驗(yàn)剃斧。
3D識(shí)別被廣泛看好,前景廣闊忽你。無(wú)論是消費(fèi)級(jí)市場(chǎng)的游戲幼东、娛樂(lè)、交互科雳,還是商業(yè)領(lǐng)域的醫(yī)療根蟹、工業(yè)、安防糟秘、軍事等简逮,都需要豐富的手部動(dòng)作來(lái)參與,因此手勢(shì)識(shí)別具有非常廣泛的應(yīng)用場(chǎng)景尿赚。而人臉識(shí)別在移動(dòng)端身份認(rèn)證散庶、支付交易凌净、權(quán)限登錄悲龟、識(shí)別用戶表情或精神狀態(tài)、自拍快速對(duì)焦冰寻、自拍美顏等方面具有無(wú)限潛力须教。
可以預(yù)見(jiàn)一旦3D視覺(jué)進(jìn)入大規(guī)模普及,將對(duì)現(xiàn)有的消費(fèi)電子產(chǎn)品產(chǎn)生顛覆性的影響斩芭。因此轻腺,包括蘋(píng)果、谷歌划乖、微軟约计、英特爾、索尼迁筛、三星等科技巨頭,均在深度相機(jī)耕挨、體感交互细卧、動(dòng)作捕捉等領(lǐng)域展開(kāi)了深度的布局,或并購(gòu)筒占,或?qū)iT成立研發(fā)團(tuán)隊(duì)贪庙,快速獲得先進(jìn)技術(shù),實(shí)現(xiàn)技術(shù)和專利的儲(chǔ)備翰苫。面對(duì)這一風(fēng)口止邮,誰(shuí)能搶占先機(jī)这橙,誰(shuí)就能分得一塊蛋糕。因此导披,國(guó)內(nèi)產(chǎn)業(yè)鏈紛紛布局屈扎,安卓陣營(yíng)緊跟iPhone X的步伐。
今年5月底撩匕,小米率先推出了首款3D結(jié)構(gòu)光的安卓智能手機(jī)——小米8透明探索版鹰晨,采用了以色列的3D編碼結(jié)構(gòu)光技術(shù)廠商Mantis Vision的方案。緊接著在6月止毕,OPPO也推出了支持3D人臉識(shí)別的新一代旗艦機(jī)——Find X模蜡,這款手機(jī)采用的是類似iPhone X的散斑結(jié)構(gòu)光技術(shù),由國(guó)內(nèi)知名的3D感測(cè)技術(shù)廠商奧比中光提供技術(shù)扁凛,丘鈦提供模組忍疾。而華為發(fā)布的Mate 20 Pro前置的3D結(jié)構(gòu)光模塊,更高精度地實(shí)現(xiàn)了對(duì)于人臉部五官細(xì)節(jié)的重繪谨朝,使得美顏效果更具有立體效果卤妒,而且很大可能手機(jī)會(huì)支持刷臉支付。同時(shí)Mate 20 Pro還可以利用手機(jī)掃描現(xiàn)實(shí)中的物體或人物叠必,然后進(jìn)行3D建模荚孵。預(yù)計(jì)明年上半年,更多搭載有3D人臉識(shí)別的安卓手機(jī)將陸續(xù)亮相纬朝。
我有幸參與到3D成像技術(shù)的研發(fā)收叶,親眼見(jiàn)證一個(gè)團(tuán)隊(duì)白手起家。一年之內(nèi)共苛,從人才招募判没、設(shè)備購(gòu)買,到產(chǎn)線建立隅茎,從概念到生產(chǎn)澄峰,親眼見(jiàn)識(shí)了每一道工藝的真實(shí)面目。從長(zhǎng)三角到珠三角辟犀,多地出差俏竞,當(dāng)面交流,第一現(xiàn)場(chǎng)了解了相關(guān)公司的加工能力堂竟。
原來(lái)一顆小小的3D攝像頭魂毁,背后聚集了如此復(fù)雜的工藝技術(shù),不僅讓我這個(gè)混跡職場(chǎng)八年的工程師大開(kāi)眼界出嘹,就連我那些70后的資深工程師們席楚,也都驚呼這一年的見(jiàn)識(shí)遠(yuǎn)勝于之前多年的工作經(jīng)驗(yàn)。這是與君處一年税稼,勝讀十年書(shū)啊烦秩。
這一路垮斯,從行業(yè)到產(chǎn)品,從產(chǎn)業(yè)鏈到工藝只祠,從理論到實(shí)踐兜蠕,我發(fā)現(xiàn)只要留心深挖,每一處都是寶藏铆农。于是我提筆整理牺氨,從點(diǎn)到面,將理論剖析和實(shí)踐經(jīng)驗(yàn)所獲所感一一記錄下來(lái)墩剖,傾囊分享猴凹。
3D成像的三種主流設(shè)計(jì)方案
說(shuō)到3D成像技術(shù),有必要先了解它的幾種實(shí)現(xiàn)方案岭皂。根據(jù)原理和硬件實(shí)現(xiàn)方式的不同郊霎,行業(yè)內(nèi)所采用的3D機(jī)器視覺(jué)主要有三種:結(jié)構(gòu)光、TOF 時(shí)間光爷绘、雙目立體成像书劝。
三種主流的方案中,比較成熟的是結(jié)構(gòu)光和TOF時(shí)間光土至。其中結(jié)構(gòu)光方案最為成熟购对,已經(jīng)被成功應(yīng)用于游戲體感交互、工業(yè)機(jī)器視覺(jué)檢測(cè)陶因、智能手機(jī)等領(lǐng)域骡苞,但是極易受到外界光的干擾、響應(yīng)速度較慢楷扬、識(shí)別精度較低解幽;TOF 時(shí)間光方案被廣泛應(yīng)用于醫(yī)療檢測(cè)、機(jī)器人視覺(jué)等領(lǐng)域烘苹,在消費(fèi)電子方面躲株,受到谷歌、意法半導(dǎo)體镣衡、德州儀器霜定、英飛凌等公司的支持;雙目立體成像方案抗環(huán)境光干擾強(qiáng)廊鸥,分辨率高望浩,也是移動(dòng)端可選方案之一,但是技術(shù)較新不夠成熟黍图,目前在機(jī)器人、自動(dòng)駕駛領(lǐng)域應(yīng)用較多奴烙。
1助被、結(jié)構(gòu)光(Structured Light):首先紅外激光發(fā)射器(IR LD)發(fā)射出近紅外光(IR Light)特定圖案(如激光散斑等)剖张,經(jīng)過(guò)物體(如人手或人臉等)的反射之后,形變之后的圖案被紅外圖像傳感器(IR CIS)所接收揩环,經(jīng)過(guò)算法計(jì)算出人手/人臉?biāo)幍奈恢茫╖ 軸)搔弄;同時(shí),可見(jiàn)光圖像傳感器采集二維平面(X與 Y 軸)的人手/人臉信息(Vis Light)丰滑;兩顆圖像傳感器的信息匯總至專用的圖像處理芯片顾犹,從而得到三維數(shù)據(jù),實(shí)現(xiàn)空間定位褒墨。
2炫刷、TOF(Time Of Flight):通過(guò)持續(xù)的給被測(cè)物體發(fā)送光信號(hào),然后傳感器端接收到回傳的光信號(hào)郁妈,經(jīng)過(guò)計(jì)算發(fā)射和接收光信號(hào)的往返飛行時(shí)間來(lái)得到被測(cè)物體距離的技術(shù)浑玛。
3、雙目測(cè)距(Stereo System):利用雙攝像頭拍攝物體噩咪,再通過(guò)三角形原理計(jì)算物體距離顾彰。
TOF與結(jié)構(gòu)光的區(qū)別在于對(duì)紅外光的使用方式不同,TOF通過(guò)計(jì)算紅外光發(fā)出光線與返回光線之間的向位移變化換算為位置信息胃碾,而結(jié)構(gòu)光依靠向物體投射一系列光線圖案組合涨享,然后通過(guò)檢測(cè)光線的邊緣來(lái)測(cè)量距離,二者的硬件結(jié)構(gòu)是類似的仆百。二者比較明顯的區(qū)別在于厕隧,在紅外光發(fā)射端,TOF基本不需要使用光學(xué)棱鏡儒旬,而結(jié)構(gòu)光由于需要形成特定的光學(xué)圖案栏账,所以需要添加DOE(衍射光柵)和Lens(光學(xué)棱鏡)。
3D成像不同方案優(yōu)缺點(diǎn)對(duì)比
三種方案的優(yōu)缺點(diǎn)栈源,下面這張表格讓我們一目了然:
3D 視覺(jué)三種方案各有優(yōu)缺點(diǎn):
雙目立體成像方案軟件算法復(fù)雜挡爵,技術(shù)還不成熟。
結(jié)構(gòu)光方案技術(shù)成熟甚垦,功耗低茶鹃,平面信息分辨率高,但易受光照影響艰亮,識(shí)別距離近闭翩。
TOF方案抗干擾性好,識(shí)別距離遠(yuǎn)迄埃,但是平面分辨率低疗韵,功耗較大。
3D成像硬件構(gòu)成
無(wú)論是結(jié)構(gòu)光方案蕉汪、TOF方案還是雙目立體成像方案流译,主要的硬件包括四部分:紅外光發(fā)射器(IR LD)者疤、紅外光攝像頭(IR CIS)、可見(jiàn)光攝像頭(Vis CIS)驹马、圖像處理芯片,紅外攝像頭需要特制的窄帶濾色片糯累,另外結(jié)構(gòu)光方案還需要在發(fā)射端添加光學(xué)棱鏡與光柵算利,雙目立體像多一顆IR CIS笔时。
每一部分由哪些構(gòu)成?功能是啥允耿?又涉及哪些工藝和相關(guān)供應(yīng)商呢?問(wèn)得好扒怖,我們下期聊聊。