3D視覺(jué)新時(shí)代

隨著2017年蘋(píng)果iPhoneX手機(jī)的發(fā)布哎迄,移動(dòng)端3D人臉識(shí)別技術(shù)一夜成名爬泥,它的登場(chǎng)開(kāi)啟了智能交互的新時(shí)代漱抓。相比于觸控屏手指無(wú)法離開(kāi)屏幕童番、語(yǔ)音識(shí)別應(yīng)用場(chǎng)景存在的局限性,基于3D 視覺(jué)的手勢(shì)/人臉識(shí)別進(jìn)一步解放雙手威鹿,給用戶帶來(lái)了全新的智能人機(jī)交互體驗(yàn)剃斧。

圖片發(fā)自簡(jiǎn)書(shū)App

3D識(shí)別被廣泛看好,前景廣闊忽你。無(wú)論是消費(fèi)級(jí)市場(chǎng)的游戲幼东、娛樂(lè)、交互科雳,還是商業(yè)領(lǐng)域的醫(yī)療根蟹、工業(yè)、安防糟秘、軍事等简逮,都需要豐富的手部動(dòng)作來(lái)參與,因此手勢(shì)識(shí)別具有非常廣泛的應(yīng)用場(chǎng)景尿赚。而人臉識(shí)別在移動(dòng)端身份認(rèn)證散庶、支付交易凌净、權(quán)限登錄悲龟、識(shí)別用戶表情或精神狀態(tài)、自拍快速對(duì)焦冰寻、自拍美顏等方面具有無(wú)限潛力须教。

可以預(yù)見(jiàn)一旦3D視覺(jué)進(jìn)入大規(guī)模普及,將對(duì)現(xiàn)有的消費(fèi)電子產(chǎn)品產(chǎn)生顛覆性的影響斩芭。因此轻腺,包括蘋(píng)果、谷歌划乖、微軟约计、英特爾、索尼迁筛、三星等科技巨頭,均在深度相機(jī)耕挨、體感交互细卧、動(dòng)作捕捉等領(lǐng)域展開(kāi)了深度的布局,或并購(gòu)筒占,或?qū)iT成立研發(fā)團(tuán)隊(duì)贪庙,快速獲得先進(jìn)技術(shù),實(shí)現(xiàn)技術(shù)和專利的儲(chǔ)備翰苫。面對(duì)這一風(fēng)口止邮,誰(shuí)能搶占先機(jī)这橙,誰(shuí)就能分得一塊蛋糕。因此导披,國(guó)內(nèi)產(chǎn)業(yè)鏈紛紛布局屈扎,安卓陣營(yíng)緊跟iPhone X的步伐。


今年5月底撩匕,小米率先推出了首款3D結(jié)構(gòu)光的安卓智能手機(jī)——小米8透明探索版鹰晨,采用了以色列的3D編碼結(jié)構(gòu)光技術(shù)廠商Mantis Vision的方案。緊接著在6月止毕,OPPO也推出了支持3D人臉識(shí)別的新一代旗艦機(jī)——Find X模蜡,這款手機(jī)采用的是類似iPhone X的散斑結(jié)構(gòu)光技術(shù),由國(guó)內(nèi)知名的3D感測(cè)技術(shù)廠商奧比中光提供技術(shù)扁凛,丘鈦提供模組忍疾。而華為發(fā)布的Mate 20 Pro前置的3D結(jié)構(gòu)光模塊,更高精度地實(shí)現(xiàn)了對(duì)于人臉部五官細(xì)節(jié)的重繪谨朝,使得美顏效果更具有立體效果卤妒,而且很大可能手機(jī)會(huì)支持刷臉支付。同時(shí)Mate 20 Pro還可以利用手機(jī)掃描現(xiàn)實(shí)中的物體或人物叠必,然后進(jìn)行3D建模荚孵。預(yù)計(jì)明年上半年,更多搭載有3D人臉識(shí)別的安卓手機(jī)將陸續(xù)亮相纬朝。

我有幸參與到3D成像技術(shù)的研發(fā)收叶,親眼見(jiàn)證一個(gè)團(tuán)隊(duì)白手起家。一年之內(nèi)共苛,從人才招募判没、設(shè)備購(gòu)買,到產(chǎn)線建立隅茎,從概念到生產(chǎn)澄峰,親眼見(jiàn)識(shí)了每一道工藝的真實(shí)面目。從長(zhǎng)三角到珠三角辟犀,多地出差俏竞,當(dāng)面交流,第一現(xiàn)場(chǎng)了解了相關(guān)公司的加工能力堂竟。

原來(lái)一顆小小的3D攝像頭魂毁,背后聚集了如此復(fù)雜的工藝技術(shù),不僅讓我這個(gè)混跡職場(chǎng)八年的工程師大開(kāi)眼界出嘹,就連我那些70后的資深工程師們席楚,也都驚呼這一年的見(jiàn)識(shí)遠(yuǎn)勝于之前多年的工作經(jīng)驗(yàn)。這是與君處一年税稼,勝讀十年書(shū)啊烦秩。

這一路垮斯,從行業(yè)到產(chǎn)品,從產(chǎn)業(yè)鏈到工藝只祠,從理論到實(shí)踐兜蠕,我發(fā)現(xiàn)只要留心深挖,每一處都是寶藏铆农。于是我提筆整理牺氨,從點(diǎn)到面,將理論剖析和實(shí)踐經(jīng)驗(yàn)所獲所感一一記錄下來(lái)墩剖,傾囊分享猴凹。

3D成像的三種主流設(shè)計(jì)方案

說(shuō)到3D成像技術(shù),有必要先了解它的幾種實(shí)現(xiàn)方案岭皂。根據(jù)原理和硬件實(shí)現(xiàn)方式的不同郊霎,行業(yè)內(nèi)所采用的3D機(jī)器視覺(jué)主要有三種:結(jié)構(gòu)光、TOF 時(shí)間光爷绘、雙目立體成像书劝。


圖片發(fā)自簡(jiǎn)書(shū)App


三種主流的方案中,比較成熟的是結(jié)構(gòu)光和TOF時(shí)間光土至。其中結(jié)構(gòu)光方案最為成熟购对,已經(jīng)被成功應(yīng)用于游戲體感交互、工業(yè)機(jī)器視覺(jué)檢測(cè)陶因、智能手機(jī)等領(lǐng)域骡苞,但是極易受到外界光的干擾、響應(yīng)速度較慢楷扬、識(shí)別精度較低解幽;TOF 時(shí)間光方案被廣泛應(yīng)用于醫(yī)療檢測(cè)、機(jī)器人視覺(jué)等領(lǐng)域烘苹,在消費(fèi)電子方面躲株,受到谷歌、意法半導(dǎo)體镣衡、德州儀器霜定、英飛凌等公司的支持;雙目立體成像方案抗環(huán)境光干擾強(qiáng)廊鸥,分辨率高望浩,也是移動(dòng)端可選方案之一,但是技術(shù)較新不夠成熟黍图,目前在機(jī)器人、自動(dòng)駕駛領(lǐng)域應(yīng)用較多奴烙。

1助被、結(jié)構(gòu)光(Structured Light):首先紅外激光發(fā)射器(IR LD)發(fā)射出近紅外光(IR Light)特定圖案(如激光散斑等)剖张,經(jīng)過(guò)物體(如人手或人臉等)的反射之后,形變之后的圖案被紅外圖像傳感器(IR CIS)所接收揩环,經(jīng)過(guò)算法計(jì)算出人手/人臉?biāo)幍奈恢茫╖ 軸)搔弄;同時(shí),可見(jiàn)光圖像傳感器采集二維平面(X與 Y 軸)的人手/人臉信息(Vis Light)丰滑;兩顆圖像傳感器的信息匯總至專用的圖像處理芯片顾犹,從而得到三維數(shù)據(jù),實(shí)現(xiàn)空間定位褒墨。

圖片發(fā)自簡(jiǎn)書(shū)App

2炫刷、TOF(Time Of Flight):通過(guò)持續(xù)的給被測(cè)物體發(fā)送光信號(hào),然后傳感器端接收到回傳的光信號(hào)郁妈,經(jīng)過(guò)計(jì)算發(fā)射和接收光信號(hào)的往返飛行時(shí)間來(lái)得到被測(cè)物體距離的技術(shù)浑玛。

圖片發(fā)自簡(jiǎn)書(shū)App

3、雙目測(cè)距(Stereo System):利用雙攝像頭拍攝物體噩咪,再通過(guò)三角形原理計(jì)算物體距離顾彰。

TOF與結(jié)構(gòu)光的區(qū)別在于對(duì)紅外光的使用方式不同,TOF通過(guò)計(jì)算紅外光發(fā)出光線與返回光線之間的向位移變化換算為位置信息胃碾,而結(jié)構(gòu)光依靠向物體投射一系列光線圖案組合涨享,然后通過(guò)檢測(cè)光線的邊緣來(lái)測(cè)量距離,二者的硬件結(jié)構(gòu)是類似的仆百。二者比較明顯的區(qū)別在于厕隧,在紅外光發(fā)射端,TOF基本不需要使用光學(xué)棱鏡儒旬,而結(jié)構(gòu)光由于需要形成特定的光學(xué)圖案栏账,所以需要添加DOE(衍射光柵)和Lens(光學(xué)棱鏡)。

3D成像不同方案優(yōu)缺點(diǎn)對(duì)比

三種方案的優(yōu)缺點(diǎn)栈源,下面這張表格讓我們一目了然:

圖片發(fā)自簡(jiǎn)書(shū)App

3D 視覺(jué)三種方案各有優(yōu)缺點(diǎn):

雙目立體成像方案軟件算法復(fù)雜挡爵,技術(shù)還不成熟。

結(jié)構(gòu)光方案技術(shù)成熟甚垦,功耗低茶鹃,平面信息分辨率高,但易受光照影響艰亮,識(shí)別距離近闭翩。

TOF方案抗干擾性好,識(shí)別距離遠(yuǎn)迄埃,但是平面分辨率低疗韵,功耗較大。

3D成像硬件構(gòu)成

無(wú)論是結(jié)構(gòu)光方案蕉汪、TOF方案還是雙目立體成像方案流译,主要的硬件包括四部分:紅外光發(fā)射器(IR LD)者疤、紅外光攝像頭(IR CIS)、可見(jiàn)光攝像頭(Vis CIS)驹马、圖像處理芯片,紅外攝像頭需要特制的窄帶濾色片糯累,另外結(jié)構(gòu)光方案還需要在發(fā)射端添加光學(xué)棱鏡與光柵算利,雙目立體像多一顆IR CIS笔时。

圖片發(fā)自簡(jiǎn)書(shū)App

每一部分由哪些構(gòu)成?功能是啥允耿?又涉及哪些工藝和相關(guān)供應(yīng)商呢?問(wèn)得好扒怖,我們下期聊聊。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末盗痒,一起剝皮案震驚了整個(gè)濱河市蚂蕴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌俯邓,老刑警劉巖骡楼,帶你破解...
    沈念sama閱讀 221,576評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異稽鞭,居然都是意外死亡鸟整,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門朦蕴,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)篮条,“玉大人,你說(shuō)我怎么就攤上這事吩抓∩婕耄” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,017評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵疹娶,是天一觀的道長(zhǎng)伴栓。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么钳垮? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,626評(píng)論 1 296
  • 正文 為了忘掉前任除师,我火速辦了婚禮,結(jié)果婚禮上扔枫,老公的妹妹穿的比我還像新娘。我一直安慰自己锹安,他們只是感情好短荐,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,625評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著叹哭,像睡著了一般忍宋。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上风罩,一...
    開(kāi)封第一講書(shū)人閱讀 52,255評(píng)論 1 308
  • 那天糠排,我揣著相機(jī)與錄音,去河邊找鬼超升。 笑死入宦,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的室琢。 我是一名探鬼主播乾闰,決...
    沈念sama閱讀 40,825評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼盈滴!你這毒婦竟也來(lái)了涯肩?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,729評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤巢钓,失蹤者是張志新(化名)和其女友劉穎病苗,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體硫朦,經(jīng)...
    沈念sama閱讀 46,271評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡阵幸,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,363評(píng)論 3 340
  • 正文 我和宋清朗相戀三年挚赊,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了济瓢。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,498評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡夺克,死狀恐怖嚎朽,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情狡门,我是刑警寧澤锅很,帶...
    沈念sama閱讀 36,183評(píng)論 5 350
  • 正文 年R本政府宣布爆安,位于F島的核電站,受9級(jí)特大地震影響褐奥,放射性物質(zhì)發(fā)生泄漏翘簇。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,867評(píng)論 3 333
  • 文/蒙蒙 一耍群、第九天 我趴在偏房一處隱蔽的房頂上張望蹈垢。 院中可真熱鬧袖裕,春花似錦、人聲如沸谤民。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,338評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)哼绑。三九已至碉咆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間茂浮,已是汗流浹背壳咕。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,458評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工囱井, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留庞呕,地道東北人程帕。 一個(gè)月前我還...
    沈念sama閱讀 48,906評(píng)論 3 376
  • 正文 我出身青樓愁拭,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親岭埠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,507評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 堅(jiān)持和不強(qiáng)求 昨晚刷微博看到一段三毛寫(xiě)的話:上天不給我的,無(wú)論我十指怎樣緊扣馆类,仍然走漏;給我的句喜,無(wú)論過(guò)去我怎么失手...
    ZQ鄭閱讀 428評(píng)論 0 2
  • 1.當(dāng)你準(zhǔn)備要睡覺(jué)的前一個(gè)小時(shí)拙绊,告訴自己只要踏入臥室,我就把手機(jī)給留在客廳标沪。 2,晚上不要在手機(jī)上看小說(shuō)金句,電視...
    玲子網(wǎng)絡(luò)科技閱讀 959評(píng)論 0 0
  • 又到了轟轟烈烈的十一了违寞,大家積攢了大半年的能量瞬間爆發(fā)了,在各個(gè)景區(qū)军浆,人頭竄動(dòng)的,就像一場(chǎng)末日的狂歡挡闰,人人就像行走...
    一直在路上的精靈閱讀 213評(píng)論 0 1
  • 依稀記得 門前那一片翠綠的竹林 隨風(fēng)便生出熙熙碎碎的聲響 兒時(shí)的那個(gè)村莊 如今只好像在夢(mèng)中出現(xiàn)過(guò) 一片茫然 然后不...
    清晨六點(diǎn)半的詩(shī)閱讀 396評(píng)論 0 0
  • 文:十七 字?jǐn)?shù):956 01 荔水廣場(chǎng)人來(lái)人往熙熙攘攘赞季。街頭燈火絢爛奢驯,似乎永遠(yuǎn)為每一個(gè)人照亮。 雪莉走在這秋夜的街...
    十七Regina閱讀 405評(píng)論 0 1