一文帶你深度透析AR眼鏡的工作原理(上)

寫(xiě)在前面

最近幾年互聯(lián)網(wǎng)的發(fā)展蓄氧,相信大家對(duì)AR也不能并不陌生了函似,并且國(guó)內(nèi)市場(chǎng)的AR眼鏡廠商魚(yú)龍混雜,真正成熟的可應(yīng)用于真實(shí)場(chǎng)景的AR眼鏡設(shè)備少之又少喉童;

可能你會(huì)提問(wèn)撇寞,為什么可用的AR眼鏡少之又少?

來(lái)來(lái)來(lái)泄朴,接下來(lái)讓你像你了解手機(jī)一樣認(rèn)識(shí)下AR眼鏡的技術(shù)構(gòu)造重抖。

在了解AR眼鏡之前,你得先知道什么是“增強(qiáng)現(xiàn)實(shí)”祖灰。

增強(qiáng)現(xiàn)實(shí),用很官方的語(yǔ)言就是:真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到了同一個(gè)畫(huà)面或空間同時(shí)存在畔规。讀完這句話你可能會(huì)想象到之前看到的科幻電影里的情景局扶,其實(shí)差不多是那個(gè)意思。再來(lái)一張草圖你可能會(huì)更清楚。

按照我的官方描述就是:你帶上AR眼鏡不僅能看到虛擬物體三妈,也能看到你周?chē)恼鎸?shí)環(huán)境畜埋。

好了,了解完什么是增強(qiáng)現(xiàn)實(shí)畴蒲,我們就可以真正去打開(kāi)AR眼鏡的知識(shí)世界了悠鞍。

先來(lái)個(gè)AR眼鏡的構(gòu)造圖,想必會(huì)讓你從整體上對(duì)AR眼鏡有個(gè)初步的定位模燥。

AR眼鏡的構(gòu)造

AR眼鏡主要分為四大模塊:攝像頭咖祭、CPU處理中心、光學(xué)模組蔫骂、架托么翰;

攝像頭

AR眼鏡上一般會(huì)存在多個(gè)攝像頭,并且每個(gè)攝像頭之間的分工是不一樣的辽旋,主要功能有三方面浩嫌,一是用于提供基于視覺(jué)的跟蹤定位(SLAM)的圖像采集,二是進(jìn)行交互手勢(shì)識(shí)別补胚,三是日常的拍照和錄像码耐;

這里重點(diǎn)講解下什么是SLAM,大家百度之后的官方解說(shuō)是“即時(shí)定位與地圖構(gòu)建溶其,或并發(fā)建圖與定位”骚腥,SLAM應(yīng)用的場(chǎng)景有很多,比如自動(dòng)駕駛握联、AR/VR桦沉、機(jī)器人、三維重建等金闽;其框架主要分為:

其工作流程大致為

傳感器讀取數(shù)據(jù)后纯露,視覺(jué)里程計(jì)估計(jì)兩個(gè)時(shí)刻的相對(duì)運(yùn)動(dòng)(Ego-motion),后端處理視覺(jué)里程計(jì)估計(jì)結(jié)果的累積誤差代芜,建圖則根據(jù)前端與后端得到的運(yùn)動(dòng)軌跡來(lái)建立地圖埠褪,回環(huán)檢測(cè)考慮了同一場(chǎng)景不同時(shí)刻的圖像,提供了空間上約束來(lái)消除累積誤差挤庇。

那么SLAM在AR眼鏡中怎么工作的呢钞速?首先是通過(guò)深度攝像頭將你視角內(nèi)的環(huán)境傳遞給AR眼鏡,SLAM通過(guò)圖像識(shí)別嫡秕、定位分析與AI計(jì)算渴语,將當(dāng)前環(huán)境進(jìn)行三維重建,構(gòu)造一個(gè)三維真實(shí)世界昆咽,以增強(qiáng)AR眼鏡對(duì)現(xiàn)實(shí)環(huán)境中相互作用的理解能力驾凶,為AR眼鏡賦予了復(fù)雜環(huán)境感知力和動(dòng)態(tài)場(chǎng)景適應(yīng)力牙甫。再明白點(diǎn)就是,你知道這個(gè)是堵墻调违,不能過(guò)去窟哺,AR眼鏡也知道這個(gè)物體不能穿透過(guò)去。

關(guān)于SLAM更深層的技術(shù)實(shí)現(xiàn)問(wèn)題技肩,就比較深入了且轨,涉及各種算法,在這里就不詳細(xì)敘述了虚婿,大家可以自行百度了解旋奢。

核心交互

手勢(shì)交互、語(yǔ)音交互雳锋、眼球追蹤等黄绩,裸手交互有望成為AR的核心交互方式之一,微軟的HoloLens2玷过,已經(jīng)實(shí)現(xiàn)了裸手交互爽丹,但是國(guó)內(nèi)AR眼鏡普遍采用的還是隔空敲物的交互方式,通過(guò)識(shí)別指定的手勢(shì)對(duì)眼前的虛擬物體進(jìn)行交互操作辛蚊,目前市場(chǎng)上AR眼鏡最常用的手勢(shì)為兩種分別是確定和返回兩個(gè)手勢(shì)粤蝎;這也是AR眼鏡解放雙手的優(yōu)勢(shì)所在。


確定手勢(shì)??

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 返回手勢(shì)

CPU處理大腦

作為AR眼鏡的大腦所處理的圖像和數(shù)據(jù)分為以下幾個(gè)方面:

(1)AI:從AR的輸入袋马、虛實(shí)融合和輸出初澎,整個(gè)一條鏈都需要AI的支持。

(2)云計(jì)算和大數(shù)據(jù):由于AR結(jié)合的是現(xiàn)實(shí)虑凛,所以它的計(jì)算量和數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)級(jí)上升碑宴,它的發(fā)展也離不開(kāi)云計(jì)算和大數(shù)據(jù)的支持。

(3)計(jì)算機(jī)視覺(jué):比之于PC和手機(jī)桑谍,AR的本質(zhì)是信息呈現(xiàn)方式的升級(jí)延柠,由二維升級(jí)到三維。不管是AR的輸入锣披,還是輸出贞间,都離不開(kāi)計(jì)算機(jī)視覺(jué)。

(4)核心的交互技術(shù):包括手勢(shì)交互雹仿、語(yǔ)音交互增热、眼球追蹤等。目前來(lái)看胧辽,裸手交互有望成為AR的核心交互方式之一峻仇。典型公司:leap motion、科大訊飛等

(5)操作系統(tǒng):AR要成為下一代計(jì)算平臺(tái)邑商,就必須有自己的操作系統(tǒng)础浮,就像windows之于PC帆调,ios/安卓之于手機(jī)一樣奠骄。操作系統(tǒng)的好處就在于給產(chǎn)業(yè)上下游一個(gè)行業(yè)標(biāo)準(zhǔn)豆同,利于行業(yè)發(fā)展。典型公司:微軟含鳞、谷歌影锈。

光學(xué)模組

主要負(fù)責(zé)AR眼鏡的成像工作,AR不同于VR蝉绷,雖然它們的近眼顯示系統(tǒng)都是將顯示器上的像素鸭廷,通過(guò)一系列光學(xué)成像元件形成遠(yuǎn)處的虛像并投射到人眼中。不同之處在于熔吗,AR眼鏡需要透視(see-through)辆床,既要看到真實(shí)的外部世界,也要看到虛擬信息桅狠,所以成像系統(tǒng)不能擋在視線前方讼载。這就需要多加一個(gè)或一組光學(xué)組合器(optical combiner),通過(guò)“層疊”的形式中跌, 將虛擬信息和真實(shí)場(chǎng)景融為一體咨堤,互相補(bǔ)充,互相“增強(qiáng)”漩符。這也是AR眼鏡的一個(gè)難點(diǎn)所在一喘;

目前市場(chǎng)上主流的AR設(shè)備基本都采用光波導(dǎo)光學(xué)方案,光波導(dǎo)是引導(dǎo)光波在其中傳播的介質(zhì)裝置嗜暴,又稱介質(zhì)光波導(dǎo)凸克,光波導(dǎo)的材質(zhì)輕薄,中間層薄度可達(dá)1-10微米闷沥,并且對(duì)于外界光線的穿透特性極高萎战,因此被認(rèn)為是消費(fèi)級(jí)AR眼鏡的必選光學(xué)方案,價(jià)格自然而然也就上去 狐赡。

目前隨著市場(chǎng)上的主流AR眼鏡HoloLens2撞鹉、Magic Leap One等對(duì)光波導(dǎo)技術(shù)的采用和設(shè)備量產(chǎn),以及AR光學(xué)模組廠商DigiLens颖侄、耐德佳鸟雏、靈犀微光等行業(yè)技術(shù)不斷升級(jí),國(guó)內(nèi)更多的AR眼鏡制造廠紛紛采用了光波導(dǎo)技術(shù)方案览祖。

AR設(shè)備的光學(xué)顯示系統(tǒng)通常由微型顯示屏和光學(xué)元件組成孝鹊。概括來(lái)說(shuō),目前市場(chǎng)上的AR眼鏡采用的顯示系統(tǒng)就是各種微型顯示屏和棱鏡展蒂、自由曲面苔咪、BirdBath团赏、光波導(dǎo)等光學(xué)元件的組合,其中光學(xué)組合器的不同体谒,是區(qū)分AR顯示系統(tǒng)的關(guān)鍵部分。

微型顯示屏,用來(lái)為設(shè)備提供顯示內(nèi)容被去。它可以是自發(fā)光的有源器件,比如發(fā)光二極管面板像micro-OLED和現(xiàn)在很熱門(mén)的micro-LED坯墨,也可以是需要外部光源照明的液晶顯示屏(包括透射式的LCD和反射式的LCOS),還有基于微機(jī)電系統(tǒng)(MEMS)技術(shù)的數(shù)字微鏡陣列(DMD, 即DLP的核心)和激光束掃描儀(LBS)耍攘。

目前市面上的AR光學(xué)顯示系統(tǒng)的分類和產(chǎn)品有:

那么通過(guò)光波導(dǎo)怎么去實(shí)現(xiàn)所謂的既要看到真實(shí)的外部世界庆揪,也要看到虛擬信息的這個(gè)需求呢式曲?

在AR眼鏡中,最重要的就是“全反射”,即光無(wú)論通過(guò)任何角度投射進(jìn)來(lái)吝羞,都要完全反射兰伤,做到光在傳輸?shù)倪^(guò)程中無(wú)損失無(wú)泄漏;那么想完成這個(gè)钧排,需要滿足兩個(gè)條件:

(1) 傳輸介質(zhì)比周?chē)橘|(zhì)高的折射率(如圖2所示n1> n2);

(2) 入射角需要大于臨界角γc。

光機(jī)完成成像過(guò)程后,波導(dǎo)將光耦合進(jìn)自己的玻璃基底中筒捺,通過(guò)“全反射”原理將光傳輸?shù)窖劬η胺皆籴尫懦鰜?lái)纸厉。這個(gè)過(guò)程中波導(dǎo)只負(fù)責(zé)傳輸圖像系吭,是獨(dú)立于成像系統(tǒng)而存在的一個(gè)單獨(dú)元件。

關(guān)于更多深層次的光波導(dǎo)的技術(shù)原理锄蹂,在本文就不詳細(xì)解說(shuō)了,想繼續(xù)了解的朋友可以網(wǎng)上搜一下,有很多的。

總結(jié)

目前市場(chǎng)上微軟的HoloLens2無(wú)論在交互、SLAM定位侮邀、三維數(shù)據(jù)處理、散熱等表現(xiàn)是非常好的捉超,但是由于操作系統(tǒng)的限制和價(jià)格的高昂,在我了解的工業(yè)行業(yè)使用的不是很多叶撒;國(guó)內(nèi)AR眼鏡做的比較好的有聯(lián)想的晨星AR-G2祠够、影創(chuàng)action one、亮風(fēng)臺(tái)的AIARG200等落君;國(guó)內(nèi)眼鏡的設(shè)計(jì)大多將處理中心與眼鏡分離绎速,以保證處理中心的數(shù)據(jù)處理能力、續(xù)航能力和散熱能力赵哲,這樣做的比較好的一點(diǎn)就是減輕頭部的重量;但是缺點(diǎn)就是通過(guò)數(shù)據(jù)線連接君丁,在工人作業(yè)過(guò)程中避免不了掛到枫夺,接頭接觸不良情況發(fā)生。

關(guān)于市面上AR眼鏡的詳細(xì)解析绘闷,我們放在下部進(jìn)行詳細(xì)解說(shuō)橡庞,歡迎大家及時(shí)關(guān)注了解!

本文作者

史增濤印蔗,主要關(guān)注AR/VR扒最,工業(yè)數(shù)字孿生、AI等領(lǐng)域华嘹、喜歡技術(shù)型公司以及由技術(shù)驅(qū)動(dòng)的產(chǎn)品型公司吧趣。

本文原創(chuàng)發(fā)布于簡(jiǎn)書(shū),未經(jīng)許可,禁止轉(zhuǎn)載

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末强挫,一起剝皮案震驚了整個(gè)濱河市岔霸,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌俯渤,老刑警劉巖呆细,帶你破解...
    沈念sama閱讀 218,607評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異八匠,居然都是意外死亡絮爷,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén)梨树,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)坑夯,“玉大人,你說(shuō)我怎么就攤上這事劝萤≡ɡ裕” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,960評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵床嫌,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我胸私,道長(zhǎng)厌处,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,750評(píng)論 1 294
  • 正文 為了忘掉前任岁疼,我火速辦了婚禮阔涉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘捷绒。我一直安慰自己瑰排,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,764評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布暖侨。 她就那樣靜靜地躺著椭住,像睡著了一般。 火紅的嫁衣襯著肌膚如雪字逗。 梳的紋絲不亂的頭發(fā)上京郑,一...
    開(kāi)封第一講書(shū)人閱讀 51,604評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音葫掉,去河邊找鬼些举。 笑死,一個(gè)胖子當(dāng)著我的面吹牛俭厚,可吹牛的內(nèi)容都是我干的户魏。 我是一名探鬼主播,決...
    沈念sama閱讀 40,347評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼叼丑!你這毒婦竟也來(lái)了关翎?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,253評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤幢码,失蹤者是張志新(化名)和其女友劉穎笤休,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體症副,經(jīng)...
    沈念sama閱讀 45,702評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡店雅,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,893評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了贞铣。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片闹啦。...
    茶點(diǎn)故事閱讀 40,015評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖辕坝,靈堂內(nèi)的尸體忽然破棺而出窍奋,到底是詐尸還是另有隱情,我是刑警寧澤酱畅,帶...
    沈念sama閱讀 35,734評(píng)論 5 346
  • 正文 年R本政府宣布琳袄,位于F島的核電站,受9級(jí)特大地震影響纺酸,放射性物質(zhì)發(fā)生泄漏窖逗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,352評(píng)論 3 330
  • 文/蒙蒙 一餐蔬、第九天 我趴在偏房一處隱蔽的房頂上張望碎紊。 院中可真熱鬧,春花似錦樊诺、人聲如沸仗考。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,934評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)秃嗜。三九已至,卻和暖如春缸夹,著一層夾襖步出監(jiān)牢的瞬間痪寻,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,052評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工虽惭, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留橡类,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,216評(píng)論 3 371
  • 正文 我出身青樓芽唇,卻偏偏與公主長(zhǎng)得像顾画,于是被迫代替她去往敵國(guó)和親取劫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,969評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • AR行業(yè),風(fēng)雨飄搖庶诡,大浪淘沙惦银。自2013年谷歌首次推出AR眼鏡,引起整個(gè)科技圈的轟動(dòng)末誓,之后的6年多時(shí)間里扯俱,AR經(jīng)...
    子羽歌閱讀 1,013評(píng)論 0 5
  • 硬件1、顯示部分光學(xué)模組(最重要)喇澡、光源自研迅栅、第三方備注:光學(xué)模組是AR眼鏡核心中的核心。目前國(guó)內(nèi)外有很多光學(xué)方案...
    Lucky胡閱讀 379評(píng)論 0 0
  • 我是黑夜里大雨紛飛的人啊 1 “又到一年六月晴玖,有人笑有人哭读存,有人歡樂(lè)有人憂愁,有人驚喜有人失落呕屎,有的覺(jué)得收獲滿滿有...
    陌忘宇閱讀 8,536評(píng)論 28 53
  • 信任包括信任自己和信任他人 很多時(shí)候让簿,很多事情,失敗秀睛、遺憾拜英、錯(cuò)過(guò),源于不自信琅催,不信任他人 覺(jué)得自己做不成,別人做不...
    吳氵晃閱讀 6,190評(píng)論 4 8
  • 怎么對(duì)待生活,它也會(huì)怎么對(duì)你 人都是哭著來(lái)到這個(gè)美麗的人間抹估。每個(gè)人從來(lái)到塵寰到升入天堂缠黍,整個(gè)生命的歷程都是一本書(shū),...
    靜靜在等你閱讀 4,976評(píng)論 1 6