說(shuō)明
蘋果目前對(duì)AR投入巨大,CEO庫(kù)克也多次表示看好AR的發(fā)展.
但是蘋果的AR到底會(huì)怎么走?
一個(gè)只能識(shí)別平面的ARKit框架能讓開發(fā)者開發(fā)出受用戶歡迎的app么?
VR設(shè)備蘋果還做么?
下面我們從收購(gòu),專利等方面談?wù)勌O果的AR/VR之路.里面帶有我的一些不負(fù)責(zé)任的猜測(cè),大家輕噴.
收購(gòu)的相關(guān)技術(shù)公司
一般來(lái)說(shuō),蘋果收購(gòu)有以下特點(diǎn):
- 收購(gòu)技術(shù)后,不再對(duì)外提供單獨(dú)產(chǎn)品,而是整合進(jìn)iOS系統(tǒng)中;
- 往往會(huì)改變?cè)加猛?與iOS系統(tǒng)結(jié)合后提供新的體驗(yàn);
- 平均在2~3年后應(yīng)用到iPhone上,一般不超過(guò)4年;
| 公司名稱 | 主要技術(shù)與產(chǎn)品 | 收購(gòu)時(shí)間 | 整合現(xiàn)狀 | 未來(lái)動(dòng)作預(yù)計(jì) |
|---|---|---|---|---|
| Polar Rose | 人臉識(shí)別技術(shù) | 2010-9 | 持續(xù)整合到普通相機(jī),人像模式中 | --- |
| PrimeSense | 3D視覺技術(shù),深度感知,結(jié)構(gòu)光識(shí)別,動(dòng)感捕捉攝像頭 | 2013-11 | 小型化后,2017年用于iPhoneX前置攝像頭 | --- |
| LinX Imaging | 移動(dòng)設(shè)備多攝像頭畫質(zhì)增強(qiáng),成像拼接,深度感知 | 2015-4 | 2017年后置雙鏡頭深度信息 | --- |
| Metaio | Metaio Creator:增強(qiáng)現(xiàn)實(shí)創(chuàng)作工具,計(jì)算機(jī)視覺的識(shí)別和跟蹤算法 | 2015-5 | ARKit的基礎(chǔ),2017年發(fā)布.平面識(shí)別,光照估計(jì),6自由度 | 2018年升級(jí)ARKit更多識(shí)別類型 |
| Perceptio | 允許手機(jī)獨(dú)立辨認(rèn)圖像检盼，而無(wú)需依賴任何外部數(shù)據(jù)庫(kù) | 2015-10 | --- | 2018年升級(jí)ARKit更多識(shí)別類型 |
| Faceshift | 動(dòng)作捕捉公司洲脂，實(shí)時(shí)抓捕人的面部，然后用動(dòng)畫表現(xiàn)出來(lái),依賴于PrimeSense的識(shí)別技術(shù) | 2015-11 | 2017年用于iPhoneX前置攝像頭的Animoji | --- |
| Emotient | 表情跟蹤識(shí)別技術(shù),分析人類表情與感情 | 2016-1 | 2017年用于iPhoneX前置攝像頭 | 2018年用于ARKit升級(jí),可分析表情與感情 |
| Flyby Media | 空間感知平臺(tái):可以將信息綁定在某個(gè)地點(diǎn)或者建筑深寥，只有通過(guò)掃描同一建筑才能讀取這條信息 | 2016-1 | --- | 2018年用于ARKit升級(jí),升級(jí)多人玩法 |
| Realface | 生物識(shí)別登錄系統(tǒng) | 2017-2 | 2017年用于iPhoneX前置攝像頭人臉識(shí)別登錄 | --- |
| Senso Motoric Instruments | 眼球追蹤眼鏡和系統(tǒng) | 2017-6 | --- | 2020年用于AR眼鏡 |
| Vrvana | Totem頭盔:“延伸現(xiàn)實(shí)”設(shè)備潮酒，AR和VR結(jié)合 | 2017-11 | --- | 2020年用于AR眼鏡 |
| InVisage Technologies | 量子膜:改善智能手機(jī)等受空間限制的設(shè)備的成像能力 | 2017-11 | --- | 2020年改善手機(jī)攝像頭 |
此外,為了在地圖領(lǐng)域增強(qiáng)實(shí)力义屏，蘋果先后收購(gòu)了多家地圖和導(dǎo)航服務(wù)公司舞箍，其中包括Coherent舰褪、Locationary、Embark疏橄、HopStop占拍、WifiSLAM、BroadMap等.
預(yù)計(jì)會(huì)對(duì)以后的AR+地圖玩法有幫助.
申請(qǐng)的相關(guān)專利
蘋果的專利從申請(qǐng)到真正用在產(chǎn)品上,時(shí)間往往更長(zhǎng),往往需要4~5年,甚至7年以上.
| 時(shí)間 | 專利 | 描述 | 整合現(xiàn)狀 | 未來(lái)動(dòng)作預(yù)計(jì) |
|---|---|---|---|---|
| 2006 | 可以容納帶顯示屏的電子設(shè)備 | 一款能夠放入手機(jī)的物理框架捎迫，并將手機(jī)屏幕放置于用戶眼前晃酒，其中在用戶雙眼和手機(jī)屏幕之間存在著光學(xué)組件，用于接收手機(jī)屏的圖像窄绒。2016年3月申請(qǐng)延續(xù)該專利 | --- | 手機(jī)VR |
| 2011 | 三維物體識(shí)別技術(shù) | 通過(guò)自動(dòng)化的生物特征識(shí)別系統(tǒng)贝次，通過(guò)曲線、點(diǎn)和物體輪廓等識(shí)別3D對(duì)象彰导。這一技術(shù)將能精確的識(shí)別人臉蛔翅，而不像某A系統(tǒng)那樣，分不清真實(shí)人臉和照片的區(qū)別位谋。 | 2017年用在iPhoneX | --- |
| 2014-12 | 激光束測(cè)繪技術(shù) | 借助激光傳感器以及激光束來(lái)收集特定空間內(nèi)的測(cè)量數(shù)據(jù)山析，包括空間的形狀、距離掏父、環(huán)境對(duì)象的屬性及體積等信息笋轨。 | --- | 2018年后手機(jī)AR,2020年后AR眼鏡 |
| 2015-1 | 眼部追蹤技術(shù) | 解決“特克斯勒消逝效應(yīng)”(Troxler Fading Effect) | --- | 2020年后AR眼鏡 |
| 2015-5 | 柔性屏幕專利 | 這是一種在固體發(fā)光像素周圍設(shè)計(jì)許多小孔的屏幕，可將屏幕變得又薄又柔軟损同，以幫助 AR 應(yīng)用翩腐。通過(guò)像素現(xiàn)實(shí)虛擬圖像，同時(shí)透過(guò)小孔查看屏幕另一邊的現(xiàn)實(shí)圖像膏燃。 | --- | 2020年后AR眼鏡 |
| 2015-6 | 上半身體感操作 | 允許用戶通過(guò)擺動(dòng)上半身作出多種姿勢(shì)從而控制一個(gè)操作界面茂卦。 | --- | 2020年后AR眼鏡 |
| 2015-11 | 基于用戶目光的顯示屏事件延遲 | 蘋果提出的系統(tǒng)可以延遲顯示屏事件，直到用戶的目光看到组哩。減輕了渲染和顯示的壓力等龙。 | --- | 2020年后AR眼鏡 |
| 2016-7 | AR 顯示使用到的類似光波導(dǎo)技術(shù) | 這項(xiàng)技術(shù)是讓圖像從離軸源文件中投射出來(lái)，通過(guò)透明物質(zhì)(護(hù)目鏡或薄片)進(jìn)入視線伶贰。 | --- | 2020年后AR眼鏡 |
| 2016-7 | AR 映射系統(tǒng) | 這套 AR 映射系統(tǒng)能夠利用 iPhone 的硬件將增強(qiáng)現(xiàn)實(shí)功能疊加到直播視頻上蛛砰。用戶通過(guò)手機(jī)應(yīng)用可以在一些現(xiàn)實(shí)場(chǎng)景中標(biāo)記數(shù)字信息，比如街道名稱黍衙、興趣點(diǎn)等等泥畅，并用攝像頭進(jìn)行掃描。 | --- | 2018年后手機(jī)AR增強(qiáng),2020年后AR眼鏡 |
| 2016-7 | 裸眼3D | 一種像素陣列琅翻，內(nèi)建子像素和透鏡結(jié)構(gòu)位仁，后者在多個(gè)不同的角度發(fā)光柑贞。 | --- | Mac平臺(tái) |
| 2016-10 | 3D投影手勢(shì) | 利用一種抓取的手勢(shì)，一種推動(dòng)的手勢(shì)聂抢，一種釋放的手勢(shì)钧嘶，還有查詢，縮放琳疏，搜索有决，執(zhí)行等，甚至更多的手勢(shì)來(lái)進(jìn)行人機(jī)交互空盼。比如說(shuō)书幕，我們可以用推動(dòng)的手勢(shì)來(lái)點(diǎn)擊打開一個(gè) App 。 | --- | 2020年后AR眼鏡 |
| 2016-11 | AR 頭盔專利 | 這項(xiàng)專利描述的是一種保留移動(dòng)電子設(shè)備屏幕的頭盔式顯示屏儀器我注，頭盔式屏幕系統(tǒng)以及操作方案可以讓用戶“配對(duì)”或“解除”按咒。 | --- | 2020年后AR眼鏡 |
| 2017-2 | 帶有攝像頭的可穿戴信息系統(tǒng) | 這項(xiàng)技術(shù)可能會(huì)用在一款頭戴顯示器中迟隅，而顯示器上搭載的攝像頭可以接收與顯示器相同視角的信息但骨。該系統(tǒng)可下載有趣的內(nèi)容，并用 AR 展示出來(lái)智袭。 | --- | 2020年后AR眼鏡 |
| 2017-3 | 利用景深加強(qiáng)人臉檢測(cè) | 這項(xiàng)專利是通過(guò)計(jì)算機(jī)視覺系統(tǒng)奔缠，利用專門的硬件和軟件進(jìn)行人臉識(shí)別，尤其是已經(jīng)保存到數(shù)據(jù)庫(kù)中的人臉數(shù)據(jù)吼野。 | --- | 2018年后手機(jī)AR增強(qiáng) |
| 2017-6 | 頭戴式顯示器 | 我們可以將一個(gè)可移動(dòng)的電子設(shè)備放置到這個(gè)頭戴式顯示器上校哎，而這個(gè)可移動(dòng)電子設(shè)備幾乎可以肯定是一臺(tái) iPhone 。 | --- | 手機(jī)VR設(shè)備 |
| 2017-8 | 3D手勢(shì)操作 | 為交互式現(xiàn)實(shí)增強(qiáng)提供了設(shè)備和方法瞳步，這其中包括一個(gè)二維相機(jī)和一個(gè)三維相機(jī)闷哆，相關(guān)的深度投影機(jī)和內(nèi)容投影儀，以及一個(gè)與三維相機(jī)和二維相機(jī)相關(guān)的處理器单起。 | --- | --- |
| 2017-10 | 全虛擬現(xiàn)實(shí)（VR）套件相關(guān) | 描述了動(dòng)態(tài)修改圖片抱怔，實(shí)時(shí)向用戶展示圖片和基于文字的相關(guān)數(shù)據(jù)的方法。專利申請(qǐng)描述的方法適用于有限視場(chǎng)和全景的靜態(tài)嘀倒、動(dòng)態(tài)圖片屈留。 | --- | Mac平臺(tái) |
演進(jìn)方向猜測(cè)
AR方向
從目前的收購(gòu)情況和專利申請(qǐng)情況來(lái)看,蘋果當(dāng)前的主要方向還是AR,包括目前運(yùn)行iOS系統(tǒng)的iPhone/iPad,和未來(lái)運(yùn)行rOS(猜測(cè)的名字)的AR眼鏡.
預(yù)計(jì)的結(jié)果是,在未來(lái)三年,繼續(xù)對(duì)iOS上的ARKit框架進(jìn)行增強(qiáng).可改善的方面有:
- 增強(qiáng)CPU和GPU,改進(jìn)人工智能運(yùn)行速度,提高識(shí)別速度和種類;
- 后置攝像頭添加飛行時(shí)間技術(shù)(ToF)或激光雷達(dá)(LIDAR),增強(qiáng)深度感知速度和精度;目前的視覺慣性里程計(jì)方式感知場(chǎng)景限制太多,場(chǎng)景太亮不行,太暗不行,運(yùn)動(dòng)太快不行,完全不動(dòng)不行,缺少花紋不行,半透明或反光也不行;
- 加強(qiáng)與地圖的整合,現(xiàn)在的AR無(wú)法與地圖關(guān)聯(lián)起來(lái),AR只能通過(guò)攝像頭捕捉到的畫面來(lái)感知和理解場(chǎng)景,對(duì)于目前的AR來(lái)說(shuō),家里的地面和市中心商業(yè)廣場(chǎng)的地面都只是個(gè)平面,沒有什么不同;
- 允許多人AR空間聯(lián)合,比如我在廣場(chǎng)上用AR對(duì)雕塑進(jìn)行了繪圖,別人從其它角度用AR對(duì)著雕塑也能看到我的作品,不需要完全一樣的角度進(jìn)行校正.
- 陀螺儀增強(qiáng),并結(jié)合深度信息,增強(qiáng)SLAM( 即時(shí)定位與地圖構(gòu)建)能力,完善AR物體與現(xiàn)實(shí)物體的遮擋,碰撞關(guān)系;
- 識(shí)別場(chǎng)景中的手和手勢(shì),解決AR交互問(wèn)題.
三年后AR眼鏡出場(chǎng),由AR眼鏡繼續(xù)完成AR功能.
VR方向
目前的VR也在研究中,包括內(nèi)置手機(jī)的頭戴設(shè)備(類似于cardboard盒子),和需要外部定位的頭戴設(shè)備(類似HTC的vive),但這個(gè)似乎并不是重點(diǎn),猜測(cè)可能是蘋果認(rèn)為這種方式使用體驗(yàn)太麻煩,限制多.
這種內(nèi)置iPhone的頭戴VR設(shè)備,可能只是與Apple TV配合看電影使用.雖然技術(shù)上已基本完成,但普通iPhone的LCD屏刷新率不足,iPhoneX又太貴而且刷新率目前也不支持90幀,按蘋果的風(fēng)格不太可能會(huì)推出.
還有一種可能,蘋果現(xiàn)在打算將iMac pro做為VR的開發(fā)平臺(tái),所以VR頭顯會(huì)繼續(xù)研究下去,以后可能會(huì)推出與iMac pro配套的頭戴式設(shè)備來(lái)替換目前使用的Vive等產(chǎn)品.
綜合判斷,短期內(nèi)VR設(shè)備應(yīng)該是不會(huì)推出的,至少在AR眼鏡出現(xiàn)前,VR設(shè)備不會(huì)出現(xiàn).
AR什么時(shí)候能真正火起來(lái)?
真正火起來(lái),需要硬件+軟件+爆款內(nèi)容.
硬件層面:真正準(zhǔn)備好的只有iPhoneX,前置攝像頭主要針對(duì)人臉AR,后置則是平面識(shí)別+深度信息,還有A11處理器的配合.iPhone8 plus則只有后置雙攝像頭和CPU充份滿足了AR要求.其他的A9以上CPU的單攝像頭和7p的第一代雙攝,效果只能說(shuō)湊合,而且后續(xù)也沒什么潛能可以挖掘了. X和8p的雙攝還有潛力可在軟件升級(jí)后發(fā)揮出來(lái).
軟件層面:ARKit效果不錯(cuò),但現(xiàn)在還是只能識(shí)別平面.人臉AR則需要iPhoneX的前置攝像頭配合.所以很多人為了體驗(yàn)AR功能,將舊手機(jī)升級(jí)到iOS11,但只是體驗(yàn)一番就不再用了,畢竟目前效果還是太少可玩性不高.預(yù)計(jì)2018年ARKit會(huì)有較大升級(jí),依托雙攝和人工智能,會(huì)支持更多功能和效果.
爆款內(nèi)容:蘋果多次重點(diǎn)提及了Pokemon Go,顯然是還想用這個(gè)游戲來(lái)讓AR再火一把,可惜大家新鮮勁兒已經(jīng)過(guò)去了.
WWDC2017只是吸引了程序員的注意,小demo出了不少但大作幾乎沒有.后來(lái)的產(chǎn)品發(fā)布會(huì),戰(zhàn)爭(zhēng)機(jī)器這個(gè)AR游戲不錯(cuò),但在國(guó)內(nèi)遲遲不上架,就算買了iPhone8 plus和iPhoneX也沒人一起玩啊.
綜合判斷,真正火起來(lái)大約是在2018年后期,iPhoneX普及+ARKit更新+AR大作打磨好的時(shí)候.
最后
總結(jié)一下:
- 手機(jī)AR目前重點(diǎn),大搞特搞;
- AR眼鏡正在研發(fā),3年后問(wèn)世;
- VR設(shè)備投入不多,遙遙無(wú)期.
iOS上的AR技術(shù)參考:WeekWeekUpProject
