雷鋒網(wǎng)按:蘋果要讓手機率先支持 AR 功能的消息終于被確認(rèn)了蒿辙。當(dāng) VR思灌、AR 被滿世界熱捧時,蘋果似乎一直無動于衷熄守,即便 CEO 庫克多次對外表示對 AR 十分感興趣耗跛。實際上,蘋果一刻也沒有放松對新技術(shù)的關(guān)注牍氛,不管是招兵買馬組建團隊搬俊,還是通過收購蜒茄、申請專利以儲備技術(shù),一切的一切都為了“萬事俱備”玩祟。所以屿聋,不必著急藏鹊,驚艷的產(chǎn)品值得我們等待盘寡。
iPhone 8 延期發(fā)布的原因讓我們再次證實了蘋果對 AR 的野心竿痰。
蘋果分析師 Brian White 在給投資者一份說明中提到砌溺,“因 3D 感知技術(shù)的一些挑戰(zhàn),5.8 英寸 iPhone8 將會延遲數(shù)周上市蟹倾,但能在 12 月假期之前與大家見面喊式∠舫”其中,他肯定了 5.8 英寸 iPhone 8 中將采用 3D 感知技術(shù)和 OLED 顯示屏检柬,而此前也有消息表示何址,正是因為屏幕和 3D 技術(shù)前置攝像頭兩者難以完美匹配,造成了 iPhone 8 的延期原押。
關(guān)于蘋果在做什么樣的 AR 產(chǎn)品偎血,外界有不少猜測。直到今年 3 月份笨农,彭博社的一篇報道讓我們對此有更加詳實的了解帖渠。
產(chǎn)品方面,彭博社確認(rèn)蘋果手機將率先支持 AR 功能份招。另一方面,蘋果也正在研發(fā)數(shù)款 AR 產(chǎn)品伴箩,其中包括數(shù)字眼鏡鄙漏,可與手機無線連接怔蚌,并為用戶呈現(xiàn)電影旁赊、地圖等內(nèi)容。聽起來有些像以前的谷歌眼鏡籍胯,但比起手機的 AR 功能离福,蘋果 AR 眼鏡等待的時間要更久。
另外蝶涩,報道提到蘋果正在為 iPhone 研發(fā)的一項功能是绿聘,改變所拍照片或是照片中特定物體的景深次舌;另一項功能是,對照片進行摳圖挪圾,如可摳出人像的頭部国拇,對其 180 度翻轉(zhuǎn)酱吝。
這其中可能會加入 AR,生成虛擬特效,類似于 Snapchat 的效果己儒。為此闪湾,iPhone 攝像頭將有望依賴于深度感知技術(shù)绩卤,并且使用由 PrimeSense 公司研發(fā)的算法濒憋。
或許,蘋果不會一次性推出所有這些功能凛驮,但現(xiàn)在 iPhone 8 證實將采用 3D 感知技術(shù)黔夭,想必這也是蘋果向 AR 邁出的一小步。
雷鋒網(wǎng)也從一位業(yè)內(nèi)人士口中得知肩袍,蘋果會在手機上增加一個前置深度攝像頭婚惫,用以面部識別和手勢識別,而由于功耗問題沒有解決鹰祸,并沒有采用后置密浑。該業(yè)內(nèi)人士表示,“從應(yīng)用的角度尔破,前置攝像頭的象征意義更大一些懒构。”
同時絮姆,回顧過去蘋果的一些動作,雷鋒網(wǎng)發(fā)現(xiàn)篙悯,蘋果針對 AR 的人才和技術(shù)儲備愈加完善鸽照。
人才儲備
Mike Rockwell 2015 年加入蘋果
根據(jù)彭博社引述知情人士的報道,蘋果已經(jīng)組建了一支研發(fā)團隊定血,該團隊聚集了各路硬軟件研發(fā)的老兵糠悼。而早在 2016 年 1 月,雷鋒網(wǎng)曾報道蘋果當(dāng)時正在組建一個數(shù)百名的“秘密研發(fā)團隊”铝条,對虛擬現(xiàn)實頭盔等其他技術(shù)進行試驗。
該團隊由前杜比執(zhí)行副總裁 MiKe Rockwell 負(fù)責(zé)贤壁,他曾是杜比的標(biāo)志性人物脾拆,擔(dān)任過 AR 公司 Meta 的顧問莹妒。作為蘋果內(nèi)部 AR 團隊的負(fù)責(zé)人,Rockwell 向 Dan Riccio 報告工作渠驼,而 Riccio 主要負(fù)責(zé) iPhone 和 iPad 硬件工程團隊的工作迷扇。
從去年開始爽哎,蘋果陸續(xù)將其他軟硬件部門的人調(diào)往 AR 團隊课锌,包括曾負(fù)責(zé)蘋果手表設(shè)計的 Fletcher Rothkopf,創(chuàng)建了 THX 標(biāo)準(zhǔn)(一種音效標(biāo)準(zhǔn)隘庄,)的 Tomlinson Holman。
蘋果還請了從 3D 視頻到可穿戴硬件各方面的人才加入获印,包括前亞馬遜 Lumberyard 虛擬現(xiàn)實平臺首席工程師 Cody WHite兼丰,前 Meta 軟件開發(fā)總監(jiān) Duncan McRoberts唆缴,前 Oculus 分析師 Yury Petrov,以及曾在 HoloLens 和 Google Earth 工作過的 Avi Bar-Zeev面徽。
這支團隊中也加入了前維塔視覺特效公司成員,他們曾參與過《阿凡達》氮双、《金剛》等影片的制作戴差。
技術(shù)儲備
這一點主要體現(xiàn)為蘋果收購其他公司,以及專利申請暖释。
FaceShift 的面部識別
以下是蘋果從 2013 年到 2016 年陸續(xù)收購的一系列公司:
2013 年 11 月 收購以色列硬件公司 PrimeSense
該公司主要為微軟的 Xbox 游戲機制造Kinect 動感捕捉攝像頭球匕。
2014 年12 月 收購臉部視覺識別公司 FaceShift
該公司的技術(shù)能夠利用攝像頭對用戶臉部圖像進行實時捕捉谐丢,甚至可以生成虛擬的頭像蚓让。
2015年 4 月 收購以色列初創(chuàng)公司 LinX
LinX 創(chuàng)建于2011年乾忱,該公司的技術(shù)能夠通過將數(shù)字圖像分成三個部分的方式在照片中增加景深。
2015 年 5 月 收購德國 AR 公司 Metaio
該公司主要開發(fā)智能手機平臺的增強現(xiàn)實應(yīng)用軟件历极,比如其曾經(jīng)開發(fā)一款讓家具視覺化呈現(xiàn)的工具窄瘟。Metaio 曾經(jīng)的 CEO Thomas Alt 目前屬于蘋果戰(zhàn)略交易團隊,決定應(yīng)該投資哪項技術(shù)趟卸。
2016 年 1 月 收購 Flyby Media蹄葱。
該公司主要利用空間感知技術(shù)氏义,可以強化人們對其周圍環(huán)境的了解。
甚至還有消息稱图云,庫克曾拜訪過 Magic Leap 的辦公司惯悠,并表示對他們 AR 技術(shù)很感興趣。
“帶有攝像頭的可穿戴信息系統(tǒng)”專利描述圖
同時克婶,蘋果也沒有放松對專利的申請,如下:
2015 年 5 月 申請柔性屏幕專利
這是一種在固體發(fā)光像素周圍設(shè)計許多小孔的屏幕筋岛,可將屏幕變得又薄又柔軟睁宰,以幫助 AR 應(yīng)用。通過像素現(xiàn)實虛擬圖像,同時透過小孔查看屏幕另一邊的現(xiàn)實圖像劫映。
2016 年 7 月 申請 AR 顯示使用到的類似光波導(dǎo)技術(shù)
這項技術(shù)是讓圖像從離軸源文件中投射出來,通過透明物質(zhì)(護目鏡或薄片)進入視線祖今。
9 月 申請 AR 映射系統(tǒng)
這套 AR 映射系統(tǒng)能夠利用 iPhone 的硬件將增強現(xiàn)實功能疊加到直播視頻上千诬。用戶通過手機應(yīng)用可以在一些現(xiàn)實場景中標(biāo)記數(shù)字信息,比如街道名稱傲茄、興趣點等等喻粹,并用攝像頭進行掃描磅崭。
11 月 申請 AR 頭盔專利
這項專利描述的是一種保留移動電子設(shè)備屏幕的頭盔式顯示屏儀器芝此,頭盔式屏幕系統(tǒng)以及操作方案可以讓用戶“配對”或“解除”。
2017 年 2 月 申請帶有攝像頭的可穿戴信息系統(tǒng)
這項技術(shù)可能會用在一款頭戴顯示器中憔晒,而顯示器上搭載的攝像頭可以接收與顯示器相同視角的信息。該系統(tǒng)可下載有趣的內(nèi)容从撼,并用 AR 展示出來。
3 月 申請專利名為“利用景深加強人臉檢測”
這項專利是通過計算機視覺系統(tǒng)掏婶,利用專門的硬件和軟件進行人臉識別,尤其是已經(jīng)保存到數(shù)據(jù)庫中的人臉數(shù)據(jù)老厌。
2016 年 11 月梅桩,蘋果被爆與 LG 聯(lián)合開發(fā) 3D 攝像頭模組宿百,研究如何將自家的3D攝像頭技術(shù)應(yīng)用于 LG Innotek 生產(chǎn)的智能手機攝像頭模組雀费。
從上述種種來看,我們可以確定辕羽,蘋果規(guī)劃了兩條 AR 產(chǎn)品路線,一是讓新迭代的 iPhone 具有 AR 功能铣口,二是打造一款 AR 眼鏡。
AR 手機的難度在哪叔遂?
先來說說, AR 手機舌胶。要打造這樣一款手機幔嫂,到底有什么難度锰茉?
此前,雷鋒網(wǎng)采訪三維建模公司積木易撘時协屡,CTO 鄒圣兵曾解釋三維建模掃描的成像原理:
兩臺工業(yè)相機和一個投影儀可組成最小的掃描儀單元。攝像機得到深度信息补憾,投影儀能投射已知編碼影像腾务,通過前方交會計算得出點云,每幅投影儀得到的點云之間實時匹配葵孤,再進行全局優(yōu)化,實現(xiàn)表面三維點云重建苏遥,點云三角網(wǎng)格化漓柑,也就是得到了投影儀投影對象的三維模型。
“手機要搭載 AR 技術(shù)景用,不只要包含投影儀、攝像頭穆刻、還需要鏡子幽歼、手機∥芘耄”鄒圣兵向雷鋒網(wǎng)近一步解釋了手機實現(xiàn) AR 功能的原理唬格。
傳統(tǒng)的 AR 設(shè)備通過手柄、眼球跟追烹困、手勢識別等溶弟,實現(xiàn)與投影儀交互,讓投影儀投影已知彩色編碼袱巨,通過攝像機和鏡子拍攝的圖片剖效,計算出深度信息,然后再將計算出的深度信息結(jié)合slam算法(建模只是點云信息垫竞,不進行后續(xù))徐裸,與真實世界進行融合、對齊曾我。接著秉犹,在對齊的虛擬場景中進行渲染,渲染出接近真實場景的效果,這就是 AR傍妒。
手機如果集成了投影儀、兩個攝像頭、一面鏡子,手機在用戶手中捞稿,操作投影儀所對的方向,投影已知彩色編碼圖像到前方對象上衰齐,產(chǎn)生畸變的彩色編碼圖像被兩個攝像頭拍攝抹缕,拍攝的兩張圖片在手機處理器進行計算,得到前方對象的點云信息。鏡子能得到廣角圖像不像攝像頭有景深限制,鏡子得到的廣角圖像缚柳,范圍較大淤翔,不只是包含了投影儀的投影對象谐檀,也包含前方的場景圖片。
該圖片傳入手機處理器進行計算,結(jié)合 slam 算法羔沙,計算出場景的輪廓等信息诗充,再結(jié)合手機在場景中的相對位置和視野等信息涂佃,這樣就能實現(xiàn)掃描的點云信息與虛擬場景的融合,在虛擬場景中渲染否过,得出接近真實世界的效果告组。
Phab2 Pro 的 AR 效果演示
而當(dāng)前市場上真正推出的 AR 手機是 Phab2 Pro放案,它是由聯(lián)想和谷歌合作的產(chǎn)品厘托,采用了谷歌 Project Tango 技術(shù),內(nèi)置三顆攝像頭,包括一顆魚眼鏡頭和一顆紅外傳感器,可實現(xiàn)空間定位。
鄒圣兵表示萎坷,
“Tango 手機中攝像機瓜浸、兩個攝像頭、一面鏡子和對應(yīng)的處理器是一個整體,是由一個獨立廠家提供谢床,沒有與手機主板真正集成造壮,而且由于三維重建需要很強的處理器和較大內(nèi)存,這都不是獨立模塊能達到的。
如果蘋果要支持 AR,并且直接集成在主板,AR 處理與手機其他處理是一個處理器,就要觀察蘋果是否完成相關(guān)生態(tài)鏈的收購整合。目前來說,還沒見到樣機湾戳,不好評判艾杏〔”
由此可見,蘋果要成功做出一部 AR 手機,技術(shù)是一方面,各技術(shù)的集成也十分關(guān)鍵。不久前,蘋果宣布自己將獨立研發(fā) GPU,可能會將CPU 和 GPU 更好結(jié)合,從而針對 AR、AI 提升移動設(shè)備計算能力仓洼。至于iPhone 8 或是后續(xù)產(chǎn)品是否會有驚艷的表現(xiàn)箕戳,我們可以保持期待壮虫。
此外喳整,AR 眼鏡方面最具代表性的便是微軟 HoloLens魏保,以及 Meta檩咱。而今年一月有蔡司員工向國外科技博客作者確認(rèn)桑嘶,蘋果正與蔡司合作研發(fā) AR 眼鏡。
綜上,不得不說,蘋果對 AR 的野心可不止一點點。當(dāng)然,我們也希望蘋果能讓 AR 技術(shù)更加成熟,并走向更多的消費者。