一、了解 VR 播聪、AR和 MR
- VR：虛擬現(xiàn)實(shí)(Virtual Reality)，利用計(jì)算機(jī)生成一種模擬環(huán)境霎匈，使用戶沉浸到該環(huán)境中戴差。
- AR：增強(qiáng)現(xiàn)實(shí)(Augmented Reality)，在現(xiàn)有環(huán)境的直接視圖中铛嘱，向其中疊加聲音暖释，視頻袭厂，圖形。
- MR：混合現(xiàn)實(shí)(Mixed Reality)球匕，在虛擬世界嵌器、現(xiàn)實(shí)世界和用戶之間搭起一個(gè)交互反饋的信息回路，以增強(qiáng)用戶體驗(yàn)的真實(shí)感谐丢。
二爽航、AR的種類
- 基于計(jì)算機(jī)視覺的 AR：利用計(jì)算機(jī)視覺方法建立現(xiàn)實(shí)世界與屏幕之間的映射關(guān)系，使我們想要繪制的圖形或是 3D 模型可以如同依附在現(xiàn)實(shí)物體上一般展現(xiàn)在屏幕上乾忱。
- 基于地理位置信息的 AR：利用GPS讥珍、指南針、陀螺儀和加速度計(jì)來(lái)實(shí)現(xiàn)窄瘟，例如：《Pokemon Go》衷佃、AR導(dǎo)航。
三蹄葱、AR的使用場(chǎng)景
功能性產(chǎn)品：主要考慮
用戶痛點(diǎn)氏义，比如AR導(dǎo)航、AR實(shí)景翻譯图云、AR試穿惯悠，利用AR建立現(xiàn)實(shí)與虛擬世界的連接效果，幫助用戶更快更高效解決問題竣况。娛樂性產(chǎn)品：主要考慮
用戶體驗(yàn)克婶，比如AR產(chǎn)品展示、AR互動(dòng)游戲丹泉，需要憑借運(yùn)動(dòng)跟蹤情萤、虛實(shí)融合、虛實(shí)交互和模型控制來(lái)發(fā)揮AR的作用摹恨，起到引導(dǎo)筋岛、展示和互動(dòng)的效果。
四晒哄、AR的優(yōu)秀應(yīng)用
-
Pokemon Go：這是一款同時(shí)基于計(jì)算機(jī)視覺和地理位置信息的 AR 游戲睁宰，風(fēng)靡全球。
Pokemon Go -
美圖秀秀：利用ARCore構(gòu)建自拍濾鏡揩晴，增強(qiáng)臉部 API 提供高精度的由 468 個(gè)點(diǎn)組成的密集 3D 臉部網(wǎng)格勋陪，追蹤嘴部動(dòng)作贪磺、眨眼硫兰、點(diǎn)頭和一些復(fù)雜的細(xì)節(jié)。
濾鏡 -
陰陽(yáng)師：這是一款來(lái)自網(wǎng)易公司開發(fā)的游戲寒锚，通過在現(xiàn)實(shí)紙上繪制特定的圖形劫映，即可通過攝像頭在屏幕上渲染出游戲角色违孝，給用戶帶來(lái)了一定的樂趣性。
陰陽(yáng)師 -
滴滴導(dǎo)航：利用ARCore的環(huán)境理解和運(yùn)動(dòng)跟蹤功能泳赋，確保手機(jī)始終識(shí)別用戶方位雌桑，給出正確的路標(biāo)指導(dǎo)。
導(dǎo)航
五祖今、ARCore的介紹
ARCore 是 Google 的增強(qiáng)現(xiàn)實(shí)體驗(yàn)構(gòu)建平臺(tái)校坑。 ARCore 利用不同的
API讓您的手機(jī)能夠感知其環(huán)境、理解現(xiàn)實(shí)世界并與信息進(jìn)行交互千诬。ARCore 使用三個(gè)主要功能將虛擬內(nèi)容與通過手機(jī)攝像頭看到的現(xiàn)實(shí)世界整合：
- 運(yùn)動(dòng)跟蹤：讓手機(jī)可以理解和跟蹤它相對(duì)于現(xiàn)實(shí)世界的位置耍目。
- 環(huán)境理解：讓手機(jī)可以檢測(cè)各類表面（例如地面、咖啡桌或墻壁等水平徐绑、垂直和傾斜表面）的大小和位置邪驮。
- 光估測(cè)：讓手機(jī)可以估測(cè)環(huán)境當(dāng)前的光照條件。
六傲茄、ARCore的支持要求
6.1 獲得ARCore支持基本要求
-
開發(fā)要求
- 同時(shí)支持 SDK 和 NDK (已具備)
- Android studio 3.0 或更高版本 (已具備)
- SDK platform 7.0 (API level 24) 或更高版本 (已具備)
- ARCore SDK for Android （不具備毅访，官網(wǎng)下載）
-
運(yùn)行環(huán)境
- Android 7.0 或更高版本 (不完全具備)
- 已安裝 ARCore.apk（國(guó)內(nèi)應(yīng)用商店可下載）
獲得ARCore認(rèn)證（不具備）
-
代碼要求
- 添加依賴項(xiàng)
- 執(zhí)行運(yùn)行時(shí)權(quán)限檢查：是否支持ARCore
- 執(zhí)行運(yùn)行時(shí)權(quán)限檢查：請(qǐng)求攝像頭權(quán)限
- 執(zhí)行運(yùn)行時(shí)權(quán)限檢查：是否安裝ARCore.apk
如何獲得ARCore認(rèn)證，先來(lái)讀一段官方的說明：
認(rèn)證很重要盘榨，因?yàn)槲覀兿Ｍ脩粼谑褂媚愕?AR 應(yīng)用的時(shí)候能得到良好的用戶體驗(yàn)喻粹。這主要關(guān)系到
運(yùn)動(dòng)追蹤的靈敏性；運(yùn)動(dòng)追蹤通過結(jié)合攝像頭的圖像和運(yùn)動(dòng)傳感器的輸入來(lái)決定用戶的設(shè)備在真實(shí)世界的移動(dòng)草巡。為了認(rèn)證每一款設(shè)備磷斧，我們檢查
攝像頭，運(yùn)動(dòng)傳感器以及設(shè)計(jì)結(jié)構(gòu)的質(zhì)量捷犹，確保他們的功能達(dá)到預(yù)期弛饭。 另外，設(shè)備需要足夠強(qiáng)大的CPU來(lái)整合硬件設(shè)計(jì)萍歉，以確保達(dá)到優(yōu)秀的性能和高效的實(shí)時(shí)計(jì)算能力侣颂。我們一直在與
生產(chǎn)商合作，確保他們的硬件和設(shè)計(jì)達(dá)到這些要求枪孩。同時(shí)憔晒，我們內(nèi)部也在努力工作確保 ARCore 與我們認(rèn)證的每一款設(shè)備可以良好的集成，為用戶提供最好的體驗(yàn)蔑舞。
簡(jiǎn)單來(lái)說拒担，具體支持認(rèn)知細(xì)則不告訴你們，只允許匹配的機(jī)型才支持ARCore攻询，個(gè)人認(rèn)為Google工程師為了ARCore能準(zhǔn)確計(jì)算从撼，在通過拿到設(shè)備的參數(shù)進(jìn)行測(cè)試后才能給予認(rèn)證。
具體支持機(jī)型可以在這個(gè)頁(yè)面查詢：https://developers.google.com/ar/discover/supported-devices?hl=zh_cn#top_of_page
6.2 獲得ARCore更高的水準(zhǔn)
- 使用運(yùn)算能力更強(qiáng)的CPU钧栖；
- 支持深度API（帶有特殊攝像頭和tof傳感器的設(shè)備更有可能獲得更好低零、更準(zhǔn)確的結(jié)果婆翔，并帶來(lái)更豐富的體驗(yàn)。）掏婶；
- 支持多種GPU紋理分辨率-2048x1536啃奴、1280x960、480p
七雄妥、我們需要面臨問題
- 硬件跟不上最蕾，無(wú)法獲得認(rèn)證（可功能僅開放給手機(jī)）
- 學(xué)習(xí)成本高
- 測(cè)試設(shè)備機(jī)型少
八、2020 Google 開發(fā)者大會(huì)的更新內(nèi)容
8.1 延伸功能：
-
增強(qiáng)面部識(shí)別老厌。提供了高精度468點(diǎn)的3D Mesh揖膜。可以精準(zhǔn)地追蹤臉部細(xì)微表情梅桩，不需要深度傳感器壹粟，而是運(yùn)用機(jī)器學(xué)習(xí)（ML）中的深度學(xué)習(xí)，以達(dá)到這樣的功能宿百。同時(shí)支持安卓及IOS用戶趁仙。 -
環(huán)境光HDR。要讓虛擬物品看起來(lái)更逼真垦页，更融入實(shí)景雀费，其中最重要的功能之一就是要有正確的光照呈現(xiàn)。運(yùn)用了ARCore所提供的360度全景光照信息痊焊，圖中的虛擬小火箭盏袄，就可以有了對(duì)應(yīng)的反光及影子。 -
Scene Viewer場(chǎng)景觀測(cè)器薄啥。讓開發(fā)者可以直接在網(wǎng)頁(yè)上向用戶提供方便辕羽、好用的3D內(nèi)容及AR瀏覽功能。 -
Agumented Image增強(qiáng)圖像垄惧〉笤福可以檢測(cè)手機(jī)拍攝到的圖像信息，并與預(yù)先設(shè)置在數(shù)據(jù)庫(kù)中的圖像進(jìn)行匹配到逊∠晨冢可精確匹配包括移動(dòng)中的圖像，或是同時(shí)檢測(cè)多個(gè)圖像觉壶。 -
云錨點(diǎn)脑题。為安卓和iOS用戶創(chuàng)建共享的跨平臺(tái)體驗(yàn)。從兩個(gè)人到數(shù)百人铜靶，都可以在各自的設(shè)備上一起種花叔遂、澆灌。
8.2 新增功能：
-
迅速放置API（Instant Placement API）：借助迅速放置API和幾行代碼，開發(fā)人員可讓用戶將AR對(duì)象錨定到2D圖像中掏熬，而不需要確切知道AR對(duì)象具體的3D位置。如果需要更精確的比例秒梅，可以針對(duì)3D位置進(jìn)行三角測(cè)量旗芬。 -
景深應(yīng)用API（Depth API）：景深A(yù)PI可以從單個(gè)RGB相機(jī)生成地圖。原理是通過不同角度拍攝多張圖像捆蜀，并在移動(dòng)手機(jī)時(shí)進(jìn)行比較疮丛，以估計(jì)到每個(gè)像素的距離。盡管只有一個(gè)RGB相機(jī)辆它，但是添加了景深傳感器（如飛行時(shí)間傳感器）會(huì)讓景深地圖效果更好誊薄。 -
持久云錨點(diǎn)（PersistentCloud Anchors API）：可以讓二個(gè)人甚至是二百人在同一個(gè)虛擬世界共享與互動(dòng)。全新的持久云錨點(diǎn)則加強(qiáng)了這個(gè)功能锰茉，讓用戶將虛擬內(nèi)容“儲(chǔ)存”到任意現(xiàn)實(shí)場(chǎng)景中呢蔫，將了文字、影像信息飒筑、或3D人物虛擬內(nèi)容的和現(xiàn)實(shí)世界地點(diǎn)關(guān)聯(lián)起來(lái)片吊，永久保存共享。
九协屡、結(jié)合ARCore可嘗試的功能
9.1 云AR放樣
在 2020 Google 開發(fā)者大會(huì)中俏脊，對(duì)于ARCore的新增技術(shù)的「迅速放置」和「持久云錨點(diǎn)」可以與測(cè)繪行業(yè)能有很大的發(fā)展性。
從目前我們所支持的AR放樣中肤晓，帶上聯(lián)合作業(yè)中心的點(diǎn)數(shù)據(jù)爷贫，可以將聯(lián)合作業(yè)+AR放樣功能結(jié)合成云數(shù)據(jù)、云放樣补憾、云存儲(chǔ)漫萄，實(shí)現(xiàn)云AR放樣功能。
9.2 AR測(cè)量
十盈匾、下期預(yù)告
一卷胯、深度API是什么？它可以解決什么問題威酒？
二窑睁、深度API的作用下，如何實(shí)現(xiàn)遮擋葵孤？
三担钮、除了遮擋，深度API增強(qiáng)真實(shí)感的其他方式
四尤仍、深度API原理剖析學(xué)習(xí)
十一箫津、參考文章
- ARCore官網(wǎng)：https://developers.google.com/ar?hl=zh_cn
- AR云 ：https://zhuanlan.zhihu.com/p/44079215
- 漫談AR發(fā)展趨勢(shì)，預(yù)見AR未來(lái)！：https://zhuanlan.zhihu.com/p/46634743
- 一點(diǎn)關(guān)于移動(dòng)AR產(chǎn)品設(shè)計(jì)的經(jīng)驗(yàn)分享：https://zhuanlan.zhihu.com/p/53256714
- https://github.com/hiSirius/Indoor-navigation-techology
- https://github.com/lferruzzi/hellosceneform
