版本記錄
| 版本號(hào) | 時(shí)間 |
|---|---|
| V1.0 | 2017.09.27 |
前言
蘋果最近新出的一個(gè)API就是ARKit泪掀，是在2017年6月6日刃麸，蘋果發(fā)布iOS11系統(tǒng)所新增框架靶衍，它能夠幫助我們以最簡(jiǎn)單快捷的方式實(shí)現(xiàn)AR技術(shù)功能揍愁。接下來幾篇我們就詳細(xì)的對(duì)ARKit框架進(jìn)行詳細(xì)的解析蝴悉。
AR技術(shù)
在講ARKit之前，我們先了解一下AR技術(shù)咆贬。增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality偷崩，簡(jiǎn)稱 AR）辟拷，是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻阐斜、3D模型的技術(shù)衫冻，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。
一個(gè)最簡(jiǎn)單地AR場(chǎng)景實(shí)現(xiàn)所需要的技術(shù)以及步驟包含如下：
- 多媒體捕捉現(xiàn)實(shí)圖像：如攝像頭谒出。
- 三維建模:3D立體模型隅俘。
- 傳感器追蹤:主要追蹤現(xiàn)實(shí)世界動(dòng)態(tài)物體的六軸變化，這六軸分別是X笤喳、Y为居、Z軸位移及旋轉(zhuǎn)。其中位移三軸決定物體的方位和大小杀狡，旋轉(zhuǎn)三周決定物體顯示的區(qū)域蒙畴。
- 坐標(biāo)識(shí)別及轉(zhuǎn)換：3D模型顯示在現(xiàn)實(shí)圖像中不是單純的frame坐標(biāo)點(diǎn)，而是一個(gè)三維的矩陣坐標(biāo)。這基本上也是學(xué)習(xí)AR最難的部分膳凝，好在ARKit幫助我們大大簡(jiǎn)化了這一過程碑隆。
除此之外，AR還可以與虛擬物體進(jìn)行一些交互蹬音。
ARKit基本
ARKit是2017年6月6日上煤，ios11測(cè)試版本發(fā)布時(shí)新增加的框架，可以幫助我們以最簡(jiǎn)單的方式實(shí)現(xiàn)AR技術(shù)功能著淆。ARKit提供了兩種AR技術(shù)：
- 基于3D場(chǎng)景（sceneKit）實(shí)現(xiàn)的增強(qiáng)現(xiàn)實(shí)劫狠。
- 基于2D場(chǎng)景（SpritKit）實(shí)現(xiàn)的增強(qiáng)現(xiàn)實(shí)。
一般主流都是基于3D實(shí)現(xiàn)AR技術(shù)永部，ARKit不僅支持3D游戲引擎sceneKit嘉熊，還支持2D游戲引擎SpritKit。
需要注意的是：
- 雖然ARKit框架中視圖對(duì)象繼承于UIView扬舒，但是由于目前ARKit框架本身只包含相機(jī)追蹤，不能直接加載物體模型凫佛，所以只能依賴于游戲引擎加載ARKit讲坎。
- ARKit是ios11推出的框架，但并不是所有的ios11系統(tǒng)都可以使用愧薛，因此必須是A9及以上才能夠使用晨炕，iphone6s開始使用A9處理器，也就是說iphone6及其以上的機(jī)型就不能使用這個(gè)框架了毫炉。
- 開發(fā)環(huán)境需求：
- Xcode版本：Xcode9及以上
- iOS系統(tǒng)：iOS11及以上
- iOS設(shè)備：處理器A9及以上（6S機(jī)型及以上）
- MacOS系統(tǒng)：10.12.4及以上（安裝Xcode9對(duì)Mac系統(tǒng)版本有要求）
ARKit框架
集成iOS設(shè)備攝像頭和運(yùn)動(dòng)功能瓮栗，在您的應(yīng)用程序或游戲中產(chǎn)生增強(qiáng)的現(xiàn)實(shí)體驗(yàn)。
增強(qiáng)現(xiàn)實(shí)（AR）描述了將設(shè)備的相機(jī)中的2D或3D元素添加到實(shí)時(shí)視圖的用戶體驗(yàn)瞄勾，使得這些元素似乎居住在現(xiàn)實(shí)世界中费奸。 ARKit結(jié)合了設(shè)備運(yùn)動(dòng)跟蹤，相機(jī)場(chǎng)景拍攝进陡，高級(jí)場(chǎng)景處理和顯示便利愿阐，簡(jiǎn)化了AR體驗(yàn)的任務(wù)。
重要說明：ARKit需要具有A9或更高版本處理器的iOS設(shè)備趾疚。要使應(yīng)用程序僅在支持ARKit的設(shè)備上可用缨历，請(qǐng)?jiān)趹?yīng)用程序的Info.plist的UIRequiredDeviceCapabilities部分中使用arkit鍵。 如果增強(qiáng)現(xiàn)實(shí)是應(yīng)用程序的輔助功能糙麦，請(qǐng)使用isSupported屬性來確定當(dāng)前設(shè)備是否支持您要使用的會(huì)話配置辛孵。
下面我們先看一下ARKit框架的結(jié)構(gòu)和組成。
下面按照功能模塊對(duì)框架進(jìn)行詳細(xì)分解和說明
1. First Steps
-
About Augmented Reality and ARKit
- 發(fā)現(xiàn)支持構(gòu)建偉大的AR體驗(yàn)的概念赡磅，功能和最佳實(shí)踐魄缚。
-
- 管理設(shè)備相機(jī)和增強(qiáng)現(xiàn)實(shí)體驗(yàn)所需的運(yùn)動(dòng)處理的共享對(duì)象。
-
- AR會(huì)話配置的抽象基類仆邓。
2. World-Based AR Experiences
-
Building Your First AR Experience
- 創(chuàng)建運(yùn)行AR會(huì)話的應(yīng)用程序鲜滩，并使用平面檢測(cè)來使用
SceneKit放置3D內(nèi)容伴鳖。
- 創(chuàng)建運(yùn)行AR會(huì)話的應(yīng)用程序鲜滩，并使用平面檢測(cè)來使用
-
Handling 3D Interaction and UI Controls in Augmented Reality
- 遵循AR體驗(yàn)中的視覺反饋，手勢(shì)交互和逼真渲染的最佳做法徙硅。
-
- 使用后置攝像頭榜聂，跟蹤設(shè)備的方向和位置以及檢測(cè)真實(shí)平面的配置。
-
AROrientationTrackingConfiguration
- 使用后置攝像頭并僅跟蹤設(shè)備方向的配置嗓蘑。
-
- 關(guān)于世界跟蹤AR會(huì)話中檢測(cè)到的真實(shí)平面的位置和方向的信息须肆。
3. Face-Based AR Experiences
-
Creating Face-Based AR Experiences
- 放置和動(dòng)畫3D用戶臉部的內(nèi)容，并匹配面部表情（在具有兼容的前置攝像頭的設(shè)備上）桩皿。
-
ARFaceTrackingConfiguration
- 跟蹤設(shè)備前置攝像頭所看到的用戶臉部的移動(dòng)和表情的配置豌汇。
-
ARFaceAnchor
- 關(guān)于臉部跟蹤AR會(huì)話中檢測(cè)到的臉部的姿勢(shì)，拓?fù)浜捅砬榈男畔ⅰ?/li>
4. Standard Views
-
- 用于顯示使用
3D SceneKit內(nèi)容增強(qiáng)相機(jī)視圖的AR體驗(yàn)的視圖泄隔。
- 用于顯示使用
-
- 用于顯示使用2D SpriteKit內(nèi)容增強(qiáng)相機(jī)視圖的AR體驗(yàn)的視圖拒贱。
5. Custom Views
-
Displaying an AR Experience with Metal
- 通過渲染相機(jī)圖像和使用位置跟蹤信息來顯示疊加內(nèi)容來構(gòu)建自定義AR視圖。
6. Real-World Objects and Positions
-
- 通過檢查AR會(huì)話的設(shè)備攝像機(jī)視圖中的一個(gè)點(diǎn)找到有關(guān)現(xiàn)實(shí)世界表面的信息佛嬉。
-
- 可用于將對(duì)象放置在AR場(chǎng)景中的現(xiàn)實(shí)世界的位置和方向逻澳。
-
- ARKit跟蹤改變位置和方向的場(chǎng)景中的真實(shí)世界對(duì)象。
7. Camera and Scene Details
-
- 作為AR會(huì)話的一部分捕獲的視頻圖像和位置跟蹤信息暖呕。
-
- 關(guān)于AR會(huì)話中捕獲的視頻幀的攝像機(jī)位置和成像特性的信息斜做。
-
- 與AR會(huì)話中捕獲的視頻幀相關(guān)聯(lián)的估計(jì)場(chǎng)景照明信息。
-
- 在面部跟蹤AR會(huì)話中與捕獲的視頻幀相關(guān)聯(lián)的估計(jì)環(huán)境照明信息湾揽。
8. Reference
后記
未完瓤逼，待續(xù)~~~
