AR技術(shù)分享

demo在這里： https://github.com/lijiaxiang/ARKitShare

前言

六一兒童節(jié)來了耸黑，想找點有意思的東西，所以準(zhǔn)備了一下，送給所有人。

ARKit分享目錄

一晦雨、AR技術(shù)簡介
二、ARKit概述及特點介紹
三灯抛、ARKit初體驗之“HellowWorld”
四金赦、ARKit與SceneKit的關(guān)系
五、ARKit工作原理
六对嚼、ARKitAPI翻譯
七夹抗、寫一個入門級程序 幫助理解
八、總結(jié)和討論

一纵竖、AR技術(shù)簡介

  • 增強(qiáng)現(xiàn)實技術(shù)（Augmented Reality漠烧，簡稱AR），是一種實時地計算攝像機(jī)影像位置及角度并加上相應(yīng)圖像靡砌、視頻已脓、3D模型的技術(shù)，這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實世界并進(jìn)行互動

  • AR場景實現(xiàn)所需要的技術(shù)以及步驟如下：

  • 1通殃、多媒體捕捉現(xiàn)實圖像：如攝像頭(關(guān)于傳感器在AR中的使用暢想)

  • 2度液、三維建模：3D立體模型

  • 3、傳感器追蹤：追蹤現(xiàn)實世界動態(tài)物體的六軸變化画舌，這六軸分別是X堕担、Y、Z軸位移及旋轉(zhuǎn)曲聂。位移三軸決定物體的方位和大小霹购，旋轉(zhuǎn)三軸決定物體顯示的區(qū)域角度

  • 4、坐標(biāo)識別及轉(zhuǎn)換：3D模型顯示在現(xiàn)實圖像中不是單純的frame坐標(biāo)點朋腋，而是一個三位的矩陣坐標(biāo)齐疙。這基本上也是學(xué)習(xí)AR最難的部分膜楷，好在ARKit幫助我們大大簡化了這一過程。

步驟: 攝像頭-(x,y,z)->模型->模型自身(w,h,L,Sx,Sy,Sz)（沒必要花時間理解贞奋，后面會帶著一起理解）

二赌厅、ARKit概述及特點介紹

  • 1、ARKit是2017年6月6日忆矛，蘋果發(fā)布iOS11系統(tǒng)所新增框架察蹲，它能夠幫助我們以最簡單快捷的方式實現(xiàn)AR技術(shù)功能。
  • 2催训、ARKit框架提供了兩種AR技術(shù)洽议，一種是基于3D場景(SceneKit)實現(xiàn)的增強(qiáng)現(xiàn)實，一種是基于2D場景(spriteKit)實現(xiàn)的增強(qiáng)現(xiàn)實
    • 一般主流都是基于3D實現(xiàn)AR技術(shù)漫拭，ARKit不僅支持3D游戲引擎SceneKit還支持2D游戲引擎SpriteKit
  • 3亚兄、要顯示AR效果，必須要依賴于蘋果的游戲引擎框架(3D游戲引擎SceneKit采驻、2D游戲引擎SpriteKit)审胚，主要原因是游戲引擎才可以加載物體模型。
    • ARKit框架中視圖對象ARSCNView間接繼承于UIView礼旅，但是由于目前ARKit框架本身只包含相機(jī)追蹤膳叨，不能直接加載物體模型，所以只能依賴于游戲引擎加載ARKit
  • 4痘系、開發(fā)硬件要求：
    • 不僅要求iOS11的系統(tǒng)菲嘴、而且A9處理器才可以使用ARKit。也就是說6s以上&iOS11系統(tǒng)以上才可以使用ARKit汰翠，6以前的設(shè)備不是A9芯片
    • xcode(9.0)+ iOS(11)+ iPhone6s(A9)+ macOS(10.12.4)+

三龄坪、ARKit初體驗之“HellowWorld”

  • 上前戲--2D增強(qiáng)現(xiàn)實(2D游戲引擎SpriteKit)
  • 主流來了--3D增強(qiáng)現(xiàn)實(3D游戲引擎SceneKit)

幫老鐵在項目中理解：攝像頭-(x,y,z)->模型->模型自身(w,h,L,Sx,Sy,Sz)

四、ARKit與SceneKit的關(guān)系

  • 1复唤、在前三部分介紹過健田，AR技術(shù)叫做虛擬增強(qiáng)現(xiàn)實，也就是在相機(jī)捕捉到的現(xiàn)實世界的圖像中顯示一個虛擬的3D模型佛纫。這一過程可以分為兩步：
  • <1妓局、相機(jī)捕捉現(xiàn)實世界圖像
    • 由ARKit來實現(xiàn)
  • <2、在圖像中顯示虛擬3D模型
    • 由SceneKit來實現(xiàn)
  • 2呈宇、ARSCNView只是一個視圖容器跟磨，它的作用是管理一個ARSession，稱之為AR會話
  • 3攒盈、在一個完整的虛擬增強(qiáng)現(xiàn)實體驗中，ARKit框架只負(fù)責(zé)將真實世界畫面轉(zhuǎn)變?yōu)橐粋€3D場景哎榴，這一個轉(zhuǎn)變的過程主要分為兩個環(huán)節(jié)：由ARCamera負(fù)責(zé)捕捉攝像頭畫面型豁，由ARSession負(fù)責(zé)搭建3D場景
  • 4僵蛛、在一個完整的虛擬增強(qiáng)現(xiàn)實體驗中，將虛擬物體實現(xiàn)在3D場景中是由SceneKit框架來完成：每一個虛擬的物體都是一個節(jié)點SCNNode迎变，每一個節(jié)點構(gòu)成了一個場景SCNScene充尉，無數(shù)個場景構(gòu)成了3D世界
  • 5、綜上所述衣形，ARKit捕捉3D現(xiàn)實世界使用的是自身的功能驼侠，這個功能是在iOS11新增的。而ARKit在3D現(xiàn)實場景中添加虛擬物體使用的是父類SCNView的功能谆吴，這個功能早在iOS8時就已經(jīng)添加(SceneKit是iOS8新增)

    • 下面在介紹使用ARScnView不再重復(fù)這一關(guān)系倒源，可以簡單理解為：ARSCNView所有跟場景和虛擬物體相關(guān)的屬性及方法都是自己父類SCNView的


      ARClass.png

五、ARKit工作原理

1句狼、ARSCNView與ARSession
  • 1.1笋熬、無論ARKit是用3D的ARSCNView和2D的ARSKView，都是用了相機(jī)視圖作為背景視圖腻菇，而這一個相機(jī)的圖像就是由ARKit框架中的相機(jī)類ARCamera來捕捉的胳螟。
  • 1.2、ARSCNView與ARCamera兩者之間并沒有直接的關(guān)系筹吐，它們之間是通過AR會話（ARKit中非常重量級的一個類ARSession）來搭建溝通橋梁的
    • 在iOS框架中糖耸，凡是帶session或者context后綴的，這種類一般自己不干活丘薛，作用一般都是兩個：1.管理其他類嘉竟，幫助他們搭建溝通橋梁，好處就是解耦 2.負(fù)責(zé)幫助我們管理復(fù)雜環(huán)境下的內(nèi)存
      • context與session不同之處是：一般與硬件打交道榔袋，例如攝像頭捕捉ARSession周拐，網(wǎng)卡的調(diào)用NSURLSession等使用的都是session后綴。沒有硬件參與凰兑，一般用context妥粟，如繪圖上下文，自定義轉(zhuǎn)場上下文等
  • 1.3吏够、想要運行一個ARSession會話勾给，必須要指定一個稱之為“會話追蹤配置”的對象：ARSessionConfiguration，ARSessionConfiguration的主要目的就是負(fù)責(zé)追蹤相機(jī)在3D世界中的位置以及一些特征場景的捕捉（例如平面捕捉）锅知，這個類本身比較簡單卻作用巨大

  • ARSessionConfiguration是一個父類播急，為了更好的看到增強(qiáng)現(xiàn)實的效果，蘋果官方建議我們使用它的子類ARWorldTrackingSessionConfiguration,該類只支持A9芯片之后的機(jī)型（6s+）


    ARSessionConfiguration.png
2售睹、ARWorldTrackingSessionConfiguration與ARFrame
  • 2.1桩警、ARSession搭建溝通橋梁的參與者主要有兩個ARWorldTrackingSessionConfiguration與ARFrame
  • 2.2、ARWorldTrackingSessionConfiguration（會話追蹤配置）的作用是跟蹤設(shè)備的方向和位置,以及檢測設(shè)備攝像頭看到的現(xiàn)實世界的表面昌妹。它的內(nèi)部實現(xiàn)了一系列非常龐大的算法計算以及調(diào)用了你的iPhone必要的傳感器來檢測手機(jī)的移動及旋轉(zhuǎn)甚至是翻滾
  • 我們無需關(guān)心內(nèi)部實現(xiàn)捶枢，ARKit框架幫助我們封裝的非常完美握截，只需調(diào)用一兩個屬性即可
  • 2.3、當(dāng)ARWorldTrackingSessionConfiguration計算出相機(jī)在3D世界中的位置時烂叔，它本身并不持有這個位置數(shù)據(jù)谨胞，而是將其計算出的位置數(shù)據(jù)交給ARSession去管理（與前面說的session管理內(nèi)存相呼應(yīng)），而相機(jī)的位置數(shù)據(jù)對應(yīng)的類就是ARFrame
  • ARSession類一個屬性叫做currentFrame蒜鸡，維護(hù)的就是ARFrame這個對象
  • ARCamera只負(fù)責(zé)捕捉圖像胯努，不參與數(shù)據(jù)的處理。它屬于3D場景中的一個環(huán)節(jié)逢防，每一個3D Scene都會有一個Camera叶沛，它覺得了我們看物體的視野
3、ARKit工作完整流程
  • ARKit框架工作流程可以參考下圖:
  • 3.1胞四、ARSCNView加載場景SCNScene
  • 3.2恬汁、SCNScene啟動相機(jī)ARCamera開始捕捉場景
  • 3.3、捕捉場景后ARSCNView開始將場景數(shù)據(jù)交給Session
  • 3.4辜伟、Session通過管理ARSessionConfiguration實現(xiàn)場景的追蹤并且返回一個ARFrame
  • 3.5氓侧、給ARSCNView的scene添加一個子節(jié)點（3D物體模型)
WorlLifeCycle.png

它們?nèi)咧g的關(guān)系看起來如下圖：


ARSessionConfiguration&ARsession&ARframe.png

六、ARKitAPI翻譯

  • 先看一下系統(tǒng)FrameWork中的ARKit框架類圖

    ARHeaders.png

  • ARAnchor

    • 表示一個物體在3D空間的位置和方向（ARAnchor通常稱為物體的3D錨點导狡，有點像UIKit框架中CALayer的Anchor）
    • ARFrame表示的也是物體的位置和方向约巷，但是ARFrame通常表示的是AR相機(jī)的位置和方向以及追蹤相機(jī)的時間，還可以捕捉相機(jī)的幀圖片
    • 也就是說ARFrame用于捕捉相機(jī)的移動旱捧，其他虛擬物體用ARAnchor 
@interface ARAnchor : NSObject <NSCopying>

/**
 標(biāo)識符
 */
@property (nonatomic, readonly) NSUUID *identifier;

/**
 錨點的旋轉(zhuǎn)變換矩陣独郎，定義了錨點的旋轉(zhuǎn)、位置枚赡、縮放氓癌。是一個4x4的矩陣（讀者可以自行科普什么叫4x4矩陣）
 */
@property (nonatomic, readonly) matrix_float4x4 transform;

/**
 構(gòu)造方法,一般我們無需構(gòu)造。因為添加一個3D物體時ARKit會有代理告知我們物體的錨點
 */
- (instancetype)initWithTransform:(matrix_float4x4)transform;

@end

  • ARCamera


    ARCamera3DMap.png
    • ARCamera是一個相機(jī)贫橙，它是連接虛擬場景與現(xiàn)實場景之間的樞紐贪婉。在ARKit中，它是捕捉現(xiàn)實圖像的相機(jī)卢肃，在SceneKit中它又是3D虛擬世界中的相機(jī)疲迂。（一般第一人稱3D游戲，主角其實就是一個3D相機(jī)莫湘，我們電腦屏幕看到的畫面就是這個相機(jī)捕捉的畫面）
      • 一般我們無需去創(chuàng)建一個相機(jī)尤蒿，因為當(dāng)我們初始化一個AR試圖時，他會為我們默認(rèn)創(chuàng)建一個相機(jī)幅垮，而且這個相機(jī)就是攝像頭的位置腰池，同時也是3D世界中的原點所在（x=0,y=0,z=0）
      • ARCamera的API一般我們無需關(guān)心，因為ARKit會默認(rèn)幫助我們配置好
@interface ARCamera : NSObject <NSCopying>

/**
 4x4矩陣表示相機(jī)位置，同ARAnchor
 */
@property (nonatomic, readonly) matrix_float4x4 transform;

/**
相機(jī)方向（旋轉(zhuǎn)）的矢量歐拉角
分別是x/y/z
 */
@property (nonatomic, readonly) vector_float3 eulerAngles;

/**
 相機(jī)追蹤狀態(tài)（在下方會有枚舉值介紹）
 */
@property (nonatomic, readonly) ARTrackingState trackingState NS_REFINED_FOR_SWIFT;

/**
追蹤運動類型
 */
@property (nonatomic, readonly) ARTrackingStateReason trackingStateReason NS_REFINED_FOR_SWIFT;

/**
相機(jī)曲率（筆者有點費解巩螃，反復(fù)揣摩應(yīng)該是與焦距相關(guān)參數(shù)）
3x3矩陣
 fx 0   px
 0  fy  py
 0  0   1
 */
@property (nonatomic, readonly) matrix_float3x3 intrinsics;

/**
攝像頭分辨率
 */
@property (nonatomic, readonly) CGSize imageResolution;

/**
投影矩陣
*/
@property (nonatomic, readonly) matrix_float4x4 projectionMatrix;

/**
創(chuàng)建相機(jī)投影矩陣
 */
- (matrix_float4x4)projectionMatrixWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation zNear:(CGFloat)zNear zFar:(CGFloat)zFar;

@end

//相機(jī)追蹤狀態(tài)枚舉
typedef NS_ENUM(NSInteger, ARTrackingState) {
    
    /** 不被允許 */
    ARTrackingStateNotAvailable,
    
    /** 最小 */
    ARTrackingStateLimited,
    
    /** 正常. */
    ARTrackingStateNormal,
} NS_REFINED_FOR_SWIFT;

/**
 追蹤運動類型
 */
API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
typedef NS_ENUM(NSInteger, ARTrackingStateReason) {
    /** 無. */
    ARTrackingStateReasonNone,
    
    /** 運動. */
    ARTrackingStateReasonExcessiveMotion,
    
    /** 臉部捕捉. */
    ARTrackingStateReasonInsufficientFeatures,
} NS_REFINED_FOR_SWIFT;
  • ARError
    • ARError是一個描述ARKit錯誤的類演怎，這個錯誤來源于幾個方面，例如設(shè)備不支持避乏，或者當(dāng)相機(jī)常駐后臺時ARSession會斷開等問題
//作用域，一般會表示是哪一個類出現(xiàn)問題
NSString *const ARErrorDomain;

//錯誤碼描述  100：不支持會話追蹤配置甘桑，主線由于A9芯片以下的機(jī)型會報錯   101：失活狀態(tài) 102：傳感器故障  200：追蹤失敗
typedef NS_ERROR_ENUM(ARErrorDomain, ARErrorCode) {
    /** Unsupported session configuration. */
    ARErrorCodeUnsupportedConfiguration   = 100,

    /** A sensor required to run the session is not available. */
    ARErrorCodeSensorUnavailable          = 101,

    /** A sensor failed to provide the required input. */
    ARErrorCodeSensorFailed               = 102,

    /** World tracking has encountered a fatal error. */
    ARErrorCodeWorldTrackingFailed        = 200,
};
  • ARFrame
    • ARFrame主要是追蹤相機(jī)當(dāng)前的狀態(tài)拍皮，這個狀態(tài)不僅僅只是位置，還有圖像幀及時間等參數(shù)
 @interface ARFrame : NSObject <NSCopying>

/**
時間戳.
 */
@property (nonatomic, readonly) NSTimeInterval timestamp;

/**
 緩沖區(qū)圖像幀
 */
@property (nonatomic, readonly) CVPixelBufferRef capturedImage;

/**
相機(jī)（表示這個ARFrame是哪一個相機(jī)的跑杭，iPhone7plus有兩個攝像機(jī)）
 */
@property (nonatomic, copy, readonly) ARCamera *camera;

/**
 返回當(dāng)前相機(jī)捕捉到的錨點數(shù)據(jù)（當(dāng)一個3D虛擬模型加入到ARKit中時铆帽，錨點值得就是這個模型在AR中的位置）
 */
@property (nonatomic, copy, readonly) NSArray<ARAnchor *> *anchors;

/**
燈光，詳情可見本章節(jié)ARLightEstimate類介紹（指的是燈光強(qiáng)度 一般是0-2000德谅，系統(tǒng)默認(rèn)1000）
 */
@property (nonatomic, copy, nullable, readonly) ARLightEstimate *lightEstimate;

/**
特征點（應(yīng)該是捕捉平地或者人臉的爹橱，比較蘋果有自帶的人臉識別功能）
 */
@property (nonatomic, nullable, readonly) ARPointCloud *rawFeaturePoints;

/**
根據(jù)2D坐標(biāo)點搜索3D模型，這個方法通常用于窄做，當(dāng)我們在手機(jī)屏幕點擊某一個點的時候愧驱，可以捕捉到這一個點所在的3D模型的位置，至于為什么是一個數(shù)組非常好理解椭盏。手機(jī)屏幕一個是長方形组砚，這是一個二維空間。而相機(jī)捕捉到的是一個由這個二維空間射出去的長方體掏颊，我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線糟红，這一條線上可能會有多個3D物體模型
point：2D坐標(biāo)點（手機(jī)屏幕某一點）
ARHitTestResultType：捕捉類型  點還是面
(NSArray<ARHitTestResult *> *)：追蹤結(jié)果數(shù)組  詳情見本章節(jié)ARHitTestResult類介紹

 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

/**
相機(jī)窗口的的坐標(biāo)變換（可用于相機(jī)橫豎屏的旋轉(zhuǎn)適配）
 */
- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;

@end
  • ARHitTestResult
    • ARHitTestResult：點擊回調(diào)結(jié)果，這個類主要用于虛擬增強(qiáng)現(xiàn)實技術(shù)（AR技術(shù)）中現(xiàn)實世界與3D場景中虛擬物體的交互乌叶。 比如我們在相機(jī)中移動盆偿。拖拽3D虛擬物體，都可以通過這個類來獲取ARKit所捕捉的結(jié)果
//捕捉類型枚舉
typedef NS_OPTIONS(NSUInteger, ARHitTestResultType) {
    /** 點. */
    ARHitTestResultTypeFeaturePoint              = (1 << 0),

    /** 水平面 y為0. */
    ARHitTestResultTypeEstimatedHorizontalPlane  = (1 << 1),

    /** 已結(jié)存在的平面. */
    ARHitTestResultTypeExistingPlane             = (1 << 3),

    /** 已結(jié)存在的錨點和平面. */
    ARHitTestResultTypeExistingPlaneUsingExtent  = (1 << 4),
} NS_SWIFT_NAME(ARHitTestResult.ResultType);

/**
捕捉類型
 */
@property (nonatomic, readonly) ARHitTestResultType type;

/**
 3D虛擬物體與相機(jī)的距離（單位：米）
 */
@property (nonatomic, readonly) CGFloat distance;

/**
本地坐標(biāo)矩陣（世界坐標(biāo)指的是相機(jī)為場景原點的坐標(biāo)准浴，而每一個3D物體自身有一個場景事扭，本地坐標(biāo)就是相對于這個場景的坐標(biāo)）類似于frame和bounds的區(qū)別
 */
@property (nonatomic, readonly) matrix_float4x4 localTransform;

/**
世界坐標(biāo)矩陣
 */
@property (nonatomic, readonly) matrix_float4x4 worldTransform;

/**
 錨點（3D虛擬物體，在虛擬世界有一個位置兄裂，這個位置參數(shù)是SceneKit中的SCNVector3：三維矢量）句旱，而錨點anchor是這個物體在AR現(xiàn)實場景中的位置，是一個4x4的矩陣
 */
@property (nonatomic, strong, nullable, readonly) ARAnchor *anchor;

@end
  • ARLightEstimate
    • ARLightEstimate是一個燈光效果晰奖，它可以讓你的AR場景看起來更加的好
@interface ARLightEstimate : NSObject <NSCopying>

/**
燈光強(qiáng)度  范圍0-2000 默認(rèn)1000
 */
@property (nonatomic, readonly) CGFloat ambientIntensity;

@end
  • ARPlaneAnchor
    • ARPlaneAnchor是ARAnchor的子類谈撒，筆者稱之為平地錨點。ARKit能夠自動識別平地匾南，并且會默認(rèn)添加一個錨點到場景中啃匿，當(dāng)然要想看到真實世界中的平地效果，需要我們自己使用SCNNode來渲染這個錨點
/**
平地類型，目前只有一個溯乒，就是水平面
 */
@property (nonatomic, readonly) ARPlaneAnchorAlignment alignment;

/**
3軸矢量結(jié)構(gòu)體夹厌，表示平地的中心點  x/y/z
 */
@property (nonatomic, readonly) vector_float3 center;

/**
3軸矢量結(jié)構(gòu)體，表示平地的大旭汕摹（寬度和高度）  x/y/z
 */
@property (nonatomic, readonly) vector_float3 extent;

@end
  • ARPointCloud
    • ARPointCloud：點狀渲染云矛纹，主要用于渲染場景
@interface ARPointCloud : NSObject <NSCopying>

/**
 點的數(shù)量
 */
@property (nonatomic, readonly) NSUInteger count;

/**
每一個點的位置的集合（結(jié)構(gòu)體帶*表示的是結(jié)構(gòu)體數(shù)組）
 */
@property (nonatomic, readonly) const vector_float3 *points;

@end
  • ARSCNView
    • AR視圖，在第一部分介紹過光稼，ARKit支持3D的AR場景和2D的AR場景或南，ARSCNView是3D的AR場景視圖
    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一
@interface ARSCNView : SCNView

/**
代理
 */
@property (nonatomic, weak, nullable) id<ARSCNViewDelegate> delegate;

/**
AR會話
 */
@property (nonatomic, strong) ARSession *session;

/**
場景
 */
@property(nonatomic, strong) SCNScene *scene;

/**
是否自動適應(yīng)燈光
 */
@property(nonatomic) BOOL automaticallyUpdatesLighting;

/**
返回對應(yīng)節(jié)點的錨點，節(jié)點是一個3D虛擬物體艾君，它的坐標(biāo)是虛擬場景中的坐標(biāo)采够，而錨點ARAnchor是ARKit中現(xiàn)實世界的坐標(biāo)。
 */
- (nullable ARAnchor *)anchorForNode:(SCNNode *)node;

/**
返回對應(yīng)錨點的物體
 */
- (nullable SCNNode *)nodeForAnchor:(ARAnchor *)anchor;

/**
根據(jù)2D坐標(biāo)點搜索3D模型冰垄，這個方法通常用于蹬癌，當(dāng)我們在手機(jī)屏幕點擊某一個點的時候，可以捕捉到這一個點所在的3D模型的位置虹茶，至于為什么是一個數(shù)組非常好理解逝薪。手機(jī)屏幕一個是長方形，這是一個二維空間写烤。而相機(jī)捕捉到的是一個由這個二維空間射出去的長方體翼闽，我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線，這一條線上可能會有多個3D物體模型
point：2D坐標(biāo)點（手機(jī)屏幕某一點）
ARHitTestResultType：捕捉類型  點還是面
(NSArray<ARHitTestResult *> *)：追蹤結(jié)果數(shù)組  詳情見本章節(jié)ARHitTestResult類介紹
數(shù)組的結(jié)果排序是由近到遠(yuǎn)
 */
- (NSArray<ARHitTestResult *> *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;

@end

//代理
#pragma mark - ARSCNViewDelegate


//代理的內(nèi)部實現(xiàn)了SCNSceneRendererDelegate：scenekit代理 和ARSessionObserver：ARSession監(jiān)聽（KVO機(jī)制）
@protocol ARSCNViewDelegate <SCNSceneRendererDelegate, ARSessionObserver>
@optional

/**
自定義節(jié)點的錨點
 */
- (nullable SCNNode *)renderer:(id <SCNSceneRenderer>)renderer nodeForAnchor:(ARAnchor *)anchor;

/**
當(dāng)添加節(jié)點是會調(diào)用洲炊，我們可以通過這個代理方法得知我們添加一個虛擬物體到AR場景下的錨點（AR現(xiàn)實世界中的坐標(biāo)）
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didAddNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
將要刷新節(jié)點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer willUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 已經(jīng)刷新節(jié)點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didUpdateNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

/**
 移除節(jié)點
 */
- (void)renderer:(id <SCNSceneRenderer>)renderer didRemoveNode:(SCNNode *)node forAnchor:(ARAnchor *)anchor;

@end
  • ARSession
    • AR會話感局，它的作用已經(jīng)在前面小節(jié)中介紹，這里不再累述
    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一
    • ARSession是一個連接底層與AR視圖之間的橋梁暂衡，其實ARSCNView內(nèi)部所有的代理方法都是由ARSession來提供的
    • ARSession與ARScnView之間的關(guān)系看起來是這樣的:

    • 該類是整個ARKit框架中唯一兩個有代理的類其中之一


      ARSession.png
      • ARSession獲取相機(jī)位置數(shù)據(jù)主要有兩種方式
        • 第一種：push询微。 實時不斷的獲取相機(jī)位置，由ARSession主動告知用戶狂巢。通過實現(xiàn)ARSession的代理- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame來獲取
        • 第二種：pull撑毛。 用戶想要時，主動去獲取唧领。ARSession的屬性currentFrame來獲取
      • API介紹
@interface ARSession : NSObject

/**
 代理
 */
@property (nonatomic, weak) id <ARSessionDelegate> delegate;

/**
指定代理執(zhí)行的線程（主線程不會有延遲藻雌，子線程會有延遲），不指定的話默認(rèn)主線程
 */
@property (nonatomic, strong, nullable) dispatch_queue_t delegateQueue;

/**
相機(jī)當(dāng)前的位置（是由會話追蹤配置計算出來的）
 */
@property (nonatomic, copy, nullable, readonly) ARFrame *currentFrame;

/**
 會話追蹤配置
 */
@property (nonatomic, copy, nullable, readonly) ARSessionConfiguration *configuration;

/**
運行會話（這行代碼就是開啟AR的關(guān)鍵所在）
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration NS_SWIFT_UNAVAILABLE("Use run(_:options:)");

/**
運行會話斩个，只是多了一個參數(shù)ARSessionRunOptions：作用就是會話斷開重連時的行為胯杭。ARSessionRunOptionResetTracking：表示充值追蹤  ARSessionRunOptionRemoveExistingAnchors：移除現(xiàn)有錨點
 */
- (void)runWithConfiguration:(ARSessionConfiguration *)configuration options:(ARSessionRunOptions)options NS_SWIFT_NAME(run(_:options:));

/**
暫停會話
 */
- (void)pause;

/**
添加錨點
 */
- (void)addAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(add(anchor:));

/**
移除錨點
 */
- (void)removeAnchor:(ARAnchor *)anchor NS_SWIFT_NAME(remove(anchor:));

@end

//session代理分類兩部分，一個是觀察者（KVO） 一個是委托者（代理）
#pragma mark - ARSessionObserver


//session KVO觀察者
@protocol ARSessionObserver <NSObject>

@optional

/**
 session失敗
 */
- (void)session:(ARSession *)session didFailWithError:(NSError *)error;

/**
相機(jī)改變追蹤狀態(tài)
 */
- (void)session:(ARSession *)session cameraDidChangeTrackingState:(ARCamera *)camera;

/**
 session意外斷開（如果開啟ARSession之后受啥，APP退到后臺就有可能導(dǎo)致會話斷開）
 */
- (void)sessionWasInterrupted:(ARSession *)session;

/**
session會話斷開恢復(fù)（短時間退到后臺再進(jìn)入APP會自動恢復(fù)）
 */
- (void)sessionInterruptionEnded:(ARSession *)session;

@end

#pragma mark - ARSessionDelegate



@protocol ARSessionDelegate <ARSessionObserver>

@optional

/**
 更新相機(jī)位置
 */
- (void)session:(ARSession *)session didUpdateFrame:(ARFrame *)frame;

/**
添加錨點
 */
- (void)session:(ARSession *)session didAddAnchors:(NSArray<ARAnchor*>*)anchors;

/**
刷新錨點
 */
- (void)session:(ARSession *)session didUpdateAnchors:(NSArray<ARAnchor*>*)anchors;

/**
移除錨點
 */
- (void)session:(ARSession *)session didRemoveAnchors:(NSArray<ARAnchor*>*)anchors;

@end
  • ARSessionConfiguration
    • ARSessionConfiguration會話追蹤配置做个，主要就是追蹤相機(jī)的配置
    • 注意：該類還有一個子類：ARWorldTrackingSessionConfiguration鸽心，它們在同一個API文件中
//會話追蹤配置類
@interface ARSessionConfiguration : NSObject <NSCopying>

/**
當(dāng)前設(shè)備是否支持，一般A9芯片以下設(shè)備不支持
 */
@property(class, nonatomic, readonly) BOOL isSupported;

/**
會話的對其方式居暖，這里的對其指的是3D世界的坐標(biāo)顽频。枚舉值見下方
 */
@property (nonatomic, readwrite) ARWorldAlignment worldAlignment;

/**
是否需要自適應(yīng)燈光效果，默認(rèn)是YES
 */
@property (nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;

@end


//世界會話追蹤配置太闺，蘋果建議我們使用這個類糯景，這個子類只有一個屬性，也就是可以幫助我們追蹤相機(jī)捕捉到的平地
@interface ARWorldTrackingSessionConfiguration : ARSessionConfiguration

/**
偵查類型省骂。枚舉值見下方（默認(rèn)偵查平地）
 */
@property (nonatomic, readwrite) ARPlaneDetection planeDetection;

@end

//追蹤對其方式莺奸，這個決定了會話的參考坐標(biāo)系（參照物）
typedef NS_ENUM(NSInteger, ARWorldAlignment) {
/* 相機(jī)位置 vector (0, -1, 0) /
ARWorldAlignmentGravity,
/** 相機(jī)位置及方向. vector (0, -1, 0)
 heading ：(0, 0, -1) */
ARWorldAlignmentGravityAndHeading,
/** 相機(jī)方向. */
ARWorldAlignmentCamera
} NS_SWIFT_NAME(ARSessionConfiguration.WorldAlignment);

/
偵查類型
*/
API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(macos, watchos, tvos)
typedef NS_OPTIONS(NSUInteger, ARPlaneDetection) {
/ 不偵查. */
ARPlaneDetectionNone = 0,
/** 平地偵查 */
ARPlaneDetectionHorizontal  = (1 << 0),
} NS_SWIFT_NAME(ARWorldTrackingSessionConfiguration.PlaneDetection);
  • ARSKView
    • ARSKView也是AR視圖，只不過他是2D的冀宴，由于2D比3D簡單很多，并且ARSKView基本與ARSCNView類似温学，所以這里不做重復(fù)介紹略贮。詳細(xì)內(nèi)容可參考ARSCNView

七、寫一個入門級程序 幫助理解

八仗岖、總結(jié)和討論

未來暢想：不僅識別節(jié)點逃延，還識別環(huán)境溫度，熱量轧拄，等揽祥。區(qū)分活物和靜物畫面會更真實。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末檩电，一起剝皮案震驚了整個濱河市拄丰，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌俐末，老刑警劉巖料按，帶你破解...
    沈念sama閱讀 218,755評論 6贊 507
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異卓箫，居然都是意外死亡载矿，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門烹卒，熙熙樓的掌柜王于貴愁眉苦臉地迎上來闷盔，“玉大人，你說我怎么就攤上這事旅急》旯矗” “怎么了？”我有些...
    開封第一講書人閱讀 165,138評論 0贊 355
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵坠非，是天一觀的道長敏沉。 經(jīng)常有香客問我，道長，這世上最難降的妖魔是什么盟迟？ 我笑而不...
    開封第一講書人閱讀 58,791評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任秋泳，我火速辦了婚禮，結(jié)果婚禮上攒菠，老公的妹妹穿的比我還像新娘迫皱。我一直安慰自己，他們只是感情好辖众，可當(dāng)我...
    茶點故事閱讀 67,794評論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布卓起。 她就那樣靜靜地躺著签杈，像睡著了一般媳溺。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上丘损，一...
    開封第一講書人閱讀 51,631評論 1贊 305
  • 城市分裂傳說
    那天啤它，我揣著相機(jī)與錄音奕筐，去河邊找鬼。 笑死变骡，一個胖子當(dāng)著我的面吹牛离赫，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播塌碌，決...
    沈念sama閱讀 40,362評論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼渊胸，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了台妆？” 一聲冷哼從身側(cè)響起翎猛，我...
    開封第一講書人閱讀 39,264評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎频丘，沒想到半個月后办成，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,724評論 1贊 315
  • ?護(hù)林員之死
    正文 獨居荒郊野嶺守林人離奇死亡搂漠，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年迂卢，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片桐汤。...
    茶點故事閱讀 40,040評論 1贊 350
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡而克，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出怔毛，到底是詐尸還是另有隱情员萍，我是刑警寧澤，帶...
    沈念sama閱讀 35,742評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布拣度，位于F島的核電站碎绎，受9級特大地震影響螃壤，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜筋帖，卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3贊 330
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一奸晴、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧日麸，春花似錦寄啼、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0贊 22
  • 一樁弒父案墩划，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至嗡综，卻和暖如春乙帮，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背极景。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1贊 270
  • 情欲美人皮
    我被黑心中介騙來泰國打工蚣旱， 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人戴陡。 一個月前我還...
    沈念sama閱讀 48,247評論 3贊 371
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像沟涨，于是被迫代替她去往敵國和親恤批。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,979評論 2贊 355

推薦閱讀更多精彩內(nèi)容

  • 一裹赴、AR簡介： 多媒體捕捉現(xiàn)實圖像：如攝像頭 三維建模:3D立體模型 傳感器追蹤:主要追蹤現(xiàn)實世界動態(tài)物體的六軸變...
    DeerRun閱讀 1,430評論 0贊 2
  • 一喜庞、AR簡介： 增強(qiáng)現(xiàn)實技術(shù)（Augmented Reality，簡稱 AR）棋返，是一種實時地計算攝影機(jī)影像的位置及...
    rectinajh閱讀 2,076評論 0贊 6
  • ARkit Introducing ARKit iOS 11引入ARKit延都，這是 個全新的框架，允許開發(fā)者輕松地為...
    坤哥愛卿閱讀 1,342評論 0贊 1
  • 一首悠揚(yáng)的琴曲睛竣，繞梁三日晰房，眾人嘖嘖稱奇，贊不絕口射沟。琴高傲了起來:“你聽殊者，我的聲音是多么的動聽呀！” 手指聽了...
    差很大閱讀 269評論 0贊 0
  • 關(guān)于閱讀門檻這個事情验夯，我有點想說的東西猖吴。其實，我一直推崇的是沒有門檻的閱讀挥转。我想要自己的文字通俗易懂容易理解海蔽，至少...
    李一十八閱讀 1,200評論 0贊 1