ARKit

集成iOS設備相機和動作功能骤视,在您的應用或游戲中產生增強現(xiàn)實體驗。

SDK

  • iOS 11.0+

概觀

一個增強現(xiàn)實(AR)描述了用戶體驗,從設備的攝像頭的方式袜爪,使這些元素似乎居住在現(xiàn)實世界中添加2D或3D元素到實時取景贰谣。ARKit結合了設備運動跟蹤娜搂,攝像機場景捕捉,高級場景處理和顯示便利性吱抚,簡化了構建AR體驗的任務百宇。您可以使用這些技術使用iOS設備的后置攝像頭或前置攝像頭創(chuàng)建多種AR體驗。

使用后置攝像頭增強現(xiàn)實感

最常見的AR體驗類型顯示來自iOS設備的后置攝像頭的視圖秘豹,并通過其他可視內容進行擴充携御,為用戶提供了一種查看周圍世界并與之交互的新方式。

ARWorld Tracking Configuration提供這種體驗:ARKit映射和跟蹤用戶所居住的真實世界空間,并將其與坐標空間相匹配啄刹,以便您放置虛擬內容涮坐。世界跟蹤還提供使AR體驗更具沉浸感的功能,例如識別用戶環(huán)境中的對象和圖像以及響應真實世界的光照條件誓军。

注意

您可以在用戶的??真實環(huán)境中顯示3D對象袱讹,而無需構建自定義AR體驗。在iOS 12中昵时,當您在應用程序中使用USDZ文件時捷雕,系統(tǒng)會為3D對象提供AR視圖,或者在Web內容中使用帶有USDZ文件的Safari或WebKit债查。QLPreview Controller

使用前置攝像頭增強現(xiàn)實感

在iPhone X上非区,ARFace Tracking Configuration使用前置TrueDepth相機提供有關用戶臉部姿勢和表情的實時信息,供您在渲染虛擬內容時使用盹廷。例如征绸,您可以在攝像機視圖中顯示用戶的面部并提供逼真的虛擬遮罩。您還可以省略攝像機視圖并使用ARKit面部表情數(shù)據為虛擬角色設置動畫俄占,如iMessage的Animoji應用程序中所示管怠。

主題

第一步

驗證設備支持和用戶權限

確保您的應用可以使用ARKit并尊重用戶隱私。

class ARSession

一個共享對象缸榄,用于管理增強現(xiàn)實體驗所需的設備攝像頭和運動處理渤弛。

class ARConfiguration

AR會話配置的抽象基類。

顯示

class ARSCNView

用于顯示增強使用3D SceneKit內容的攝像機視圖的AR體驗的視圖甚带。

class ARSKView

用于顯示增強使用2D SpriteKit內容的攝像機視圖的AR體驗的視圖她肯。

使用 metal 顯示AR體驗

通過渲染攝像機圖像并使用位置跟蹤信息來顯示疊加內容,從而構建自定義AR視圖鹰贵。

世界追蹤

創(chuàng)建AR體驗晴氨,允許用戶使用設備的后置攝像頭探索周圍世界中的虛擬內容。

建立您的第一個AR體驗

創(chuàng)建運行AR會話的應用程序碉输,并使用平面檢測使用SceneKit放置3D內容籽前。

了解ARKit中的世界跟蹤

發(fā)現(xiàn)支持概念,功能和最佳實踐敷钾,以構建出色的AR體驗枝哄。

class ARWorldTrackingConfiguration

使用后置攝像頭的配置,跟蹤設備的方向和位置阻荒,并檢測真實世界的表面挠锥,以及已知的圖像或對象。

class ARPlaneAnchor

有關在世界跟蹤AR會話中檢測到的真實世界平面的位置和方向的信息侨赡。

class AREnvironmentProbeAnchor

在世界跟蹤AR會話中為特定空間區(qū)域提供環(huán)境照明信息的對象瘪贱。

用戶體驗

按照以下示例和人機界面指南 > 增強現(xiàn)實纱控,構建引人注目的直觀AR體驗。

管理會話生命周期和跟蹤質量

通過提供清晰的反饋菜秦,從中斷中恢復以及恢復以前的會話,使您的AR體驗更加強大舶掖。

在增強現(xiàn)實中處理3D交互和UI控件

遵循AR體驗中的視覺反饋球昨,手勢交互和逼真渲染的最佳實踐。

快速拍攝:為增強現(xiàn)實創(chuàng)造游戲

了解Apple如何為WWDC18構建精選演示眨攘,并獲得使用ARKit主慰,SceneKit和Swift制作自己的多人游戲的技巧。

AR世界分享和堅持

創(chuàng)建多用戶AR體驗

使用MultipeerConnectivity框架在附近設備之間傳輸ARKit世界地圖數(shù)據鲫售,為AR體驗創(chuàng)建共享基礎共螺。

創(chuàng)建持久的AR體驗

保存并加載ARKit世界地圖數(shù)據,以允許用戶在相同的真實環(huán)境中返回之前的AR體驗情竹。

class ARWorldMap

來自世界跟蹤AR會話的空間映射狀態(tài)和錨點集藐不。

圖像檢測和跟蹤

在用戶環(huán)境中使用已知的2D圖像來增強世界跟蹤AR會話。

識別AR體驗中的圖像

檢測用戶環(huán)境中的已知2D圖像秦效,并使用其位置放置AR內容雏蛮。

class ARReferenceImage

在世界跟蹤AR會話期間在現(xiàn)實世界環(huán)境中識別的圖像。

class ARImageAnchor

有關在世界跟蹤AR會話中檢測到的圖像的位置和方向的信息阱州。

物體檢測

使用用戶環(huán)境中的已知3D對象來增強世界跟蹤AR會話挑秉。

掃描和檢測3D對象

記錄現(xiàn)實世界對象的空間特征,然后使用結果在用戶環(huán)境中查找這些對象并觸發(fā)AR內容苔货。

class ARReferenceObject

在世界跟蹤AR會話期間在真實世界環(huán)境中識別的3D對象犀概。

class ARObjectAnchor

有關在世界跟蹤AR會話中檢測到的真實3D對象的位置和方向的信息。

class ARObjectScanningConfiguration

一種配置夜惭,使用后置攝像頭收集高保真空間數(shù)據姻灶,用于掃描3D對象以便以后檢測。

命中測試和真實世界的位置

class ARHitTestResult

通過檢查AR會話的設備攝像機視圖中的點找到有關真實世界表面的信息滥嘴。

class ARAnchor

可用于在AR場景中放置對象的真實世界位置和方向木蹬。

protocol ARAnchorCopying

支持自定義ARAnchor子類。

protocol ARTrackable

場景中的真實世界對象若皱,ARKit跟蹤位置和方向的變化镊叁。

相機和場景細節(jié)

class ARFrame

具有位置跟蹤信息的視頻圖像作為AR會話的一部分被捕獲。

class ARCamera

有關AR會話中捕獲的視頻幀的攝像機位置和成像特征的信息走触。

class ARLightEstimate

與AR會話中捕獲的視頻幀相關聯(lián)的估計場景照明信息晦譬。

面部追蹤

使用iPhone X上的TrueDepth相機創(chuàng)建響應用戶臉部和面部表情的AR體驗。

創(chuàng)建基于臉部的AR體驗

使用面部跟蹤AR會話提供的信息來放置3D內容并為其添加動畫互广。

class ARFaceTrackingConfiguration

使用TrueDepth相機跟蹤用戶臉部的移動和表情的配置敛腌。

class ARFaceAnchor

有關在面部跟蹤AR會話中檢測到的面部的姿勢卧土,拓撲和表情的信息。

class ARDirectionalLightEstimate

在面部跟蹤AR會話中與捕獲的視頻幀相關聯(lián)的估計的環(huán)境照明信息像樊。

專業(yè)配置

class AROrientationTrackingConfiguration

使用后置攝像頭并僅跟蹤設備方向的配置尤莺。

class ARImageTrackingConfiguration

使用后置攝像頭檢測和跟蹤已知圖像的配置。

相關技術

使用音頻創(chuàng)建沉浸式AR體驗

使用聲音效果和環(huán)境聲音層創(chuàng)建引人入勝的AR體驗生棍。

使用ARKit實時使用Vision

管理Vision資源以有效執(zhí)行Core ML圖像分類器颤霎,并使用SpriteKit在AR中顯示圖像分類器輸出。

原文:https://developer.apple.com/documentation/arkit/

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末涂滴,一起剝皮案震驚了整個濱河市友酱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌柔纵,老刑警劉巖缔杉,帶你破解...
    沈念sama閱讀 218,682評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異搁料,居然都是意外死亡或详,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評論 3 395
  • 文/潘曉璐 我一進店門加缘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鸭叙,“玉大人,你說我怎么就攤上這事拣宏∩虮矗” “怎么了?”我有些...
    開封第一講書人閱讀 165,083評論 0 355
  • 文/不壞的土叔 我叫張陵勋乾,是天一觀的道長冠胯。 經常有香客問我许起,道長碱璃,這世上最難降的妖魔是什么计济? 我笑而不...
    開封第一講書人閱讀 58,763評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮各吨,結果婚禮上枝笨,老公的妹妹穿的比我還像新娘。我一直安慰自己揭蜒,他們只是感情好横浑,可當我...
    茶點故事閱讀 67,785評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著屉更,像睡著了一般徙融。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上瑰谜,一...
    開封第一講書人閱讀 51,624評論 1 305
  • 那天欺冀,我揣著相機與錄音树绩,去河邊找鬼。 笑死隐轩,一個胖子當著我的面吹牛饺饭,可吹牛的內容都是我干的。 我是一名探鬼主播职车,決...
    沈念sama閱讀 40,358評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼砰奕,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了提鸟?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,261評論 0 276
  • 序言:老撾萬榮一對情侶失蹤仅淑,失蹤者是張志新(化名)和其女友劉穎称勋,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體涯竟,經...
    沈念sama閱讀 45,722評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡赡鲜,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了庐船。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片银酬。...
    茶點故事閱讀 40,030評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖筐钟,靈堂內的尸體忽然破棺而出揩瞪,到底是詐尸還是另有隱情,我是刑警寧澤篓冲,帶...
    沈念sama閱讀 35,737評論 5 346
  • 正文 年R本政府宣布李破,位于F島的核電站,受9級特大地震影響壹将,放射性物質發(fā)生泄漏嗤攻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,360評論 3 330
  • 文/蒙蒙 一诽俯、第九天 我趴在偏房一處隱蔽的房頂上張望妇菱。 院中可真熱鬧,春花似錦暴区、人聲如沸闯团。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,941評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽偷俭。三九已至,卻和暖如春缰盏,著一層夾襖步出監(jiān)牢的瞬間涌萤,已是汗流浹背淹遵。 一陣腳步聲響...
    開封第一講書人閱讀 33,057評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留负溪,地道東北人透揣。 一個月前我還...
    沈念sama閱讀 48,237評論 3 371
  • 正文 我出身青樓,卻偏偏與公主長得像川抡,于是被迫代替她去往敵國和親辐真。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,976評論 2 355

推薦閱讀更多精彩內容