ARKit-官方文檔翻譯系列(1)概覽

ARKit

集成iOS設備相機和動作功能蜘犁,在您的應用或游戲中產(chǎn)生增強現(xiàn)實體驗


概覽

增強現(xiàn)實(AR)描述了用戶體驗姚炕,從設備的攝像頭的方式征唬,添加2D或3D元素到實時視圖,使這些元素看起來生活在現(xiàn)實世界中菩咨。ARKit結合了設備運動跟蹤吠式,攝像機場景捕捉,高級場景處理和顯示便利性旦委,并且顯示出了簡化了構建AR體驗的便利。你可以使用這些技術使用iOS設備的后置攝像頭或前置攝像頭創(chuàng)建多種AR體驗雏亚。

使用后置攝像頭增強現(xiàn)實感

最常見的AR體驗類型從iOS設備的后置攝像頭來展示一個視圖缨硝,并通過其他可視內容進行增強,為用戶提供了一種查看周圍世界并與之交互的新方式罢低。

ARWorldTrackingConfiguration提供這種體驗:ARKit映射和跟蹤用戶所居住的真實世界空間查辩,并為你把坐標空間與虛擬內容相匹配。世界跟蹤還提供功能使AR體驗更具沉浸感(更加身臨其境)网持,例如識別用戶環(huán)境中的對象和圖像以及響應現(xiàn)實世界的光照條件宜岛。

注意

您可以在用戶的??真實環(huán)境中顯示3D對象,而無需構建自定義AR體驗功舀。在iOS 12中萍倡,當您在應用程序中使用帶有USDZ文件的 QLPreviewController時,或者在Web內容中使用帶有USDZ文件的Safari或WebKit時,系統(tǒng)會為3D對象提供AR視圖辟汰。

使用前置攝像頭增強現(xiàn)實感

在iPhone X上列敲,ARFaceTrackingConfiguration使用前置TrueDepth相機提供有關用戶臉部姿勢和表情的實時信息,供你在渲染虛擬內容時使用帖汞。例如戴而,您可以在攝像機視圖中顯示用戶的面部并提供逼真的虛擬遮罩。您還可以省略攝像機視圖并使用ARKit面部表情數(shù)據(jù)為虛擬角色設置動畫翩蘸,如iMessage的Animoji應用程序中所示所意。

話題

第一步

驗證設備支持和用戶權限

確保您的應用可以使用ARKit并尊重用戶隱私。

ARSession

一個共享對象催首,用于管理增強現(xiàn)實體驗所需的設備攝像頭和運動處理扶踊。

ARConfiguration

AR會話配置的抽象基類。

顯示

ARSCNView

用于顯示增強使用3D SceneKit內容的攝像機視圖的AR體驗的視圖郎任。

ARSKView

用于顯示增強使用2D SpriteKit內容的攝像機視圖的AR體驗的視圖姻檀。

使用Metal顯示AR體驗

通過渲染攝像機圖像并使用位置跟蹤信息來顯示疊加內容,從而構建自定義AR視圖涝滴。

世界追蹤

創(chuàng)建AR體驗绣版,允許用戶使用設備的后置攝像頭探索周圍世界中的虛擬內容胶台。

建立您的第一個AR體驗

創(chuàng)建運行AR會話的應用程序,并使用平面檢測使用SceneKit放置3D內容杂抽。

了解ARKit中的世界跟蹤

發(fā)現(xiàn)支持概念诈唬,功能和最佳實踐,以構建出色的AR體驗缩麸。

ARWorldTrackingConfiguration

一種配置铸磅,使用后置攝像頭,跟蹤設備的方向和位置杭朱,并檢測真實世界的表面阅仔,以及已知的圖像或對象。

ARPlaneAnchor

有關在世界跟蹤AR會話中檢測到的真實世界平面的位置和方向的信息弧械。

用戶體驗

按照以下示例和人機界面指南>增強現(xiàn)實八酒,構建引人注目的直觀AR體驗。

管理會話生命周期和跟蹤質量

通過提供清晰的反饋刃唐,從中斷中恢復以及恢復以前的會話羞迷,使您的AR體驗更加強大。

在增強現(xiàn)實中處理3D交互和UI控件

遵循AR體驗中的視覺反饋画饥,手勢交互和逼真渲染的最佳實踐衔瓮。

SwiftShot: 為增強現(xiàn)實制作一個游戲

了解Apple如何構建WWDC18的精選演示,并獲得使用ARKit抖甘,SceneKit和Swift制作自己的多人游戲的技巧热鞍。

AR世界分享與堅持

創(chuàng)建多用戶AR體驗

使用MultipeerConnectivity框架在附近設備之間傳輸ARKit世界地圖數(shù)據(jù),為AR體驗創(chuàng)建共享基礎衔彻。

創(chuàng)建持久的AR體驗

保存并加載ARKit世界地圖數(shù)據(jù)碍现,以允許用戶在相同的真實環(huán)境中返回之前的AR體驗。

ARWorldMap

來自世界跟蹤AR會話的空間映射狀態(tài)和錨點集米奸。

環(huán)境紋理

為AR體驗添加真實的反思

使用ARKit從攝像機圖像生成環(huán)境探測紋理并渲染反射虛擬對象昼接。

AREnvironmentProbeAnchor

在世界跟蹤AR會話中為特定空間區(qū)域提供環(huán)境照明信息的對象。

圖像檢測和跟蹤

在用戶環(huán)境中使用已知的2D圖像來增強世界跟蹤AR會話悴晰。

識別AR體驗中的圖像

在用戶環(huán)境中檢測已知的2D圖像慢睡,并使用它們的位置放置AR內容。

ARReferenceImage

在世界跟蹤AR會話期間在現(xiàn)實世界環(huán)境中識別的圖像铡溪。

ARImageAnchor

有關在世界跟蹤AR會話中檢測到的圖像的位置和方向的信息漂辐。

物體檢測

使用用戶環(huán)境中的已知3D對象來增強世界跟蹤AR會話。

掃描和檢測3D對象

記錄現(xiàn)實世界對象的空間特征棕硫,然后使用結果在用戶環(huán)境中查找這些對象并觸發(fā)AR內容髓涯。

ARReferenceObject

在世界跟蹤AR會話期間在真實世界環(huán)境中識別的3D對象。

ARObjectAnchor

有關在世界跟蹤AR會話中檢測到的真實3D對象的位置和方向的信息哈扮。

ARObjectScanningConfiguration

一種配置纬纪,使用后置攝像頭收集高保真空間數(shù)據(jù)蚓再,用于掃描3D對象以供日后檢測。

命中測試和真實世界的位置

ARHitTestResult

通過檢查AR會話的設備攝像機視圖中的點找到有關真實世界表面的信息包各。

ARAnchor

可用于在AR場景中放置對象的真實位置和方向摘仅。

ARAnchorCopying

支持自定義ARAnchor子類。

ARTrackable

場景中的真實世界對象问畅,其中ARKit跟蹤位置和方向的變化娃属。

相機和場景細節(jié)

ARFrame

具有位置跟蹤信息的視頻圖像作為AR會話的一部分被捕獲。

ARCamera

有關AR會話中捕獲的視頻幀的攝像機位置和成像特征的信息护姆。

ARLightEstimate

與AR會話中捕獲的視頻幀相關聯(lián)的估計場景照明信息矾端。

面部追蹤

使用iPhone X上的TrueDepth相機創(chuàng)建響應用戶臉部和面部表情的AR體驗。

創(chuàng)建基于臉部的AR體驗

使用面部跟蹤AR會話提供的信息放置3D內容并為其添加動畫效果卵皂。

ARFaceTrackingConfiguration

使用TrueDepth相機跟蹤用戶臉部的移動和表情的配置秩铆。

ARFaceAnchor

關于在面部跟蹤AR會話中檢測到的面部的姿勢,拓撲和表情的信息渐裂。

ARDirectionalLightEstimate

在面部跟蹤AR會話中與捕獲的視頻幀相關聯(lián)的估計的環(huán)境照明信息豺旬。

專業(yè)配置

AROrientationTrackingConfiguration

使用后置攝像頭并僅跟蹤設備方向的配置钠惩。

ARImageTrackingConfiguration

使用后置攝像頭檢測和跟蹤已知圖像的配置柒凉。

相關技術

使用音頻創(chuàng)建沉浸式AR體驗

使用聲音效果和環(huán)境聲音層創(chuàng)建引人入勝的AR體驗。

使用ARKit實時使用Vision

管理Vision資源以有效執(zhí)行Core ML圖像分類器篓跛,并使用SpriteKit在AR中顯示圖像分類器輸出膝捞。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市愧沟,隨后出現(xiàn)的幾起案子蔬咬,更是在濱河造成了極大的恐慌,老刑警劉巖沐寺,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件林艘,死亡現(xiàn)場離奇詭異,居然都是意外死亡混坞,警方通過查閱死者的電腦和手機狐援,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來究孕,“玉大人啥酱,你說我怎么就攤上這事〕睿” “怎么了镶殷?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長微酬。 經(jīng)常有香客問我绘趋,道長颤陶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任埋心,我火速辦了婚禮指郁,結果婚禮上,老公的妹妹穿的比我還像新娘拷呆。我一直安慰自己闲坎,他們只是感情好,可當我...
    茶點故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布茬斧。 她就那樣靜靜地躺著腰懂,像睡著了一般。 火紅的嫁衣襯著肌膚如雪项秉。 梳的紋絲不亂的頭發(fā)上绣溜,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天,我揣著相機與錄音娄蔼,去河邊找鬼怖喻。 笑死,一個胖子當著我的面吹牛岁诉,可吹牛的內容都是我干的锚沸。 我是一名探鬼主播,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼涕癣,長吁一口氣:“原來是場噩夢啊……” “哼哗蜈!你這毒婦竟也來了?” 一聲冷哼從身側響起坠韩,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤距潘,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后只搁,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體音比,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年氢惋,在試婚紗的時候發(fā)現(xiàn)自己被綠了洞翩。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡明肮,死狀恐怖菱农,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情柿估,我是刑警寧澤循未,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響的妖,放射性物質發(fā)生泄漏绣檬。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一嫂粟、第九天 我趴在偏房一處隱蔽的房頂上張望娇未。 院中可真熱鬧,春花似錦星虹、人聲如沸零抬。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽平夜。三九已至,卻和暖如春卸亮,著一層夾襖步出監(jiān)牢的瞬間忽妒,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工兼贸, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留段直,地道東北人。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓溶诞,卻偏偏與公主長得像鸯檬,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子很澄,可洞房花燭夜當晚...
    茶點故事閱讀 45,440評論 2 359