iOS屏幕錄制ReplayKit 10+系統(tǒng)版本

本篇文章僅針對iOS10+系統(tǒng)买羞,如果需要支持iOS9請參考下面鏈接

iOS9屏幕錄制請參考

因?yàn)?0+部分涉及知識面較多,所以這篇文章主要圍繞錄屏畅姊,其他涉及到的我會另開篇幅恨狈。

將涉及其它知識面:
1.App Extension
2.App Group Share
3.H264與CMSampleBufferRef結(jié)構(gòu)分析
4.VideoToolBox硬編碼

錄屏整體流程如下:
1.觸發(fā)錄屏
2.準(zhǔn)備工作
3.開始錄屏
4.處理數(shù)據(jù)流保存到指定文件
5.結(jié)束錄制
6.Group共享到主App中(或者直接對此文件進(jìn)行操作)

進(jìn)入正題:
蘋果在iOS9已經(jīng)支持了屏幕錄制,但相比較安卓的來說開發(fā)者的可操作性又少又差费封。在iOS10之后焕妙,ReplayKit又開放了一系列的API,給了開發(fā)者更多的操作空間弓摘,但從實(shí)際體驗(yàn)來說友好性并不理想焚鹊。
iOS10之后的一些API更多地偏向于流數(shù)據(jù)的處理,通過App Extension的配合完成屏幕數(shù)據(jù)流或者其他數(shù)據(jù)流的采集,通過對數(shù)據(jù)流的采集和處理我們能做很多事情末患,比如進(jìn)行推流直播或者編碼保存信息研叫,所以屏幕錄制其實(shí)只是在此基礎(chǔ)上延伸出了一個(gè)使用方式,而且我認(rèn)為10-12之間使用App Extension的方式并不是一個(gè)好的錄屏解決方案璧针,相比iOS9他的流程更加繁瑣和不可控嚷炉,在使用方向上個(gè)人覺得更適合于直播的方向。

iOS10和iOS11屏幕錄制

把這兩個(gè)系統(tǒng)版本放在了一起是因?yàn)樗麄兎浅5南嘟?/p>

1.創(chuàng)建App Extension
選擇File-New-Target探橱,選擇如下

1554803362569.jpg

下一步中勾選一下UI(不勾選也是可以的申屹,勾選的話方便我們進(jìn)行宿主App的驗(yàn)證)


1554803494224.jpg

創(chuàng)建好之后我們會發(fā)現(xiàn)工程中多了一些東西:


1554803599493.jpg

上面的文件夾包含的是主要的功能----錄制狀態(tài)的變化和數(shù)據(jù)流的獲取都在這里面,下面的文件夾包含的主要是從選中Sheet的Item到開始錄制中的一個(gè)過渡VC隧膏,在這個(gè)VC中你可以加入一些賬號驗(yàn)證或者其他想要做的事情哗讥,對整體功能來說可有可無。

2.選擇App Extension
在幾年前胞枕,跨App的直播在蘋果上是不存在杆煞,想做游戲直播一般都是電腦或者安卓機(jī)。玩過直播App的同學(xué)可能留意到腐泻,市面上的一些做直播的App很多已經(jīng)提供了直播Extension功能决乎,即只使用其App的一個(gè)Extension功能進(jìn)行跨App的游戲直播。
像下面這樣這些App都提供了這個(gè)功能:

其實(shí)在操作完第一步之后派桩,我們的App也具備展示在Sheet中的能力构诚,下面我們來布局代碼。
iOS10中在需要觸發(fā)錄屏按鈕的地方觸發(fā)這個(gè)方法:

- (void)startREC_showExtension {
    [RPBroadcastActivityViewController loadBroadcastActivityViewControllerWithHandler:^(RPBroadcastActivityViewController * _Nullable broadcastActivityViewController, NSError * _Nullable error) {
        if (broadcastActivityViewController) {
            broadcastActivityViewController.delegate = self;
            broadcastActivityViewController.modalPresentationStyle = UIModalPresentationPopover;
            [self presentViewController:broadcastActivityViewController animated:YES completion:nil];
        }
    }];
}

點(diǎn)擊之后效果如下:


516D1B971690ABED382ADF0B12F34A9F.jpg

這個(gè)方法將加載當(dāng)前支持Broadcast Upload Extension的擴(kuò)展窄坦,RPBroadcastActivityViewController是彈出的Sheet唤反,設(shè)置好代理之后之后我們選中了某個(gè)Item就會進(jìn)入到過度的一個(gè)VC中,就是上面圖中的BroadcastSetupViewController鸭津。
在這個(gè)VC中我們可以進(jìn)行宿主App的校驗(yàn)或者賬號信息的登陸(因?yàn)樗械男枰辈サ腁pp都能調(diào)出我們的這個(gè)Extension)彤侍。

iOS11中我們可以直接啟動(dòng)對應(yīng)的item跳過選擇這一步:

+ (void)loadBroadcastActivityViewControllerWithPreferredExtension:(NSString * _Nullable)preferredExtension handler:(nonnull void(^)(RPBroadcastActivityViewController * _Nullable broadcastActivityViewController, NSError * _Nullable error))handler API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(tvos);

上面這個(gè)方法中preferredExtension參數(shù)指的是我們創(chuàng)建的BroadcastVCExtension中Info.plist的bundleID,你也可以從工程----Target----BroadcastSetupUI(名稱可能不一樣)中找到這個(gè)ID逆趋。
我們我們操作停當(dāng)之后需要觸發(fā)userDidFinishSetup這個(gè)方法才能回調(diào)下一步盏阶,可以看下這個(gè).m文件中userDidFinishSetup這個(gè)方法:

iOS10
- (void)completeRequestWithBroadcastURL:(NSURL *)broadcastURL broadcastConfiguration:(RPBroadcastConfiguration *)broadcastConfiguration setupInfo:(nullable NSDictionary <NSString *, NSObject <NSCoding> *> *)setupInfo API_DEPRECATED("No longer supported", ios(10.0,11.0),tvos(10.0,11.0));

iOS11
- (void)completeRequestWithBroadcastURL:(NSURL *)broadcastURL setupInfo:(nullable NSDictionary <NSString *, NSObject <NSCoding> *> *)setupInfo API_AVAILABLE(ios(11.0),tvos(11.0));

上面兩個(gè)一樣的作用,表示設(shè)置完成闻书,userInfo可以傳遞設(shè)置的參數(shù)名斟,方法完成后觸發(fā)RPBroadcastActivityViewController的代理如下:

#pragma mark RPBroadcastActivityViewControllerDelegate
- (void)broadcastActivityViewController:(RPBroadcastActivityViewController *)broadcastActivityViewController didFinishWithBroadcastController:(nullable RPBroadcastController *)broadcastController error:(nullable NSError *)error {
    dispatch_async(dispatch_get_main_queue(), ^{
        [broadcastActivityViewController dismissViewControllerAnimated:YES completion:nil];
    });
    self.broadcastController = broadcastController;
    [broadcastController startBroadcastWithHandler:^(NSError * _Nullable error) {

        if (!error) {
            NSLog(@"啟動(dòng)");
        } else {
            NSLog(@"error: %@", error);
        }
    }];
}

到此為止,我們已經(jīng)完成了從調(diào)出Sheet到觸發(fā)屏幕錄制這個(gè)階段魄眉,下面進(jìn)行屏幕錄制數(shù)據(jù)流的處理砰盐。
請注意,在Extension文件中操作的調(diào)試需要選擇對應(yīng)的Target坑律,因?yàn)樗枪こ讨幸粋€(gè)獨(dú)立的Target岩梳,否則無法調(diào)試!!冀值!

選擇Target----選擇宿主App----進(jìn)行調(diào)試
如下圖:


1554806204717.jpg

以上方法在錄屏的時(shí)候觸發(fā)的錄屏是在應(yīng)用內(nèi)也物,比如你下拉一下通知欄就會自動(dòng)暫停,再次進(jìn)入App內(nèi)提示會自動(dòng)提示你是否繼續(xù)直播屏幕列疗,而iOS11觸發(fā)的錄屏可以是在App外滑蚯,進(jìn)行一個(gè)跨App的屏幕錄制,所以iOS能進(jìn)行跨App的錄屏是在iOS11之后抵栈。

iOS11錄屏要想在應(yīng)用外使用下面的方法觸發(fā):
首先將錄屏功能加到控制面板里:設(shè)置-控制中心-屏幕錄制加上
然后上拉或下劃調(diào)出控制中心告材,長按錄制按鈕,調(diào)出錄屏控制面板古劲,選擇對應(yīng)直播功能的Extension创葡,如下圖:


A6F7D749E201D01C34648FEEE037A78B.jpg

iOS11有一組專門對屏幕錄制的API,這組API和iOS9上的一組非常相似绢慢,不同的是數(shù)據(jù)是以流的形式返回,同樣的洛波,這組API只能對App內(nèi)進(jìn)行屏幕錄制胰舆,無法跨App進(jìn)行錄制(任何使App掛起的操作都會打斷屏幕錄制),好處是避開了Extension蹬挤,簡化了操作缚窿。

- (void)startCaptureWithHandler:(nullable void(^)(CMSampleBufferRef sampleBuffer, RPSampleBufferType bufferType, NSError * _Nullable error))captureHandler completionHandler:(nullable void(^)(NSError * _Nullable error))completionHandler API_AVAILABLE(ios(11.0), tvos(11.0));

- (void)stopCaptureWithHandler:(nullable void(^)(NSError * _Nullable error))handler API_AVAILABLE(ios(11.0), tvos(11.0));

兩個(gè)方法一個(gè)是開始,另一個(gè)是結(jié)束焰扳,開始的方法中回調(diào)了屏幕的數(shù)據(jù)流倦零,我們需要對這組數(shù)據(jù)流進(jìn)行編碼操作,推流或者保存吨悍。如果你只是要進(jìn)行App內(nèi)屏幕錄制扫茅,這組方法無疑是非常好的。

3.流程控制和數(shù)據(jù)流的采集處理

我們切到第一個(gè)文件夾中的SampleHandle.m文件中育瓜,可以看到.m中的方法分為兩部分葫隙,一部分是對錄制流程的控制另一部分是數(shù)據(jù)流的采集。
流程控制這部分代碼:

- (void)broadcastStartedWithSetupInfo:(NSDictionary<NSString *,NSObject *> *)setupInfo {
    NSLog(@"1");
    // User has requested to start the broadcast. Setup info from the UI extension can be supplied but optional. 
}

上面這個(gè)方法是對過度VC中參數(shù)的傳遞躏仇,我們可以在這個(gè)方法中拿到過度頁面的傳值恋脚。

- (void)broadcastPaused {
    NSLog(@"2");
    // User has requested to pause the broadcast. Samples will stop being delivered.
}

- (void)broadcastResumed {
    NSLog(@"3");
    // User has requested to resume the broadcast. Samples delivery will resume.
}

- (void)broadcastFinished {
    NSLog(@"4");
    // User has requested to finish the broadcast.
}

上面三個(gè)方法就很簡單了,暫停焰手、恢復(fù)和停止糟描。

- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
    switch (sampleBufferType) {
        case RPSampleBufferTypeVideo:
            // Handle video sample buffer
            break;
        case RPSampleBufferTypeAudioApp:
            // Handle audio sample buffer for app audio
            break;
        case RPSampleBufferTypeAudioMic:
            // Handle audio sample buffer for mic audio
            break;
            
        default:
            break;
    }
}

我們在這個(gè)方法里拿到數(shù)據(jù)流,這里的數(shù)據(jù)流是未編碼的书妻,通常情況下如果要做推流或者文件保存船响,我們會將其進(jìn)行一個(gè)H264的編碼。
需要注意的是這個(gè)方法的回調(diào)是有限制的,僅當(dāng)你的屏幕發(fā)生了實(shí)質(zhì)性的變化才會觸發(fā)灿意,如果你的屏幕一直靜止則不會觸發(fā)估灿,在調(diào)試的時(shí)候需要多注意。

數(shù)據(jù)流的硬編碼使用VideoToolBox缤剧,此處不再過多敘述會另開篇幅馅袁。
拿到編碼后的流數(shù)據(jù)我們可以做一些推流或者文件寫入的操作。

4.停止錄屏
在上述App內(nèi)屏幕錄制時(shí)想要主動(dòng)停止需要broadcastController調(diào)用下面這個(gè)方法

- (void)finishBroadcastWithHandler:(void(^)(NSError * _Nullable error))handler;

(由于App內(nèi)錄制的特殊性荒辕,當(dāng)你的App切換到后臺被掛起時(shí)會自動(dòng)暫停錄制汗销,當(dāng)你激活A(yù)pp時(shí)會收到是否繼續(xù)直播的提示,當(dāng)你選擇否時(shí)也會停止錄屏抵窒。)

錄屏停止時(shí)在SampleHandler.m中會回調(diào)下面的方法:

- (void)broadcastFinished {
    NSLog(@"STOP");
    // User has requested to finish the broadcast.
}

我們在這個(gè)方法中可以整理數(shù)據(jù)和進(jìn)行收尾工作弛针。

當(dāng)你使用的是跨App的方式進(jìn)行錄制的時(shí)候,想要主動(dòng)結(jié)束就需要用戶手動(dòng)點(diǎn)擊關(guān)閉控制面板的錄屏按鈕(暫時(shí)沒找到如何在程序中主動(dòng)關(guān)閉)李皇,在SampleHandler的實(shí)例方法中有一個(gè)下面的方法削茁,似乎可以主動(dòng)關(guān)閉錄屏(但我測試的時(shí)候卻無法真正關(guān)閉),而且我不知道如何通知到這個(gè)Extension去關(guān)閉錄屏(有同學(xué)提議用進(jìn)程間通知的方式暫時(shí)還沒嘗試)掉房,這里Mark一下茧跋。

- (void)finishBroadcastWithError:(NSError *)error;

5.錄屏文件數(shù)據(jù)的共享
每個(gè)Extension都需要一個(gè)宿主App卓囚,并且有自己的沙盒瘾杭,當(dāng)我們把錄屏文件保存到沙盒中時(shí)宿主App是無法獲取到的,那么只有采用共享的方式才能讓宿主App拿到錄屏文件哪亿。
App Group Share幫我們解決了這個(gè)問題粥烁,通過設(shè)置組間共享的模式,使得同一個(gè)Group下面的App可以共享資源蝇棉,解決了沙盒的限制讨阻。

到此為止,基于iOS10和11的錄屏操作已經(jīng)完整告一段落银萍,從中我們就可以看出变勇,想用iOS10和11的API去進(jìn)行錄屏操作不但反用戶操作行為而且反開發(fā)行為,冗長的流程和各種限制使得錄屏體驗(yàn)非常差贴唇,所以市面上使用這套API的大部分App只做直播方向搀绣。

iOS12屏幕錄制

到了iOS12,蘋果又開放了一部分API戳气,這使得錄屏變得可行并且易于操作链患。
給予我們極大幫助的是這個(gè)類

RPSystemBroadcastPickerView

點(diǎn)擊去看:

@interface RPSystemBroadcastPickerView : UIView <NSCoding>
/*  @abstract Bundle identifier of extension that should be used for broadcast. Default is nil which means that all extensions will be presented */
@property (nonatomic, strong, nullable) NSString *preferredExtension;
/*  @abstract Indicates whether the Microphone button is visible in broadcast picker view. Default is YES. */
@property (nonatomic, assign) BOOL showsMicrophoneButton;
@end

RPSystemBroadcastPickerView繼承與UIView只有兩個(gè)屬性,第一個(gè)表示要啟動(dòng)的Extension標(biāo)識瓶您,nil則全部彈出供選擇麻捻,第二個(gè)標(biāo)識是否顯示麥克風(fēng)按鈕纲仍,如果顯示并且選擇則會把聲音一同錄入。

_broadPickerView = [[RPSystemBroadcastPickerView alloc] initWithFrame:CGRectMake(100, 100, 100, 100)];
_broadPickerView.preferredExtension = nil;
[self.view addSubview:_broadPickerView];

請注意贸毕,這里有一點(diǎn)不同郑叠,當(dāng)你preferredExtension=nil時(shí)你需要選擇要用的直播Extension,選擇好之后進(jìn)入了10和11對流處理的模式明棍;當(dāng)你指定了preferredExtension=@“XXX”的時(shí)候乡革,直接開始錄制,開發(fā)者不進(jìn)行流數(shù)據(jù)處理摊腋,錄制完成之后自動(dòng)保存到相冊沸版。

對于單純的錄屏來說,指定preferredExtension無意是最便捷的方式兴蒸,雖然API并沒有暴露錄屏開始和結(jié)束的回調(diào)方法视粮,但我們可以將RPSystemBroadcastPickerView進(jìn)行一個(gè)響應(yīng)事件的傳遞從我們自定義的View中傳遞給RPSystemBroadcastPickerView。當(dāng)然嚴(yán)格地來說這樣并不能精確地判斷橙凳,還需要加入一些邏輯上的檢測蕾殴。例如:

[[RPScreenRecorder sharedRecorder] isRecording];

最后總結(jié)一下,如果需要的只是App內(nèi)錄制岛啸,那么iOS9的API区宇、iOS11的不包含Extension的API、iOS12的RPSystemBroadcastPickerView是比較好的選擇值戳;如果你需要跨App的錄屏,那么建議盡量從iOS12開始支持炉爆;而Extension這種堕虹,更多的是為了直播而進(jìn)行的服務(wù)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末芬首,一起剝皮案震驚了整個(gè)濱河市赴捞,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌郁稍,老刑警劉巖赦政,帶你破解...
    沈念sama閱讀 207,248評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異耀怜,居然都是意外死亡恢着,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,681評論 2 381
  • 文/潘曉璐 我一進(jìn)店門财破,熙熙樓的掌柜王于貴愁眉苦臉地迎上來掰派,“玉大人,你說我怎么就攤上這事左痢∶蚁郏” “怎么了系洛?”我有些...
    開封第一講書人閱讀 153,443評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長略步。 經(jīng)常有香客問我描扯,道長,這世上最難降的妖魔是什么趟薄? 我笑而不...
    開封第一講書人閱讀 55,475評論 1 279
  • 正文 為了忘掉前任绽诚,我火速辦了婚禮,結(jié)果婚禮上竟趾,老公的妹妹穿的比我還像新娘憔购。我一直安慰自己,他們只是感情好岔帽,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,458評論 5 374
  • 文/花漫 我一把揭開白布玫鸟。 她就那樣靜靜地躺著,像睡著了一般犀勒。 火紅的嫁衣襯著肌膚如雪屎飘。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,185評論 1 284
  • 那天贾费,我揣著相機(jī)與錄音钦购,去河邊找鬼。 笑死褂萧,一個(gè)胖子當(dāng)著我的面吹牛押桃,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播导犹,決...
    沈念sama閱讀 38,451評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼唱凯,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了谎痢?” 一聲冷哼從身側(cè)響起磕昼,我...
    開封第一講書人閱讀 37,112評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎节猿,沒想到半個(gè)月后票从,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,609評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡滨嘱,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,083評論 2 325
  • 正文 我和宋清朗相戀三年峰鄙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片太雨。...
    茶點(diǎn)故事閱讀 38,163評論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡先馆,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出躺彬,到底是詐尸還是另有隱情煤墙,我是刑警寧澤梅惯,帶...
    沈念sama閱讀 33,803評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站仿野,受9級特大地震影響铣减,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜脚作,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,357評論 3 307
  • 文/蒙蒙 一葫哗、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧球涛,春花似錦劣针、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,357評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至从祝,卻和暖如春襟己,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背牍陌。 一陣腳步聲響...
    開封第一講書人閱讀 31,590評論 1 261
  • 我被黑心中介騙來泰國打工擎浴, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人毒涧。 一個(gè)月前我還...
    沈念sama閱讀 45,636評論 2 355
  • 正文 我出身青樓贮预,卻偏偏與公主長得像,于是被迫代替她去往敵國和親契讲。 傳聞我的和親對象是個(gè)殘疾皇子萌狂,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,925評論 2 344

推薦閱讀更多精彩內(nèi)容