本篇文章僅針對iOS10+系統(tǒng)买羞,如果需要支持iOS9請參考下面鏈接
因?yàn)?0+部分涉及知識面較多,所以這篇文章主要圍繞錄屏畅姊,其他涉及到的我會另開篇幅恨狈。
將涉及其它知識面:
1.App Extension
2.App Group Share
3.H264與CMSampleBufferRef結(jié)構(gòu)分析
4.VideoToolBox硬編碼
錄屏整體流程如下:
1.觸發(fā)錄屏
2.準(zhǔn)備工作
3.開始錄屏
4.處理數(shù)據(jù)流保存到指定文件
5.結(jié)束錄制
6.Group共享到主App中(或者直接對此文件進(jìn)行操作)
進(jìn)入正題:
蘋果在iOS9已經(jīng)支持了屏幕錄制,但相比較安卓的來說開發(fā)者的可操作性又少又差费封。在iOS10之后焕妙,ReplayKit又開放了一系列的API,給了開發(fā)者更多的操作空間弓摘,但從實(shí)際體驗(yàn)來說友好性并不理想焚鹊。
iOS10之后的一些API更多地偏向于流數(shù)據(jù)的處理,通過App Extension的配合完成屏幕數(shù)據(jù)流或者其他數(shù)據(jù)流的采集,通過對數(shù)據(jù)流的采集和處理我們能做很多事情末患,比如進(jìn)行推流直播或者編碼保存信息研叫,所以屏幕錄制其實(shí)只是在此基礎(chǔ)上延伸出了一個(gè)使用方式,而且我認(rèn)為10-12之間使用App Extension的方式并不是一個(gè)好的錄屏解決方案璧针,相比iOS9他的流程更加繁瑣和不可控嚷炉,在使用方向上個(gè)人覺得更適合于直播的方向。
iOS10和iOS11屏幕錄制
把這兩個(gè)系統(tǒng)版本放在了一起是因?yàn)樗麄兎浅5南嘟?/p>
1.創(chuàng)建App Extension
選擇File-New-Target探橱,選擇如下
下一步中勾選一下UI(不勾選也是可以的申屹,勾選的話方便我們進(jìn)行宿主App的驗(yàn)證)
創(chuàng)建好之后我們會發(fā)現(xiàn)工程中多了一些東西:
上面的文件夾包含的是主要的功能----錄制狀態(tài)的變化和數(shù)據(jù)流的獲取都在這里面,下面的文件夾包含的主要是從選中Sheet的Item到開始錄制中的一個(gè)過渡VC隧膏,在這個(gè)VC中你可以加入一些賬號驗(yàn)證或者其他想要做的事情哗讥,對整體功能來說可有可無。
2.選擇App Extension
在幾年前胞枕,跨App的直播在蘋果上是不存在杆煞,想做游戲直播一般都是電腦或者安卓機(jī)。玩過直播App的同學(xué)可能留意到腐泻,市面上的一些做直播的App很多已經(jīng)提供了直播Extension功能决乎,即只使用其App的一個(gè)Extension功能進(jìn)行跨App的游戲直播。
像下面這樣這些App都提供了這個(gè)功能:
其實(shí)在操作完第一步之后派桩,我們的App也具備展示在Sheet中的能力构诚,下面我們來布局代碼。
iOS10中在需要觸發(fā)錄屏按鈕的地方觸發(fā)這個(gè)方法:
- (void)startREC_showExtension {
[RPBroadcastActivityViewController loadBroadcastActivityViewControllerWithHandler:^(RPBroadcastActivityViewController * _Nullable broadcastActivityViewController, NSError * _Nullable error) {
if (broadcastActivityViewController) {
broadcastActivityViewController.delegate = self;
broadcastActivityViewController.modalPresentationStyle = UIModalPresentationPopover;
[self presentViewController:broadcastActivityViewController animated:YES completion:nil];
}
}];
}
點(diǎn)擊之后效果如下:
這個(gè)方法將加載當(dāng)前支持Broadcast Upload Extension的擴(kuò)展窄坦,RPBroadcastActivityViewController是彈出的Sheet唤反,設(shè)置好代理之后之后我們選中了某個(gè)Item就會進(jìn)入到過度的一個(gè)VC中,就是上面圖中的BroadcastSetupViewController鸭津。
在這個(gè)VC中我們可以進(jìn)行宿主App的校驗(yàn)或者賬號信息的登陸(因?yàn)樗械男枰辈サ腁pp都能調(diào)出我們的這個(gè)Extension)彤侍。
iOS11中我們可以直接啟動(dòng)對應(yīng)的item跳過選擇這一步:
+ (void)loadBroadcastActivityViewControllerWithPreferredExtension:(NSString * _Nullable)preferredExtension handler:(nonnull void(^)(RPBroadcastActivityViewController * _Nullable broadcastActivityViewController, NSError * _Nullable error))handler API_AVAILABLE(ios(11.0)) API_UNAVAILABLE(tvos);
上面這個(gè)方法中preferredExtension參數(shù)指的是我們創(chuàng)建的BroadcastVCExtension中Info.plist的bundleID,你也可以從工程----Target----BroadcastSetupUI(名稱可能不一樣)中找到這個(gè)ID逆趋。
我們我們操作停當(dāng)之后需要觸發(fā)userDidFinishSetup這個(gè)方法才能回調(diào)下一步盏阶,可以看下這個(gè).m文件中userDidFinishSetup這個(gè)方法:
iOS10
- (void)completeRequestWithBroadcastURL:(NSURL *)broadcastURL broadcastConfiguration:(RPBroadcastConfiguration *)broadcastConfiguration setupInfo:(nullable NSDictionary <NSString *, NSObject <NSCoding> *> *)setupInfo API_DEPRECATED("No longer supported", ios(10.0,11.0),tvos(10.0,11.0));
iOS11
- (void)completeRequestWithBroadcastURL:(NSURL *)broadcastURL setupInfo:(nullable NSDictionary <NSString *, NSObject <NSCoding> *> *)setupInfo API_AVAILABLE(ios(11.0),tvos(11.0));
上面兩個(gè)一樣的作用,表示設(shè)置完成闻书,userInfo可以傳遞設(shè)置的參數(shù)名斟,方法完成后觸發(fā)RPBroadcastActivityViewController的代理如下:
#pragma mark RPBroadcastActivityViewControllerDelegate
- (void)broadcastActivityViewController:(RPBroadcastActivityViewController *)broadcastActivityViewController didFinishWithBroadcastController:(nullable RPBroadcastController *)broadcastController error:(nullable NSError *)error {
dispatch_async(dispatch_get_main_queue(), ^{
[broadcastActivityViewController dismissViewControllerAnimated:YES completion:nil];
});
self.broadcastController = broadcastController;
[broadcastController startBroadcastWithHandler:^(NSError * _Nullable error) {
if (!error) {
NSLog(@"啟動(dòng)");
} else {
NSLog(@"error: %@", error);
}
}];
}
到此為止,我們已經(jīng)完成了從調(diào)出Sheet到觸發(fā)屏幕錄制這個(gè)階段魄眉,下面進(jìn)行屏幕錄制數(shù)據(jù)流的處理砰盐。
請注意,在Extension文件中操作的調(diào)試需要選擇對應(yīng)的Target坑律,因?yàn)樗枪こ讨幸粋€(gè)獨(dú)立的Target岩梳,否則無法調(diào)試!!冀值!
選擇Target----選擇宿主App----進(jìn)行調(diào)試
如下圖:
以上方法在錄屏的時(shí)候觸發(fā)的錄屏是在應(yīng)用內(nèi)也物,比如你下拉一下通知欄就會自動(dòng)暫停,再次進(jìn)入App內(nèi)提示會自動(dòng)提示你是否繼續(xù)直播屏幕列疗,而iOS11觸發(fā)的錄屏可以是在App外滑蚯,進(jìn)行一個(gè)跨App的屏幕錄制,所以iOS能進(jìn)行跨App的錄屏是在iOS11之后抵栈。
iOS11錄屏要想在應(yīng)用外使用下面的方法觸發(fā):
首先將錄屏功能加到控制面板里:設(shè)置-控制中心-屏幕錄制加上
然后上拉或下劃調(diào)出控制中心告材,長按錄制按鈕,調(diào)出錄屏控制面板古劲,選擇對應(yīng)直播功能的Extension创葡,如下圖:
iOS11有一組專門對屏幕錄制的API,這組API和iOS9上的一組非常相似绢慢,不同的是數(shù)據(jù)是以流的形式返回,同樣的洛波,這組API只能對App內(nèi)進(jìn)行屏幕錄制胰舆,無法跨App進(jìn)行錄制(任何使App掛起的操作都會打斷屏幕錄制),好處是避開了Extension蹬挤,簡化了操作缚窿。
- (void)startCaptureWithHandler:(nullable void(^)(CMSampleBufferRef sampleBuffer, RPSampleBufferType bufferType, NSError * _Nullable error))captureHandler completionHandler:(nullable void(^)(NSError * _Nullable error))completionHandler API_AVAILABLE(ios(11.0), tvos(11.0));
- (void)stopCaptureWithHandler:(nullable void(^)(NSError * _Nullable error))handler API_AVAILABLE(ios(11.0), tvos(11.0));
兩個(gè)方法一個(gè)是開始,另一個(gè)是結(jié)束焰扳,開始的方法中回調(diào)了屏幕的數(shù)據(jù)流倦零,我們需要對這組數(shù)據(jù)流進(jìn)行編碼操作,推流或者保存吨悍。如果你只是要進(jìn)行App內(nèi)屏幕錄制扫茅,這組方法無疑是非常好的。
3.流程控制和數(shù)據(jù)流的采集處理
我們切到第一個(gè)文件夾中的SampleHandle.m文件中育瓜,可以看到.m中的方法分為兩部分葫隙,一部分是對錄制流程的控制另一部分是數(shù)據(jù)流的采集。
流程控制這部分代碼:
- (void)broadcastStartedWithSetupInfo:(NSDictionary<NSString *,NSObject *> *)setupInfo {
NSLog(@"1");
// User has requested to start the broadcast. Setup info from the UI extension can be supplied but optional.
}
上面這個(gè)方法是對過度VC中參數(shù)的傳遞躏仇,我們可以在這個(gè)方法中拿到過度頁面的傳值恋脚。
- (void)broadcastPaused {
NSLog(@"2");
// User has requested to pause the broadcast. Samples will stop being delivered.
}
- (void)broadcastResumed {
NSLog(@"3");
// User has requested to resume the broadcast. Samples delivery will resume.
}
- (void)broadcastFinished {
NSLog(@"4");
// User has requested to finish the broadcast.
}
上面三個(gè)方法就很簡單了,暫停焰手、恢復(fù)和停止糟描。
- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
switch (sampleBufferType) {
case RPSampleBufferTypeVideo:
// Handle video sample buffer
break;
case RPSampleBufferTypeAudioApp:
// Handle audio sample buffer for app audio
break;
case RPSampleBufferTypeAudioMic:
// Handle audio sample buffer for mic audio
break;
default:
break;
}
}
我們在這個(gè)方法里拿到數(shù)據(jù)流,這里的數(shù)據(jù)流是未編碼的书妻,通常情況下如果要做推流或者文件保存船响,我們會將其進(jìn)行一個(gè)H264的編碼。
需要注意的是這個(gè)方法的回調(diào)是有限制的,僅當(dāng)你的屏幕發(fā)生了實(shí)質(zhì)性的變化才會觸發(fā)灿意,如果你的屏幕一直靜止則不會觸發(fā)估灿,在調(diào)試的時(shí)候需要多注意。
數(shù)據(jù)流的硬編碼使用VideoToolBox缤剧,此處不再過多敘述會另開篇幅馅袁。
拿到編碼后的流數(shù)據(jù)我們可以做一些推流或者文件寫入的操作。
4.停止錄屏
在上述App內(nèi)屏幕錄制時(shí)想要主動(dòng)停止需要broadcastController調(diào)用下面這個(gè)方法
- (void)finishBroadcastWithHandler:(void(^)(NSError * _Nullable error))handler;
(由于App內(nèi)錄制的特殊性荒辕,當(dāng)你的App切換到后臺被掛起時(shí)會自動(dòng)暫停錄制汗销,當(dāng)你激活A(yù)pp時(shí)會收到是否繼續(xù)直播的提示,當(dāng)你選擇否時(shí)也會停止錄屏抵窒。)
錄屏停止時(shí)在SampleHandler.m中會回調(diào)下面的方法:
- (void)broadcastFinished {
NSLog(@"STOP");
// User has requested to finish the broadcast.
}
我們在這個(gè)方法中可以整理數(shù)據(jù)和進(jìn)行收尾工作弛针。
當(dāng)你使用的是跨App的方式進(jìn)行錄制的時(shí)候,想要主動(dòng)結(jié)束就需要用戶手動(dòng)點(diǎn)擊關(guān)閉控制面板的錄屏按鈕(暫時(shí)沒找到如何在程序中主動(dòng)關(guān)閉)李皇,在SampleHandler的實(shí)例方法中有一個(gè)下面的方法削茁,似乎可以主動(dòng)關(guān)閉錄屏(但我測試的時(shí)候卻無法真正關(guān)閉),而且我不知道如何通知到這個(gè)Extension去關(guān)閉錄屏(有同學(xué)提議用進(jìn)程間通知的方式暫時(shí)還沒嘗試)掉房,這里Mark一下茧跋。
- (void)finishBroadcastWithError:(NSError *)error;
5.錄屏文件數(shù)據(jù)的共享
每個(gè)Extension都需要一個(gè)宿主App卓囚,并且有自己的沙盒瘾杭,當(dāng)我們把錄屏文件保存到沙盒中時(shí)宿主App是無法獲取到的,那么只有采用共享的方式才能讓宿主App拿到錄屏文件哪亿。
App Group Share幫我們解決了這個(gè)問題粥烁,通過設(shè)置組間共享的模式,使得同一個(gè)Group下面的App可以共享資源蝇棉,解決了沙盒的限制讨阻。
到此為止,基于iOS10和11的錄屏操作已經(jīng)完整告一段落银萍,從中我們就可以看出变勇,想用iOS10和11的API去進(jìn)行錄屏操作不但反用戶操作行為而且反開發(fā)行為,冗長的流程和各種限制使得錄屏體驗(yàn)非常差贴唇,所以市面上使用這套API的大部分App只做直播方向搀绣。
iOS12屏幕錄制
到了iOS12,蘋果又開放了一部分API戳气,這使得錄屏變得可行并且易于操作链患。
給予我們極大幫助的是這個(gè)類
RPSystemBroadcastPickerView
點(diǎn)擊去看:
@interface RPSystemBroadcastPickerView : UIView <NSCoding>
/* @abstract Bundle identifier of extension that should be used for broadcast. Default is nil which means that all extensions will be presented */
@property (nonatomic, strong, nullable) NSString *preferredExtension;
/* @abstract Indicates whether the Microphone button is visible in broadcast picker view. Default is YES. */
@property (nonatomic, assign) BOOL showsMicrophoneButton;
@end
RPSystemBroadcastPickerView繼承與UIView只有兩個(gè)屬性,第一個(gè)表示要啟動(dòng)的Extension標(biāo)識瓶您,nil則全部彈出供選擇麻捻,第二個(gè)標(biāo)識是否顯示麥克風(fēng)按鈕纲仍,如果顯示并且選擇則會把聲音一同錄入。
_broadPickerView = [[RPSystemBroadcastPickerView alloc] initWithFrame:CGRectMake(100, 100, 100, 100)];
_broadPickerView.preferredExtension = nil;
[self.view addSubview:_broadPickerView];
請注意贸毕,這里有一點(diǎn)不同郑叠,當(dāng)你preferredExtension=nil時(shí)你需要選擇要用的直播Extension,選擇好之后進(jìn)入了10和11對流處理的模式明棍;當(dāng)你指定了preferredExtension=@“XXX”的時(shí)候乡革,直接開始錄制,開發(fā)者不進(jìn)行流數(shù)據(jù)處理摊腋,錄制完成之后自動(dòng)保存到相冊沸版。
對于單純的錄屏來說,指定preferredExtension無意是最便捷的方式兴蒸,雖然API并沒有暴露錄屏開始和結(jié)束的回調(diào)方法视粮,但我們可以將RPSystemBroadcastPickerView進(jìn)行一個(gè)響應(yīng)事件的傳遞從我們自定義的View中傳遞給RPSystemBroadcastPickerView。當(dāng)然嚴(yán)格地來說這樣并不能精確地判斷橙凳,還需要加入一些邏輯上的檢測蕾殴。例如:
[[RPScreenRecorder sharedRecorder] isRecording];
最后總結(jié)一下,如果需要的只是App內(nèi)錄制岛啸,那么iOS9的API区宇、iOS11的不包含Extension的API、iOS12的RPSystemBroadcastPickerView是比較好的選擇值戳;如果你需要跨App的錄屏,那么建議盡量從iOS12開始支持炉爆;而Extension這種堕虹,更多的是為了直播而進(jìn)行的服務(wù)。