實(shí)現(xiàn)視頻的自定義播放悬钳,僅僅將視頻資源集合到一起是不夠的纵散,需要使用 AVMutableVideoComposition
類來(lái)定義不同的視頻資源在不同的時(shí)間范圍內(nèi)的播放方式硬贯。
AVVideoComposition
AVVideoComposition
是 AVMutableVideoComposition
的父類编振,它的主要屬性和方法如下:
//該類的構(gòu)造類棉姐,提供自定義的構(gòu)造類時(shí)届案,提供的類要遵守 AVVideoCompositing 協(xié)議
@property (nonatomic, readonly, nullable) Class<AVVideoCompositing> customVideoCompositorClass NS_AVAILABLE(10_9, 7_0);
//視頻每一幀的刷新時(shí)間
@property (nonatomic, readonly) CMTime frameDuration;
//視頻顯示時(shí)的大小范圍
@property (nonatomic, readonly) CGSize renderSize;
//視頻顯示范圍大小的縮放比例(僅僅對(duì) iOS 有效)
@property (nonatomic, readonly) float renderScale;
//描述視頻集合中具體視頻播放方式信息的集合庵楷,其是遵循 AVVideoCompositionInstruction 協(xié)議的類實(shí)例對(duì)象
//這些視頻播放信息構(gòu)成一個(gè)完整的時(shí)間線,不能重疊楣颠,不能間斷尽纽,并且在數(shù)組中的順序即為相應(yīng)視頻的播放順序
@property (nonatomic, readonly, copy) NSArray<id <AVVideoCompositionInstruction>> *instructions;
//用于組合視頻幀與動(dòng)態(tài)圖層的 Core Animation 的工具對(duì)象,可以為 nil
@property (nonatomic, readonly, retain, nullable) AVVideoCompositionCoreAnimationTool *animationTool;
//直接使用一個(gè) asset 創(chuàng)建一個(gè)實(shí)例童漩,創(chuàng)建的實(shí)例的各個(gè)屬性會(huì)根據(jù) asset 中的所有的 video tracks 的屬性進(jìn)行計(jì)算并適配弄贿,所以在調(diào)用該方法之前,確保 asset 中的屬性已經(jīng)加載
//返回的實(shí)例對(duì)象的屬性 instructions 中的對(duì)象會(huì)對(duì)應(yīng)每個(gè) asset 中的 track 中屬性要求
//返回的實(shí)例對(duì)象的屬性 frameDuration 的值是 asset 中 所有 track 的 nominalFrameRate 屬性值最大的矫膨,如果這些值都為 0 差凹,默認(rèn)為 30fps
//返回的實(shí)例對(duì)象的屬性 renderSize 的值是 asset 的 naturalSize 屬性值期奔,如果 asset 是 AVComposition 類的實(shí)例。否則危尿,renderSize 的值將包含每個(gè) track 的 naturalSize 屬性值
+ (AVVideoComposition *)videoCompositionWithPropertiesOfAsset:(AVAsset *)asset NS_AVAILABLE(10_9, 6_0);
//這三個(gè)屬性設(shè)置了渲染幀時(shí)的顏色空間呐萌、矩陣、顏色轉(zhuǎn)換函數(shù)谊娇,可能的值都在 AVVideoSetting.h 文件中定義
@property (nonatomic, readonly, nullable) NSString *colorPrimaries NS_AVAILABLE(10_12, 10_0);
@property (nonatomic, readonly, nullable) NSString *colorYCbCrMatrix NS_AVAILABLE(10_12, 10_0);
@property (nonatomic, readonly, nullable) NSString *colorTransferFunction NS_AVAILABLE(10_12, 10_0);
//該方法返回一個(gè)實(shí)例肺孤,它指定的 block 會(huì)對(duì) asset 中每一個(gè)有效的 track 的每一幀進(jìn)行渲染得到 CIImage 實(shí)例對(duì)象
//在 block 中進(jìn)行每一幀的渲染,成功后應(yīng)調(diào)用 request 的方法 finishWithImage:context: 并將得到的 CIImage 對(duì)象作為參數(shù)
//若是渲染失敗济欢,則應(yīng)調(diào)用 finishWithError: 方法并傳遞錯(cuò)誤信息
+ (AVVideoComposition *)videoCompositionWithAsset:(AVAsset *)asset
applyingCIFiltersWithHandler:(void (^)(AVAsynchronousCIImageFilteringRequest *request))applier NS_AVAILABLE(10_11, 9_0);
AVMutableVideoComposition
AVMutableVideoComposition
是 AVVideoComposition
的可變子類赠堵,它繼承父類的屬性可以改變,并且新增了下面的創(chuàng)建方法法褥。
//這個(gè)方法創(chuàng)建的實(shí)例對(duì)象的屬性的值都是 nil 或 0茫叭,但是它的屬性都是可以進(jìn)行修改的
+ (AVMutableVideoComposition *)videoComposition;
AVVideoCompositionInstruction
在上述的兩個(gè)類中,真正包含有視頻播放方式信息的是 instructions 屬性挖胃,這個(gè)集合中的對(duì)象都遵循 AVVideoCompositionInstruction
協(xié)議杂靶,若不使用自定義的類,那么可以使用 AVFoundation 框架中的 AVVideoCompositionInstruction
類酱鸭。
該類的相關(guān)屬性如下:
//表示該 instruction 生效的時(shí)間范圍
@property (nonatomic, readonly) CMTimeRange timeRange;
//指定當(dāng)前時(shí)間段的 composition 的背景色
//如果沒(méi)有指定吗垮,那么使用默認(rèn)的黑色
//如果渲染的像素沒(méi)有透明度通道,那么這個(gè)顏色也會(huì)忽略透明度
@property (nonatomic, readonly, retain, nullable) __attribute__((NSObject)) CGColorRef backgroundColor;
//AVVideoCompositionLayerInstruction 類實(shí)例對(duì)象的集合凹髓,描述各個(gè)視頻資源幀的層級(jí)及組合關(guān)系
//按這個(gè)數(shù)組的順序烁登,第一個(gè)顯示在第一層,第二個(gè)在第一層下面顯示蔚舀,以此類推
@property (nonatomic, readonly, copy) NSArray<AVVideoCompositionLayerInstruction *> *layerInstructions;
//表明該時(shí)間段的視頻幀是否需要后期處理
//若為 NO饵沧,后期圖層的處理將跳過(guò)該時(shí)間段,這樣能夠提高效率
//為 YES 則按默認(rèn)操作處理(參考 AVVideoCompositionCoreAnimationTool 類)
@property (nonatomic, readonly) BOOL enablePostProcessing;
//當(dāng)前 instruction 中需要進(jìn)行幀組合的所有的 track ID 的集合赌躺,由屬性 layerInstructions 計(jì)算得到
@property (nonatomic, readonly) NSArray<NSValue *> *requiredSourceTrackIDs NS_AVAILABLE(10_9, 7_0);
//如果當(dāng)前的 instruction 在該時(shí)間段內(nèi)的視頻幀組合后狼牺,實(shí)質(zhì)得到的是某個(gè)源視頻的幀,那么就返回這個(gè)視頻資源的 ID
@property (nonatomic, readonly) CMPersistentTrackID passthroughTrackID NS_AVAILABLE(10_9, 7_0);
AVMutableVideoCompositionInstruction
AVMutableVideoCompositionInstruction
是 AVVideoCompositionInstruction
的子類礼患,其繼承的父類的屬性可進(jìn)行修改是钥,并且提供了創(chuàng)建屬性值為 nil 或無(wú)效的實(shí)例的方法。
+ (instancetype)videoCompositionInstruction;
AVVideoCompositionLayerInstruction
AVVideoCompositionLayerInstruction
是對(duì)給定的視頻資源的不同播放方式進(jìn)行描述的類缅叠,通過(guò)下面的方法悄泥,可以獲取仿射變化、透明度變化肤粱、裁剪區(qū)域變化的梯度信息弹囚。
//獲取包含指定時(shí)間的仿射變化梯度信息
//startTransform、endTransform 用來(lái)接收變化過(guò)程的起始值與結(jié)束值
//timeRange 用來(lái)接收變化的持續(xù)時(shí)間范圍
//返回值表示指定的時(shí)間 time 是否在變化時(shí)間 timeRange 內(nèi)
- (BOOL)getTransformRampForTime:(CMTime)time startTransform:(nullable CGAffineTransform *)startTransform endTransform:(nullable CGAffineTransform *)endTransform timeRange:(nullable CMTimeRange *)timeRange;
//獲取包含指定時(shí)間的透明度變化梯度信息
//startOpacity领曼、endOpacity 用來(lái)接收透明度變化過(guò)程的起始值與結(jié)束值
//timeRange 用來(lái)接收變化的持續(xù)時(shí)間范圍
//返回值表示指定的時(shí)間 time 是否在變化時(shí)間 timeRange 內(nèi)
- (BOOL)getOpacityRampForTime:(CMTime)time startOpacity:(nullable float *)startOpacity endOpacity:(nullable float *)endOpacity timeRange:(nullable CMTimeRange *)timeRange;
//獲取包含指定時(shí)間的裁剪區(qū)域的變化梯度信息
//startCropRectangle鸥鹉、endCropRectangle 用來(lái)接收變化過(guò)程的起始值與結(jié)束值
//timeRange 用來(lái)接收變化的持續(xù)時(shí)間范圍
//返回值表示指定的時(shí)間 time 是否在變化時(shí)間 timeRange 內(nèi)
- (BOOL)getCropRectangleRampForTime:(CMTime)time startCropRectangle:(nullable CGRect *)startCropRectangle endCropRectangle:(nullable CGRect *)endCropRectangle timeRange:(nullable CMTimeRange *)timeRange NS_AVAILABLE(10_9, 7_0);
AVMutableVideoCompositionLayerInstruction
AVMutableVideoCompositionLayerInstruction
是 AVVideoCompositionLayerInstruction
的子類蛮穿,它可以改變 composition 中的 track 資源播放時(shí)的仿射變化、裁剪區(qū)域、透明度等信息。
相比于父類官扣,該子類還提供了創(chuàng)建實(shí)例的方法:
//這兩個(gè)方法的區(qū)別在于,前者返回的實(shí)例對(duì)象的屬性 trackID 的值是 track 的 trackID 值
//而第二個(gè)方法的返回的實(shí)例對(duì)象的屬性 trackID 的值為 kCMPersistentTrackID_Invalid
+ (instancetype)videoCompositionLayerInstructionWithAssetTrack:(AVAssetTrack *)track;
+ (instancetype)videoCompositionLayerInstruction;
該類的屬性表示 instruction 所作用的 track 的 ID
@property (nonatomic, assign) CMPersistentTrackID trackID;
設(shè)置了 trackID 后音诈,通過(guò)下面的方法,進(jìn)行剃度信息的設(shè)置:
//設(shè)置視頻中幀的仿射變化信息
//指定了變化的時(shí)間范圍绎狭、起始值和結(jié)束值细溅,其中坐標(biāo)系的原點(diǎn)為左上角,向下向右為正方向
- (void)setTransformRampFromStartTransform:(CGAffineTransform)startTransform toEndTransform:(CGAffineTransform)endTransform timeRange:(CMTimeRange)timeRange;
//設(shè)置 instruction 的 timeRange 范圍內(nèi)指定時(shí)間的仿射變換儡嘶,該值會(huì)一直保持喇聊,直到被再次設(shè)置
- (void)setTransform:(CGAffineTransform)transform atTime:(CMTime)time;
//設(shè)置透明度的梯度信息,提供的透明度初始值和結(jié)束值應(yīng)在0~1之間
//變化的過(guò)程是線形的
- (void)setOpacityRampFromStartOpacity:(float)startOpacity toEndOpacity:(float)endOpacity timeRange:(CMTimeRange)timeRange;
//設(shè)置指定時(shí)間的透明度蹦狂,該透明度會(huì)一直持續(xù)到下一個(gè)值被設(shè)置
- (void)setOpacity:(float)opacity atTime:(CMTime)time;
//設(shè)置裁剪矩形的變化信息
- (void)setCropRectangleRampFromStartCropRectangle:(CGRect)startCropRectangle toEndCropRectangle:(CGRect)endCropRectangle timeRange:(CMTimeRange)timeRange NS_AVAILABLE(10_9, 7_0);
//設(shè)置指定時(shí)間的裁剪矩形
- (void)setCropRectangle:(CGRect)cropRectangle atTime:(CMTime)time NS_AVAILABLE(10_9, 7_0);
AVVideoCompositionCoreAnimationTool
在自定義視頻播放時(shí)誓篱,可能需要添加水印、標(biāo)題或者其他的動(dòng)畫(huà)效果凯楔,需要使用該類窜骄。該類通常用來(lái)協(xié)調(diào)離線視頻中圖層與動(dòng)畫(huà)圖層的組合(如使用 AVAssetExportSession
和 AVAssetReader
、AVAssetReader
類導(dǎo)出視頻文件或讀取視頻文件時(shí))摆屯,而若是在線實(shí)時(shí)的視頻播放邻遏,應(yīng)使用 AVSynchronizedLayer 類來(lái)同步視頻的播放與動(dòng)畫(huà)的效果。
在使用該類時(shí)虐骑,注意動(dòng)畫(huà)在整個(gè)視頻的時(shí)間線上均可以被修改准验,所以,動(dòng)畫(huà)的開(kāi)始時(shí)間應(yīng)該設(shè)置為 AVCoreAnimationBeginTimeAtZero
廷没,這個(gè)值其實(shí)比 0 大糊饱,屬性值 removedOnCompletion
應(yīng)該置為 NO,以防當(dāng)動(dòng)畫(huà)執(zhí)行結(jié)束后被移除颠黎,并且不應(yīng)使用與任何的 UIView 相關(guān)聯(lián)的圖層另锋。
作為視頻組合的后期處理工具類,主要方法如下:
//AVVideoCompositionInstruction 的屬性 layerInstructions 包含的 AVVideoCompositionLayerInstruction 實(shí)例對(duì)象中應(yīng)該有
//該 trackID 一致的 AVVideoCompositionLayerInstruction 實(shí)例對(duì)象盏缤,并且為性能考慮砰蠢,不應(yīng)使用該對(duì)象設(shè)置 transform 的變化
//在 iOS 中蓖扑,CALayer 作為 UIView 的背景圖層唉铜,其內(nèi)容的是否能夠翻轉(zhuǎn),由方法 contentsAreFlipped 決定(如果所有的圖層包括子圖層律杠,該方法返回的值為 YES 的個(gè)數(shù)為奇數(shù)個(gè)潭流,表示可以圖層中內(nèi)容可以垂直翻轉(zhuǎn))
//所以這里的 layer 若用來(lái)設(shè)置 UIView 的 layer 屬性竞惋,或作為其中的子圖層,其屬性值 geometryFlipped 應(yīng)設(shè)置為 YES 灰嫉,這樣則能夠保持是否能夠翻轉(zhuǎn)的結(jié)果一致
+ (instancetype)videoCompositionCoreAnimationToolWithAdditionalLayer:(CALayer *)layer asTrackID:(CMPersistentTrackID)trackID;
//將放在圖層 videoLayer 中的組合視頻幀同動(dòng)畫(huà)圖層 animationLayer 中的內(nèi)容一起進(jìn)行渲染拆宛,得到最終的視頻幀
//通常,videoLayer 是 animationLayer 的子圖層讼撒,而 animationLayer 則不在任何圖層樹(shù)中
+ (instancetype)videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayer:(CALayer *)videoLayer inLayer:(CALayer *)animationLayer;
//復(fù)制 videoLayers 中的每一個(gè)圖層浑厚,與 animationLayer一起渲染得到最中的幀
////通常,videoLayers 中的圖層都在 animationLayer 的圖層樹(shù)中根盒,而 animationLayer 則不屬于任何圖層樹(shù)
+ (instancetype)videoCompositionCoreAnimationToolWithPostProcessingAsVideoLayers:(NSArray<CALayer *> *)videoLayers inLayer:(CALayer *)animationLayer NS_AVAILABLE(10_9, 7_0);
AVVideoCompositionValidationHandling
當(dāng)我們經(jīng)過(guò)編輯后得到一個(gè)視頻資源 asset 钳幅,并且為該資源設(shè)置了自定義播放信息 video composition ,需要驗(yàn)證對(duì)于這個(gè) asset 而言炎滞,video composition 是否有效敢艰,可以調(diào)用 AVVideoComposition
的校驗(yàn)方法。
/*
@param asset
設(shè)置第一個(gè)參數(shù)的校驗(yàn)內(nèi)容册赛,設(shè)置 nil 忽略這些校驗(yàn)
1. 該方法可以校驗(yàn) `AVVideoComposition` 的屬性 instructions 是否符合要求
2. 校驗(yàn) instructions 中的每個(gè) `AVVideoCompositionInstruction` 對(duì)象的 layerInstructions 屬性中的
每一個(gè) `AVVideoCompositionLayerInstruction` 對(duì)象 trackID 值是否對(duì)應(yīng) asset 中 track 的 ID
或 `AVVideoComposition` 的 animationTool 實(shí)例
3. 校驗(yàn)時(shí)間 asset 的時(shí)長(zhǎng)是否與 instructions 中的時(shí)間范圍相悖
@param timeRange
設(shè)置第二個(gè)參數(shù)的校驗(yàn)內(nèi)容
1. 校驗(yàn) instructions 的所有的時(shí)間范圍是否在提供的 timeRange 的范圍內(nèi)钠导,
若要忽略該校驗(yàn),可以傳參數(shù) `CMTimeRangeMake(kCMTimeZero, kCMTimePositiveInfinity)`
@param validationDelegate
設(shè)置遵循 AVVideoCompositionValidationHandling 協(xié)議的代理類森瘪,用來(lái)處理校驗(yàn)過(guò)程中的報(bào)錯(cuò)牡属,可以為 nil
*/
- (BOOL)isValidForAsset:(nullable AVAsset *)asset timeRange:(CMTimeRange)timeRange validationDelegate:(nullable id<AVVideoCompositionValidationHandling>)validationDelegate NS_AVAILABLE(10_8, 5_0);
設(shè)置的代理對(duì)象要遵循協(xié)議 AVVideoCompositionValidationHandling
,該對(duì)象在實(shí)現(xiàn)下面的協(xié)議方法時(shí)柜砾,若修改了傳遞的 composition 參數(shù)湃望,上面的校驗(yàn)方法則會(huì)拋出異常。
該協(xié)議提供了以下回調(diào)方法痰驱,所有方法的返回值用來(lái)確定是否繼續(xù)進(jìn)行校驗(yàn)以獲取更多的錯(cuò)誤证芭。
//報(bào)告 videoComposition 中有無(wú)效的值
- (BOOL)videoComposition:(AVVideoComposition *)videoComposition shouldContinueValidatingAfterFindingInvalidValueForKey:(NSString *)key NS_AVAILABLE(10_8, 5_0);
//報(bào)告 videoComposition 中有時(shí)間段沒(méi)有相對(duì)應(yīng)的 instruction
- (BOOL)videoComposition:(AVVideoComposition *)videoComposition shouldContinueValidatingAfterFindingEmptyTimeRange:(CMTimeRange)timeRange NS_AVAILABLE(10_8, 5_0);
//報(bào)告 videoComposition 中的 instructions 中 timeRange 無(wú)效的實(shí)例對(duì)象
//可能是 timeRange 本身為 CMTIMERANGE_IS_INVALID
//或者是該時(shí)間段同上一個(gè)的 instruction 的 timeRange 重疊
//也可能是其開(kāi)始時(shí)間比上一個(gè)的 instruction 的 timeRange 的開(kāi)始時(shí)間要早
- (BOOL)videoComposition:(AVVideoComposition *)videoComposition shouldContinueValidatingAfterFindingInvalidTimeRangeInInstruction:(id<AVVideoCompositionInstruction>)videoCompositionInstruction NS_AVAILABLE(10_8, 5_0);
//報(bào)告 videoComposition 中的 layer instruction 同調(diào)用校驗(yàn)方法時(shí)指定的 asset 中 track 的 trackID 不一致
//也不與 composition 使用的 animationTool 的trackID 一致
- (BOOL)videoComposition:(AVVideoComposition *)videoComposition shouldContinueValidatingAfterFindingInvalidTrackIDInInstruction:(id<AVVideoCompositionInstruction>)videoCompositionInstruction layerInstruction:(AVVideoCompositionLayerInstruction *)layerInstruction asset:(AVAsset *)asset NS_AVAILABLE(10_8, 5_0);