在AVPlayer中截取一幀HLS(m3u8)格式圖片

AVPlayer的API真心不友好,一個截屏問題搞得我花了6個小時才徹底解決他嚷。在網(wǎng)上搜索會找到兩種截屏方案: 使用AVPlayerItemVideoOutput
AVAssetImageGenerator蹋绽。

其中AVAssetImageGenerator用于處理非HLS(切片視頻流)的截屏芭毙,比如MPEG-4格式筋蓖。但一開始我因為沒有限制精度導(dǎo)致截出來的幀總是慢了1-2秒:

AVURLAsset *asset = self.playerItem.asset;
self.imageGenerator = [AVAssetImageGenerator assetImageGeneratorWithAsset:asset];
self.imageGenerator.appliesPreferredTrackTransform = YES;
// 注意:設(shè)置為高精度截屏,這和seekToTime的精度其實是一樣的
self.imageGenerator.requestedTimeToleranceBefore = kCMTimeZero;
self.imageGenerator.requestedTimeToleranceAfter = kCMTimeZero;

// 截屏操作
int attemptNumber = 0;
BOOL success = NO;
// 截屏時間點可能不準退敦,會反復(fù)重試
while (attemptNumber < 3 && !success) {
    CMTime actualTime;
    NSError *error;
    videoImage = [self.imageGenerator copyCGImageAtTime:time actualTime:&actualTime error:&error];
    captureImage = [UIImage imageWithCGImage:videoImage];
    CGImageRelease(videoImage);
    if (error) {
        return nil;
    }
    float actual =  CMTimeGetSeconds(actualTime);
    if (isFloatEqual(timestamp, actual)) {
        success = YES;
    } else {
        attemptNumber++;
    }
}

// 你也可以使用generateCGImagesAsynchronouslyForTimes方法粘咖,異步獲取多個時間點的幀圖片

而AVPlayerItemVideoOutput則用于處理HLS(m3u8)的截屏,我一開始是先把視頻暫停了再截屏沒問題侈百,但是在播放中時截屏就出現(xiàn)了這篇文章中出現(xiàn)的buffer返回null的問題
瓮下。然后各種查詢之后發(fā)現(xiàn)這個回答中說:

1. Create player & player item, dispatch queue and display link
2. Register observer for AVPlayerItem status key
3. On status AVPlayerStatusReadyToPlay, create AVPlayerItemVideoOutput and start display link

然后我也將AVPlayerItemVideoOutput的構(gòu)造和注冊放到了AVPlayerStatusReadyToPlay之后發(fā)現(xiàn)還是不行,最后在這篇早年的objcio的文章中演示了對CADisplayLink的使用钝域,才理解了前面那句create AVPlayerItemVideoOutput and start display link的含義

// 在AVPlayerItemStatusReadyToPlay時創(chuàng)建實例
if (self.config.isVideoHLSFormat
     && self.videoOutput == nil
     && self.playerItem.status == AVPlayerItemStatusReadyToPlay) {
     NSDictionary *settings = @{(id)kCVPixelBufferPixelFormatTypeKey:
                                    @(kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)
                                };
     self.videoOutput = [[AVPlayerItemVideoOutput alloc] initWithPixelBufferAttributes:settings];
     [self.playerItem addOutput:self.videoOutput];
     self.displayLink = [CADisplayLink displayLinkWithTarget:self selector:@selector(displayLinkCallback:)];
     [self.displayLink addToRunLoop:[NSRunLoop mainRunLoop] forMode:NSRunLoopCommonModes];
 }


// 在runloop的間隙獲取當前videoOutput的buffer
- (void)displayLinkCallback:(CADisplayLink *)sender {
    CMTime time = [self.videoOutput itemTimeForHostTime:CACurrentMediaTime()];
    if ([self.videoOutput hasNewPixelBufferForItemTime:time]) {
        self.lastSnapshotPixelBuffer = [self.videoOutput copyPixelBufferForItemTime:time itemTimeForDisplay:NULL];
    }
}

// 截屏處理
CVPixelBufferRef buffer = [self.videoOutput copyPixelBufferForItemTime:time itemTimeForDisplay:nil];
// 再取一次buffer是為了防止在暫停時截屏不準確
if (buffer == NULL
    && self.lastSnapshotPixelBuffer) {
    buffer = self.lastSnapshotPixelBuffer;
}
if (buffer) {
    //生成CIImage
    CIImage *ciImage = [CIImage imageWithCVPixelBuffer:buffer];
    // 轉(zhuǎn)化為CGImage
    CIContext *context = [CIContext contextWithOptions:nil];
    size_t width = CVPixelBufferGetWidth(buffer);
    size_t height = CVPixelBufferGetHeight(buffer);
    videoImage = [context createCGImage:ciImage
                               fromRect:CGRectMake(0, 0, width, height)];
    // 生成UIImage
    captureImage = [UIImage imageWithCGImage:videoImage];
    CGImageRelease(videoImage);
}

我對截屏的圖片處理比較簡單就直接用UIImageJPEGRepresentation(image, 0.5)壓縮了讽坏,也可以更復(fù)雜的處理。最后在重建playerItem時別忘了清理資源:

[self.playerItem removeOutput:self.videoOutput];
self.videoOutput = nil;
[self.displayLink invalidate];
self.displayLink = nil;
self.lastSnapshotPixelBuffer = NULL;

最后還有一個問題沒有答案例证,如果要實現(xiàn)HLS視頻的緩沖進度的圖片預(yù)覽不知道用AVPlayer的原生API怎么做路呜。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市织咧,隨后出現(xiàn)的幾起案子胀葱,更是在濱河造成了極大的恐慌,老刑警劉巖笙蒙,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件抵屿,死亡現(xiàn)場離奇詭異,居然都是意外死亡捅位,警方通過查閱死者的電腦和手機轧葛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進店門搂抒,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人尿扯,你說我怎么就攤上這事燕耿。” “怎么了姜胖?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵誉帅,是天一觀的道長。 經(jīng)常有香客問我右莱,道長蚜锨,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任慢蜓,我火速辦了婚禮亚再,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘晨抡。我一直安慰自己氛悬,他們只是感情好,可當我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布耘柱。 她就那樣靜靜地躺著如捅,像睡著了一般。 火紅的嫁衣襯著肌膚如雪调煎。 梳的紋絲不亂的頭發(fā)上镜遣,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天,我揣著相機與錄音士袄,去河邊找鬼悲关。 笑死,一個胖子當著我的面吹牛娄柳,可吹牛的內(nèi)容都是我干的寓辱。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼赤拒,長吁一口氣:“原來是場噩夢啊……” “哼秫筏!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起需了,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤跳昼,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后肋乍,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體棺弊,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡峭范,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年腔剂,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锚烦。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖帝雇,靈堂內(nèi)的尸體忽然破棺而出涮俄,到底是詐尸還是另有隱情,我是刑警寧澤尸闸,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布彻亲,位于F島的核電站,受9級特大地震影響吮廉,放射性物質(zhì)發(fā)生泄漏苞尝。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一宦芦、第九天 我趴在偏房一處隱蔽的房頂上張望宙址。 院中可真熱鬧,春花似錦调卑、人聲如沸抡砂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽注益。三九已至,卻和暖如春气破,著一層夾襖步出監(jiān)牢的瞬間聊浅,已是汗流浹背餐抢。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工现使, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人旷痕。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓碳锈,卻偏偏與公主長得像,于是被迫代替她去往敵國和親欺抗。 傳聞我的和親對象是個殘疾皇子售碳,可洞房花燭夜當晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容