簡介
這一份教程是關于如何使用最新的 FFmpeg 3.2.4 進行音視頻的編解碼,以及如何使用 metal 對解碼之后的幀數(shù)據(jù)進行渲染. 感覺現(xiàn)在的 ffmpeg 教程都是基于 2.x 的所以就自己鼓搗了一下,希望和大家一起討論交流共同進步. 本教程的 github 源碼 (運行環(huán)境 OSX)也會跟隨本教程持續(xù)更新.因為作者有全職工作所以不能保證更新進度望大家理解. 本教程也參考了 kxMovie 感謝作者.
音視頻基礎介紹
首先,大家需要有一定的基礎知識,對于音視頻其實大家都知道所謂的視頻就是一幀一幀的圖片組合而成.隨著時間正確的渲染出圖片就能播放一個視頻. 同樣的音頻就是在正確的時間播放出對應的聲音.在對的時間貼上對的圖對的聲音就能播放完整的電影了.
FFmpeg 介紹
FFmpeg是一個自由軟件止喷，可以運行音頻和視頻多種格式的錄影、轉換乾巧、流功能[1]预愤，包含了libavcodec——這是一個用于多個項目中音頻和視頻的解碼器庫，以及l(fā)ibavformat——一個音頻與視頻格式轉換庫。
“FFmpeg”這個單詞中的“FF”指的是“Fast Forward”[2]向图。有些新手寫信給“FFmpeg”的項目負責人标沪，詢問FF是不是代表“Fast Free”或者“Fast Fourier”等意思，“FFmpeg”的項目負責人回信說：“Just for the record, the original meaning of "FF" in FFmpeg is "Fast Forward"...”
這個項目最初是由Fabrice Bellard發(fā)起的檩赢，而現(xiàn)在是由Michael Niedermayer在進行維護违寞。許多FFmpeg的開發(fā)者同時也是MPlayer項目的成員偶房，F(xiàn)Fmpeg在MPlayer項目中是被設計為服務器版本進行開發(fā)军浆。
2011年3月13日，F(xiàn)Fmpeg部分開發(fā)人士決定另組Libav掰盘，同時制定了一套關于項目繼續(xù)發(fā)展和維護的規(guī)則赞季。
FFmpeg 組件
- ffmpeg——一個命令行工具，用來對視頻文件轉換格式次绘，也支持對電視卡即時編碼
- ffserver——一個HTTP多媒體即時廣播流服務器典蜕，支持時光平移
- ffplay——一個簡單的播放器，基于SDL與FFmpeg庫
- libavcodec——包含全部FFmpeg音頻/視頻編解碼庫
- libavformat——包含demuxers和muxer庫
- libavutil——包含一些工具庫
- libpostproc——對于視頻做前處理的庫
- libswscale——對于視頻作縮放的庫
利用 FFmpeg 視頻解碼
在項目中我們可以創(chuàng)建一個負責音視頻解碼的類,命名為 xxDecoder.mm ,在初始化函數(shù)中調用 av_register_all(); 方法初始化 FFmpeg,然后開始對視頻進行編解碼.
檢測音視頻文件是否可以解碼
一些比較簡單的工作在本教程中我就省略了,比如創(chuàng)建一個 NSOpenPanel 去選取音視頻文件.拿到文件之后我們需要對文件的傳入路徑做一下分析看它是不是一個本地文件,因為 FFmpeg 也支持多媒體即使廣流服務器.(本教程截止 2017.02.28 播放器僅支持本地播放 實際上還沒解碼音頻??) 假如是流媒體文件我們需要調用 avformat_network_init(); .
首先我們需要創(chuàng)建一個 AVFormatContext 實例,這個實例對我們來說是非常重要的需要作為我們解碼類的一個成員確定可以打開文件之后進行成員變量的賦值.
//創(chuàng)建 AVFormatContext 實例
AVFormatContext *formatCtx = NULL;
//容錯回調
if (_interruptCallback) {
formatCtx = avformat_alloc_context();
if (!formatCtx)
return lzmMediaErrorOpenFile;
AVIOInterruptCB cb = {interrupt_callback, (__bridge void *)(self)};
formatCtx->interrupt_callback = cb;
}
以上代碼就是創(chuàng)建一個 AVFormatContext 實例然后創(chuàng)建了一個回調假如解碼出現(xiàn)錯誤能夠及時回調做出相應的處理.
接下來使用 FFmpeg 接口打開傳入的文件路徑, avformat_open_input 沒有出錯的話,我們還需要檢查是否能打開音視頻流.一切 OK 就可以保存這樣一個 AVFormatContext 實例.
//打開文件獲得錯誤碼
int err_code = avformat_open_input(&formatCtx, [path cStringUsingEncoding:NSUTF8StringEncoding], NULL, NULL);
//出現(xiàn)錯誤
if (err_code != 0) {
if (formatCtx)
avformat_free_context(formatCtx);
char* buf[1024];
av_strerror(err_code, (char*)buf, 1024);
printf("Couldn't open file %s: %d(%s)", [path cStringUsingEncoding: NSUTF8StringEncoding], err_code, (char*)buf);
return lzmMediaErrorOpenFile;
}
//獲取音視頻流
if (avformat_find_stream_info(formatCtx, NULL) < 0) {
avformat_close_input(&formatCtx);
return lzmMediaErrorStreamInfoNotFound;
}
//打印音視頻的具體信息
av_dump_format(formatCtx, 0, [path.lastPathComponent cStringUsingEncoding: NSUTF8StringEncoding], 0);
_formatCtx = formatCtx;
以上代碼基本上就是確定了視頻文件的有效性,以及文件可被解碼.
接下來就是具體解碼視頻的過程,FFmpeg 解碼是根據(jù)時間來解碼出當時的視頻圖片,所以首先我們自己寫一個定時器,然后再定時器中不斷調用解碼的函數(shù)并傳入需要解碼的時間.
FFmpeg 3.x 解碼是用 avcodec_send_packet 和 avcodec_receive_frame.
- (NSArray *) decodeFrames: (CGFloat) minDuration
{
if (_videoStream == -1 &&
_audioStream == -1)
return nil;
NSMutableArray *result = [NSMutableArray array];
AVPacket packet;//Usually single video frame or several complete audio frames.
CGFloat decodedDuration = 0;
BOOL finished = NO;
while (!finished) {
if (av_read_frame(_formatCtx, &packet) < 0) {
_isEOF = YES;
break;
}
if (packet.stream_index ==_videoStream) {
int errorcode = avcodec_send_packet(_videoCodecCtx, &packet);
if (errorcode != 0) {
break;
}
errorcode = avcodec_receive_frame(_videoCodecCtx, _videoFrame);
if (errorcode != 0) {
break;
}
lzmVideoFrame *frame = [self handleVideoFrame];
if (frame) {
[result addObject:frame];
_position = frame.position;
decodedDuration += frame.duration;
if (decodedDuration > minDuration)
finished = YES;
}
}
return result;
}
以上代碼中最關鍵的是:
avcodec_send_packet(_videoCodecCtx, &packet);
avcodec_receive_frame(_videoCodecCtx, _videoFrame
這段代碼能夠將 _videoFrame 賦值.然后經過我們的處理函數(shù) handleVideoFrame 將 FFmpeg 的 frame 數(shù)據(jù)轉換成我們的自定義 frame 數(shù)據(jù).
