1 FFmpeg 概述

引自 百度百科:FFmpeg
FFmpeg 是一套可以用來(lái)記錄掺逼、轉(zhuǎn)換數(shù)字音頻蔓同、視頻，并能將其轉(zhuǎn)化為流的開(kāi)源計(jì)算機(jī)程序惨撇。采用 LGPL 或 GPL 許可證葵萎。它提供了錄制分蓖、轉(zhuǎn)換以及流化音視頻的完整解決方案。它包含了非常先進(jìn)的 音頻/視頻編解碼庫(kù) libavcodec拷窜，為了保證高可移植性和編解碼質(zhì)量开皿， libavcodec 里很多 code 都是 從頭開(kāi)發(fā)的。
FFmpeg 在 Linux 平臺(tái)下開(kāi)發(fā)篮昧，但它同樣也可以在其它操作系統(tǒng)環(huán)境中編譯運(yùn)行赋荆，包括 Windows、 Mac OS X 等懊昨。這個(gè)項(xiàng)目最早由 Fabrice Bellard 發(fā)起窄潭，2004年至2015年間由 Michael Niedermayer 主 要負(fù)責(zé)維護(hù)。許多 FFmpeg 的開(kāi)發(fā)人員都來(lái)自 MPlayer 項(xiàng)目酵颁，而且當(dāng)前 FFmpeg 也是放在 MPlayer 項(xiàng)目組的服務(wù)器上嫉你。項(xiàng)目的名稱來(lái)自 MPEG 視頻編碼標(biāo)準(zhǔn) ，前面的 "FF" 代表 "Fast Forward" 躏惋。

2 音視頻各階段編解碼格式

播放與錄制音視頻流程

播放與錄制音視頻流程

2.1 視頻

2.1.1 視頻像素格式

• ARGB_8888 : 常見(jiàn)的圖像像素編碼格式幽污，用 4 個(gè)字節(jié)分別存儲(chǔ)圖像的 A 透明度信息， R 紅色通道信 息簿姨， G 綠色通道信息距误， B 藍(lán)色通道信息。
• YUV : YUV像素格式來(lái)源于RGB像素格式扁位，通過(guò)公式運(yùn)算准潭，YUV三分量可以還原出RGB，YUV轉(zhuǎn)RGB的 公式如下:

R = Y + 1.403V
G = Y - 0.344U - 0.714
V B = Y + 1.770U

一般域仇，將 RGB 和 YUV 的范圍均限制在 [0, 255] 間刑然，則有如下轉(zhuǎn)換公式:

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128) 
B = Y + 1.770(U - 128)

YUV 格式根據(jù)采樣方式不同又分為 YUV444 , YUV422 , YUV420 ，詳情參考這篇博客 暇务。

2.1.2 視頻壓縮格式

2.2 音頻

2.2.1 音頻采樣數(shù)據(jù)格式

參考了 Allan_Wang 的 音視頻學(xué)習(xí)框架 。

• 采樣
  所謂采樣就是在時(shí)間軸上對(duì)模擬信號(hào)進(jìn)行數(shù)字化析苫，根據(jù)采樣定理( 香農(nóng)采樣定理兜叨，奈奎斯特采樣 定理)，按照比聲音最高頻率 2 倍以上的頻率進(jìn)行采樣(AD轉(zhuǎn)換)衩侥。人耳聽(tīng)力范圍是 20Hz~20kHz 国旷，所以采樣頻率一般為 40kHz 左右，常用的有 44.1kHz (44100 次/s 采樣)茫死、 48kHz 等跪但，采樣率越高， 音質(zhì)越好 峦萎。

• 量化
  是指在幅度軸上對(duì)信號(hào)進(jìn)行數(shù)字化屡久。對(duì)模擬音頻信號(hào)的幅度進(jìn)行數(shù)字化，它決定了模擬信號(hào)數(shù)字 化以后的動(dòng)態(tài)范圍爱榔，常用的有8位被环、12位和16位。 量化位越高详幽，信號(hào)的動(dòng)態(tài)范圍越大筛欢，數(shù)字化后的 音頻信號(hào)就越可能接近原始信號(hào) 。

音頻采樣

• PCM 編碼
  PCM(Pulse Code Modulation)也被稱為脈沖編碼調(diào)制妒潭。PCM 音頻數(shù)據(jù)是未經(jīng)壓縮的音頻采樣數(shù)據(jù)裸流 悴能，它是由模擬信號(hào)經(jīng)過(guò)采樣、量化雳灾、編碼轉(zhuǎn)換成的標(biāo)準(zhǔn)的數(shù)字音頻數(shù)據(jù)漠酿。

如果是單聲道的音頻文件，采樣數(shù)據(jù)按時(shí)間的先后順序依次存入(有的時(shí)候也會(huì)采用 LRLRLR 方式存 儲(chǔ)谎亩，只是另一個(gè)聲道的數(shù)據(jù)為 0)炒嘲，如果是雙聲道的話就按照 LRLRLR 的方式存儲(chǔ)宇姚，存儲(chǔ)的時(shí)候還和機(jī) 器的大小端有關(guān)。大端模式如下圖所示:

image-20201219102304754

一般我們描述PCM音頻數(shù)據(jù)的參數(shù)的時(shí)候有如下描述方式

44100HZ 16bit stereo : 每秒鐘有 44100 次采樣夫凸，采樣數(shù)據(jù)用 16 位( 2 字節(jié))記錄, 雙聲道(立體聲);

22050HZ 8bit mono : 每秒鐘有 22050 次采樣浑劳，采樣數(shù)據(jù)用 8 位( 1 字節(jié))記錄, 單聲道。

44100Hz 指的是采樣率夭拌，它的意思是每秒取樣44100次魔熏。采樣率越大，存儲(chǔ)數(shù)字音頻所占的空間就越大鸽扁。 16bit 指的是采樣精度蒜绽，意思是原始模擬信號(hào)被采樣后，每一個(gè)采樣點(diǎn)在計(jì)算機(jī)中用 16 位(兩個(gè)字節(jié))來(lái)表示桶现。采樣精度越高越能精細(xì)地表示模擬信號(hào)的差異躲雅。

2.2.2 音頻壓縮數(shù)據(jù)格式

2.2.3 音視頻封裝數(shù)據(jù)格式

3 獲取 FFmpeg

進(jìn)入 FFmpeg 官網(wǎng)下載開(kāi)源代碼和可執(zhí)行工具嗅剖。

image-20201219102907591

3.1 源代碼

FFmpeg 是基于 C 語(yǔ)言的開(kāi)源項(xiàng)目辩越，其源代碼中包含了所有開(kāi)發(fā)人員所需要的包括音視頻編解碼，音視頻播放信粮，音視頻處理等 .c/.h 文件黔攒，并且源代碼根據(jù)功能進(jìn)行了模塊劃分。主要包含以下幾個(gè)模塊：

FFmpeg 實(shí)際上也是一個(gè)引擎，能夠集成包括 librtmp赏胚、libmp3lame 等第三方的庫(kù)访娶，以 FFmpeg 統(tǒng)一接口使用

3.2 可執(zhí)行工具

可執(zhí)行工具位于 bin 目錄下

   ./configure --prefix=/usr/local/ffmpeg --enable-debug=3 --enable-shared --disable-static
   make clean
   make -j 4
   make install

cd /usr/local/ffmpeg

image-20201219103513081

4.FFmpeg 中幾個(gè)重要的結(jié)構(gòu)體 簡(jiǎn)單介紹

結(jié)構(gòu)體一 AVPacket

參考博客 FFmpeg 結(jié)構(gòu)體:AVPacket 解析

// C
typedef struct AVPacket {
AVBufferRef *buf; //用來(lái)管理data指針引用的數(shù)據(jù)緩存
int64_t pts; //顯示時(shí)間栅哀，結(jié)合AVStream->time_base轉(zhuǎn)換成時(shí)間戳
int64_t dts; //解碼時(shí)間震肮，結(jié)合AVStream->time_base轉(zhuǎn)換成時(shí)間戳
uint8_t *data; //★指向保存壓縮數(shù)據(jù)的指針，這就是AVPacket的實(shí)際數(shù)據(jù)
int size; //data的大小
int stream_index; //packet在stream的index位置
int flags; //標(biāo)示留拾，結(jié)合AV_PKT_FLAG使用戳晌，其中最低為1表示該數(shù)據(jù)是一個(gè)關(guān)鍵幀。 
  /*
* flags 可選:
* #define AV_PKT_FLAG_KEY 0x0001 //關(guān)鍵幀
* #define AV_PKT_FLAG_CORRUPT 0x0002 //損壞的數(shù)據(jù)
* #define AV_PKT_FLAG_DISCARD 0x0004 /丟棄的數(shù)據(jù) 
*/
AVPacketSideData *side_data; //容器提供的一些附加數(shù)據(jù)
int side_data_elems; //邊緣數(shù)據(jù)元數(shù)個(gè)數(shù)
int64_t duration; //數(shù)據(jù)的時(shí)長(zhǎng)痴柔，以所屬媒體流的時(shí)間基準(zhǔn)為單位沦偎，未知?jiǎng)t值為默認(rèn)值0 int64_t pos; //數(shù)據(jù)在流媒體中的位置，未知?jiǎng)t值為默認(rèn)值-1
    #if FF_API_CONVERGENCE_DURATION
    attribute_deprecated
    int64_t convergence_duration; //該字段已deprecated,不在使用 
  #endif
} AVPacket;

• AVPacket 結(jié)構(gòu)體定義在 <libavcodec/avcodec.h> 中咳蔚，看源碼英文注釋去這里找豪嚎。
• 簡(jiǎn)介：AVPacket是FFmpeg中很重要的一個(gè)數(shù)據(jù)結(jié)構(gòu)，它保存了解復(fù)用（demuxer)之后谈火，解碼（decode）之前的數(shù)據(jù)（仍然是壓縮后的數(shù)據(jù)）和關(guān)于這些數(shù)據(jù)的一些附加的信息侈询，如顯示時(shí)間 戳（pts），解碼時(shí)間戳（dts）,數(shù)據(jù)時(shí)長(zhǎng)（duration）糯耍，所在流媒體的索引（stream_index）等等扔字。
• AVPacket 中的內(nèi)存管理請(qǐng)參考上述引用的參考博客。

結(jié)構(gòu)體二 AVFrame

參考博客 FFmpeg 數(shù)據(jù)結(jié)構(gòu) AVFrame

• AVFrame 結(jié)構(gòu)體定義在 <libavutil/frame.h> 温技，看源碼去這里找革为，略長(zhǎng)不粘。
• 簡(jiǎn)介: AVFrame中存儲(chǔ)的是經(jīng)過(guò)解碼后的原始數(shù)據(jù)舵鳞。在解碼中震檩，AVFrame是解碼器的輸出;在編碼 中，AVFrame是編碼器的輸入蜓堕。

結(jié)構(gòu)體三 AVFormatContext

參考博客 FFmpeg 結(jié)構(gòu)體分析:AVFormatContext

• AVFormatContext 結(jié)構(gòu)體定義在 <libavformat/avformat.h> 中抛虏，看源碼去這里找，略長(zhǎng)不粘俩滥。
• 簡(jiǎn)介:在使用 FFmpeg 進(jìn)行開(kāi)發(fā)的時(shí)候嘉蕾，AVFormatContext 是一個(gè)貫穿始終的數(shù)據(jù)結(jié)構(gòu)，很多函數(shù) 都要用到它作為參數(shù)霜旧。它是 FFmpeg 解封裝(flv错忱，mp4儡率，rmvb，avi)功能的結(jié)構(gòu)體。下面看幾個(gè) 主要變量的作用(在這里考慮解碼的情況):

// C
struct AVInputFormat *iformat; //輸入數(shù)據(jù)的封裝格式
AVIOContext *pb; //輸入數(shù)據(jù)的緩存
unsigned int nb_streams; //視音頻流的個(gè)數(shù)
AVStream **streams; //視音頻流
char filename[1024]; //文件名
int64_t duration; //時(shí)長(zhǎng)(單位:微秒ms，轉(zhuǎn)換為秒需要除以1_000_000) int bit_rate; //比特率(單位bps荚孵，轉(zhuǎn)換為kbps需要除以1_000) AVDictionary *metadata; //元數(shù)據(jù)

結(jié)構(gòu)體四 AVCodecContext

參考博客 FFmpeg 結(jié)構(gòu)體分析:AVCodecContext

• AVCodecContext 結(jié)構(gòu)體定義在 <libavcodec/avcodec.h> 中，看源碼去這里找眉孩，略長(zhǎng)不粘。
• 簡(jiǎn)介: 一些關(guān)鍵的變量來(lái)看看(這里只考慮解碼)勒葱。

// C
enum AVMediaType codec_type; //編解碼器的類(lèi)型(視頻浪汪，音頻...)
struct AVCodec *codec; //采用的解碼器AVCodec(H.264,MPEG2...)
int bit_rate; //平均比特率
uint8_t *extradata; int extradata_size; //針對(duì)特定編碼器包含的附加信息(例如對(duì)于H.264解碼器來(lái) 說(shuō)，存儲(chǔ)SPS凛虽，PPS等)
AVRational time_base; //根據(jù)該參數(shù)死遭，可以把PTS轉(zhuǎn)化為實(shí)際的時(shí)間(單位為秒s)
int width, height; //如果是視頻的話，代表寬和高
int refs; //運(yùn)動(dòng)估計(jì)參考幀的個(gè)數(shù)(H.264的話會(huì)有多幀凯旋，MPEG2這類(lèi)的一般就沒(méi)有了)
int sample_rate; //采樣率(音頻)
int channels; //聲道數(shù)(音頻)
enum AVSampleFormat sample_fmt; //采樣格式
int profile; //型(H.264里面就有呀潭，其他編碼標(biāo)準(zhǔn)應(yīng)該也有)
int level; //級(jí)(和profile差不太多)

重要結(jié)構(gòu)體之間的關(guān)系

參考博客 FFmpeg 中最關(guān)鍵的結(jié)構(gòu)體之間的關(guān)系

FFmpeg 中結(jié)構(gòu)體很多。最關(guān)鍵的結(jié)構(gòu)體可以分成以下幾類(lèi):

解協(xié)議(http, rtsp, rtmp, mms)

• AVIOContext 至非，URLProtocol 钠署，URLContext 主要存儲(chǔ)視音頻使用的協(xié)議的類(lèi)型以及狀態(tài)。URLProtocol 存 儲(chǔ)輸入視音頻使用的封裝格式荒椭。每種協(xié)議都對(duì)應(yīng)一個(gè) URLProtocol 結(jié)構(gòu)(注意:FFmpeg 中文件也被當(dāng) 做一種協(xié)議 “file” )谐鼎。

解封裝(flv, avi, rmvb, mp4)

• AVFormatContext 主要存儲(chǔ)視音頻封裝格式中包含的信息;AVInputFormat 存儲(chǔ)輸入視音頻使用的封裝格式。每種視音頻封裝格式都對(duì)應(yīng)一個(gè) AVInputFormat 結(jié)構(gòu)趣惠。

解碼(h264, mpeg2, aac, mp3)

• 每個(gè) AVStream 存儲(chǔ)一個(gè)視頻/音頻流的相關(guān)數(shù)據(jù);每個(gè) AVStream 對(duì)應(yīng)一個(gè) AVCodecContext 该面，存儲(chǔ)該視 頻/音頻流使用解碼方式的相關(guān)數(shù)據(jù);每個(gè) AVCodecContext 中對(duì)應(yīng)一個(gè) AVCodec ，包含該視頻/音頻對(duì)應(yīng) 的解碼器信卡。每種解碼器都對(duì)應(yīng)一個(gè) AVCodec 結(jié)構(gòu)。

存數(shù)據(jù)

視頻的話题造，每個(gè)結(jié)構(gòu)一般是存一幀;音頻可能有好幾幀

• 解碼前數(shù)據(jù):AVPacket
• 解碼后數(shù)據(jù):AVFrame

重要結(jié)構(gòu)體之間的關(guān)系