1 FFMPEG中的重要結(jié)構(gòu)體

1.1? 結(jié)構(gòu)體分類

FFMPEG中結(jié)構(gòu)體很多脂倦。最關(guān)鍵的結(jié)構(gòu)體可以分成以下幾類：

1）應(yīng)用層（提綱挈領(lǐng)）

AVFormatContext?結(jié)構(gòu)體按名字來(lái)說(shuō)袋励，應(yīng)該將其歸為封裝層低飒，但是，從整體的架構(gòu)上來(lái)說(shuō)禀倔，它是FFMPEG中提綱挈領(lǐng)的最外層結(jié)構(gòu)體熬芜，在音視頻處理過(guò)程中，該結(jié)構(gòu)體保存著所有信息曙强。這些信息一部分由AVFormatContext的直接成員持有残拐，另一部分由后續(xù)要介紹的這些數(shù)據(jù)結(jié)構(gòu)所持有，而這些結(jié)構(gòu)體都是AVFormatContext的直接成員或者間接成員碟嘴∠常總的來(lái)說(shuō)，AVFormatContext結(jié)構(gòu)體作用可以類比于WebRtc中的PeerConnection娜扇，但是區(qū)別在于错沃，WebRtc是C++的接口，PeerConnection不僅持有數(shù)據(jù)(狀態(tài)信息)雀瓢，而且還提供方法枢析。而FFMPEG是C語(yǔ)言實(shí)現(xiàn)，AVFormatContext持有數(shù)據(jù)刃麸，方法與其是分開的醒叁。具體關(guān)于AVFormatContext結(jié)構(gòu)體的分析見FFRMPEG4.1源碼分析之 AVFormatContext。

2)? ?協(xié)議層（http, rtsp,? rtmp,? mms, file)-----I/O相關(guān)結(jié)構(gòu)體

? ? ? 協(xié)議層，處理各種協(xié)議把沼，但我更傾向于認(rèn)為其是FFMPEG的I/O處理層啊易，提供了資源的按字節(jié)讀寫能力。這一層的作用：一方面根據(jù)音視頻資源的URL饮睬，來(lái)識(shí)別該以什么協(xié)議來(lái)訪問(wèn)該資源租谈。本地存儲(chǔ)的文件？那么是file協(xié)議续捂。網(wǎng)絡(luò)資源垦垂？是http協(xié)議？rtsp協(xié)議牙瓢？rtmp協(xié)議劫拗？；另一方面識(shí)別協(xié)議后矾克，那么可以使用協(xié)議相關(guān)的方法open資源页慷，read資源的原始比特流，向資源中write原始比特流胁附，在資源中seek酒繁，close資源，并提供緩沖區(qū)buffer控妻，所有的操作就像訪問(wèn)一個(gè)文件一樣州袒。FFMPEG這層提供了這樣一個(gè)抽象，像訪問(wèn)文件一樣去訪問(wèn)資源弓候，這個(gè)概念在linux系統(tǒng)中普遍存在郎哭，一切皆是文件。這一層的主要結(jié)構(gòu)體有下面三個(gè)URLProtocol菇存，URLContext夸研，AVIOContext，可以認(rèn)為這3個(gè)結(jié)構(gòu)體在協(xié)議層也是有上下級(jí)關(guān)系的依鸥。

URLProtocol?是這層中最底層的結(jié)構(gòu)體亥至，持有協(xié)議訪問(wèn)方法：每個(gè)協(xié)議都有其專屬的URLProtocol結(jié)構(gòu)體，在FFMPEG中以常量的形式存在贱迟，命名方式是ff_xxx_protocol姐扮，其中xxx是協(xié)議名。URLProtocol的成員函數(shù)指針族提供了上述類文件操作的所有方法衣吠，如果是網(wǎng)絡(luò)協(xié)議溶握，那么網(wǎng)絡(luò)訪問(wèn)的所有一切也被封裝在這些方法之中，可以認(rèn)為URLProtocol提供了協(xié)議的訪問(wèn)方法蒸播。

URLContext?是協(xié)議上下文對(duì)象睡榆，是URLProtocol上一層的結(jié)構(gòu)體萍肆，持有協(xié)議訪問(wèn)方法以及當(dāng)前訪問(wèn)狀態(tài)信息：通過(guò)持有URLProtocol對(duì)象而持有協(xié)議訪問(wèn)方法，并且通過(guò)持有另外一個(gè)協(xié)議相關(guān)的狀態(tài)信息結(jié)構(gòu)體來(lái)持有當(dāng)前協(xié)議訪問(wèn)的狀態(tài)信息胀屿。持有狀態(tài)信息的這個(gè)結(jié)構(gòu)體名稱跟協(xié)議名相關(guān)塘揣，以Http協(xié)議為例，相應(yīng)結(jié)構(gòu)體名稱為HttpContext宿崭。注意一點(diǎn)：有些相關(guān)的協(xié)議會(huì)映射到同一個(gè)狀態(tài)信息的結(jié)構(gòu)體上亲铡，比如http，https葡兑，httpproxy對(duì)應(yīng)的URLProtocol結(jié)構(gòu)體為ff_http_protocol奖蔓，ff_https_protocol，ff_httpproxy_protocol讹堤，但是這3個(gè)協(xié)議對(duì)應(yīng)同一個(gè)狀態(tài)信息上下文結(jié)構(gòu)體HttpContext吆鹤。再比如file，pipe協(xié)議對(duì)應(yīng)的URLProtocol結(jié)構(gòu)體為ff_file_protocol洲守，ff_pipe_protocol疑务，二者對(duì)應(yīng)同一個(gè)狀態(tài)信息上下文結(jié)構(gòu)體FileContext。

AVIOContext?是協(xié)議層最上一層的結(jié)構(gòu)體梗醇，可以認(rèn)為是協(xié)議層的public api知允，提綱挈領(lǐng)的AVFormatContext通過(guò)持有AVIOContext而具備IO訪問(wèn)能力。AVIOContext通過(guò)持有URLContext而持有協(xié)議訪問(wèn)方法以及訪問(wèn)狀態(tài)叙谨，同時(shí)內(nèi)部再提供一個(gè)讀寫緩沖區(qū)温鸽。注意是讀寫緩沖區(qū)，既可以作為讀緩沖區(qū)手负，也可以寫緩沖區(qū)涤垫，當(dāng)然同時(shí)只支持讀或者寫。

3)???封裝層（flv,avi,rmvb,mp4）

? ? ? 以解封裝為例虫溜，協(xié)議層提供了對(duì)資源的按字節(jié)讀寫能力，并將字節(jié)數(shù)據(jù)存儲(chǔ)到緩沖區(qū)中股缸，而封裝層所起作用就是從字節(jié)流中截取一個(gè)個(gè)數(shù)據(jù)幀出來(lái)衡楞，這個(gè)數(shù)據(jù)幀以AVPacket結(jié)構(gòu)體來(lái)表示，這個(gè)數(shù)據(jù)幀可能是屬于視頻敦姻，一般是存一幀瘾境，也可能是音頻，可能對(duì)應(yīng)好幾幀音頻镰惦。這一層主要的結(jié)構(gòu)體有如下幾個(gè)：AVInputFormat迷守，AVOutputFormat，AVFormatContext旺入，AVFormatInternal兑凿。

AVInputFormat?存儲(chǔ)輸入視音頻使用的封裝格式凯力，提供了按格式讀取數(shù)據(jù)的方法。類似于每種協(xié)議格式對(duì)應(yīng)一個(gè)URLProtocol結(jié)構(gòu)體礼华，每種輸入視音頻封裝格式都對(duì)應(yīng)一個(gè)AVInputFormat 結(jié)構(gòu)體咐鹤，在FFMPEG中以常量的形式存在，命名方式是ff_xxx_demuxer圣絮，其中xxx是封裝格式名祈惶。AVInputFormat結(jié)構(gòu)體提供了文件格式探測(cè)read_probe，讀文件頭read_header扮匠，寫數(shù)據(jù)包read_packet捧请，讀關(guān)閉read_close等方法。注意沒有read_open棒搜，因?yàn)榈竭@一層的時(shí)候疹蛉，資源肯定是打開的。

AVOutputFormat?存儲(chǔ)輸出音視頻使用的封裝格式帮非，提供了將格式化的數(shù)據(jù)轉(zhuǎn)成無(wú)差別的字節(jié)流的方法氧吐。類似于每種協(xié)議格式對(duì)應(yīng)一個(gè)URLProtocol結(jié)構(gòu)體，每種輸出視音頻封裝格式都對(duì)應(yīng)一個(gè)AVOutputFormat 結(jié)構(gòu)體末盔，在FFMPEG中以常量的形式存在筑舅，命名方式是ff_xxx_muxer，其中xxx是封裝格式名陨舱。AVOutputFormat 結(jié)構(gòu)體提供了寫文件頭write_header翠拣，寫數(shù)據(jù)包write_packet，寫文件尾write_trailer等方法游盲。

AVFormatInternal?是一個(gè)封裝層內(nèi)部使用的對(duì)象误墓，提供了已讀取或者待寫入的編碼數(shù)據(jù)包AVPacket隊(duì)列等狀態(tài)信息。

AVFormatContext 是一個(gè)上下文對(duì)象益缎，是AVOutputFormat/AVInputFormat上層結(jié)構(gòu)體谜慌，可認(rèn)為是封裝層的public api，當(dāng)然也如應(yīng)用層所述莺奔，其作用不止如此欣范。一方面，AVFormatContext通過(guò)持有AVOutputFormat或者是AVInputFormat從而具有按格式寫數(shù)據(jù)包和按格式讀取數(shù)據(jù)包的方法令哟；另一方面恼琼，AVFormatContext通過(guò)持有AVFormatInternal，從而持有了封裝/解封裝的過(guò)程的狀態(tài)信息屏富。

AVPacket 是從IO層讀取字節(jié)數(shù)據(jù)后經(jīng)封裝層包裝好的編碼數(shù)據(jù)包晴竞。該結(jié)構(gòu)體存儲(chǔ)了編碼數(shù)據(jù)，以及描述這些數(shù)據(jù)的信息狠半，比如pts（播放時(shí)間戳）噩死，dts（解碼時(shí)間戳）颤难，size（數(shù)據(jù)帶下），stream_index（所屬流的序號(hào)）甜滨，duration（持續(xù)時(shí)間）等等乐严。

4)? ?編解碼層（h264,mpeg2,aac,mp3）

? ? ? 以解碼為例，封裝層將數(shù)據(jù)提取成一個(gè)個(gè)AVPacket衣摩，包含了編碼后的數(shù)據(jù)包昂验，從概念上來(lái)說(shuō)，由于音視頻資源中會(huì)存在多路流艾扮，音頻流既琴，視頻流，字幕流泡嘴，用戶自定義數(shù)據(jù)流甫恩，并且每種類型的流還可以有多個(gè)。那么封裝層得到的AVPacket是其中某一路流的數(shù)據(jù)包（歸屬于哪路流在封裝層就能確定）酌予，每路流的編解碼方式都可以各不相同磺箕，因此，AVPacket需要使用其歸屬的那路流的解碼器去解碼抛虫。編解碼層就是將編碼后的數(shù)據(jù)包解碼出來(lái)成為原始音視頻數(shù)據(jù)松靡，以AVFrame結(jié)構(gòu)體來(lái)承載解碼后的數(shù)據(jù)。原始音視頻數(shù)據(jù)可以進(jìn)一步的濾鏡處理或者直接渲染出來(lái)建椰。主要涉及的結(jié)構(gòu)體有AVStream雕欺，AVCodecContext，AVCodec棉姐。

AVCodec?是編碼層的核心對(duì)象屠列，也是該層中最底層的數(shù)據(jù)結(jié)構(gòu)，持有音視頻數(shù)據(jù)的編解碼方法：每一種編解碼算法都有專屬的AVCodec伞矩，編碼器的命名規(guī)則為ff_xxx_encoder笛洛，解碼器命名方式為 ff_xxx_decoder，但都是AVCodec結(jié)構(gòu)體乃坤。比如常見的AAC編碼器結(jié)構(gòu)體對(duì)象為ff_aac_encoder苛让，其持有編碼器的init方法，encode2方法侥袜，close方法蝌诡；AAC解碼器結(jié)構(gòu)體對(duì)象為ff_aac_decoder溉贿，其持有init方法枫吧，decode方法，close方法宇色。

AVCodecContext?是編碼器上下文對(duì)象九杂，是AVCodec上一層的結(jié)構(gòu)體颁湖，持有編解碼方法以及當(dāng)前編解碼狀態(tài)信息：通過(guò)持有AVCodec對(duì)象而持有編解碼方法，并且通過(guò)持有另外一個(gè)編解碼相關(guān)的狀態(tài)信息結(jié)構(gòu)體來(lái)持有當(dāng)前編解碼狀態(tài)信息例隆。持有狀態(tài)信息的這個(gè)結(jié)構(gòu)體名稱跟協(xié)議名相關(guān)甥捺，以AAC編碼器為例，相應(yīng)結(jié)構(gòu)體名稱為AACEncContext镀层；以AAC解碼器為例镰禾，相應(yīng)的結(jié)構(gòu)體名稱為AACContext。

AVStream 是編解碼層最上層的數(shù)據(jù)結(jié)構(gòu)唱逢，表征的是封裝中的一路流吴侦。其通過(guò)持有AVCodecContext對(duì)象來(lái)持有編解碼的一切。不過(guò)目前坞古，該成員在AVStream中被聲明為deprecated备韧，AVStream通過(guò)持有AVCodecParameters對(duì)象來(lái)獲取編解碼相關(guān)的參數(shù)。提綱挈領(lǐng)的AVFormatContext通過(guò)持有AVStream數(shù)組而持有編解碼的一切痪枫。

AVFrame 是AVPacket經(jīng)編解碼層解碼后的原始音視頻數(shù)據(jù)织堂。該結(jié)構(gòu)存儲(chǔ)著原始音視頻數(shù)據(jù)，以及描述原始音視頻數(shù)據(jù)的信息奶陈，比如原始數(shù)據(jù)是音頻數(shù)據(jù)易阳，那么必不可少的有sample_rate（采樣率），channel_layout（通道布局）尿瞭，format（采樣格式）等等闽烙，對(duì)于視頻數(shù)據(jù)，必不可少的有width（寬）声搁，height（高）黑竞，format（像素格式），key_frame（是否關(guān)鍵幀）疏旨，coded_picture_number（編碼序號(hào)）很魂，display_picture_number（顯示序號(hào)），pts（播放時(shí)間戳）檐涝，注意可沒有幀率這個(gè)參數(shù)遏匆。

1.2? 結(jié)構(gòu)體之間的層次關(guān)系

他們之間的對(duì)應(yīng)關(guān)系如下所示：

?