前言:
ffmpeg基本理解
整體可劃分為協(xié)議層疤苹、容器層妓布、編碼層與原始數(shù)據(jù)層四個(gè)層次:
協(xié)議層:提供網(wǎng)絡(luò)協(xié)議收發(fā)功能叛拷,可以接收或推送含封裝格式的媒體流腾窝。協(xié)議層由 libavformat 庫(kù)及第三方庫(kù)(如 librtmp)提供支持卷员。
容器層:處理各種封裝格式盈匾。容器層由 libavformat 庫(kù)提供支持。
編碼層:處理音視頻編碼及解碼毕骡。編碼層由各種豐富的編解碼器(libavcodec 庫(kù)及第三方編解碼庫(kù)(如 libx264))提供支持削饵。
原始數(shù)據(jù)層:處理未編碼的原始音視頻幀。原始數(shù)據(jù)層由各種豐富的音視頻濾鏡(libavfilter 庫(kù))提供支持
這遍文章目針對(duì)對(duì)ffmpeg基本結(jié)構(gòu)和變量概念有一定了解后未巫,想進(jìn)一步理清楚個(gè)模塊之間是如何關(guān)聯(lián)起來(lái)窿撬,給出一個(gè)
清晰具體的流程。
ffmpeg數(shù)據(jù)是如何存儲(chǔ)的叙凡,分幾層劈伴。
ffmpeg幾個(gè)重要的數(shù)據(jù)結(jié)構(gòu)
播放器調(diào)用通過(guò)幾個(gè)函數(shù)將這個(gè)流程串聯(lián)起來(lái),后續(xù)一一展開(kāi)握爷。
一跛璧、強(qiáng)大的函數(shù)avformat_open_input
該函數(shù)時(shí)序調(diào)用如下圖严里,它主要做了兩件事:第一是IO層處理,第二是Demuxer選定追城,詳細(xì)展開(kāi)展開(kāi)如下刹碾。
1、詳細(xì)調(diào)用序列圖如下
2座柱、ffmpeg的IO處理:
FFMPEG的輸入對(duì)象AVFormatContext的pb字段指向一個(gè)AVIOContext教硫。這是一個(gè)帶有緩存的讀寫(xiě)io上層
說(shuō)明:
AVIOContext對(duì)象是一個(gè)帶有緩存IO讀寫(xiě)層。
AVIOContext的opaque實(shí)際指向一個(gè)URLContext對(duì)象辆布,這個(gè)對(duì)象封裝了協(xié)議對(duì)象及協(xié)議操作對(duì)象瞬矩,其中prot指向具體的協(xié)議操作對(duì)象,priv_data指向具體的協(xié)議對(duì)象锋玲。
URLProtocol為協(xié)議操作對(duì)象景用,針對(duì)每種協(xié)議,會(huì)有一個(gè)這樣的對(duì)象惭蹂,每個(gè)協(xié)議操作對(duì)象和一個(gè)協(xié)議對(duì)象關(guān)聯(lián)伞插,比如,文件操作對(duì)象為ff_file_protocol盾碗,它關(guān)聯(lián)的結(jié)構(gòu)體是FileContext
uc->prot = up; //建立URLProtocol與URLContext聯(lián)系
aviobuf.c函數(shù)中 ffio_fdopen()很重要媚污,分配avio資源并建立對(duì)象,將AVIOContext和URLContext關(guān)聯(lián)起來(lái)廷雅。internal->h = h;
ffio_open_whitelist = ffurl_open_whitelist +ffio_fdopen
至此耗美,IO相關(guān)部分構(gòu)造完成啦。
avio_read(pb, buf + buf_offset,len) //該函數(shù)表示航缀,我就要這么多字節(jié)數(shù)據(jù)商架,必須給我湊夠。不夠就阻塞著吧芥玉。
s→eof_reached 這個(gè)細(xì)節(jié)很重要AVIOContext層什么時(shí)候斷定是讀完了呢蛇摸,可以退出這次緩存的啦,就是判斷這個(gè)標(biāo)示位灿巧。
3赶袄、ffpmpeg的輸入格式demuxer選擇 AVInputFormat構(gòu)造。
構(gòu)造FFMPEG的輸入對(duì)象AVFormatContext的iformat字段指向的對(duì)象諸如:
s→iformat 該輸入流的Demuxer 存放位置抠藕。比如AVInputFormat ff_hls_demuxer
s→priv_data 這個(gè)變量很重要:存放對(duì)應(yīng)的AVInputFormat操作的上下文信息: 比如hls中的HLSContext
構(gòu)造好dexuer之后會(huì)調(diào)用 read_header2() 這個(gè)函數(shù)開(kāi)啟具體demuxer具體協(xié)議解析饿肺,hls開(kāi)始解析:hls_read_header --->parse_playlist→
關(guān)于hls協(xié)議處理
3.1、列舉幾個(gè)重要字段:
#EXT-X-TARGETDURATION 指定當(dāng)前視頻流中的切片文件的最大時(shí)長(zhǎng)幢痘,也就是說(shuō)這些ts切片的時(shí)長(zhǎng)不能大于#EXT-X-TARGETDURATION的值
#EXT-X-MEDIA-SEQUENCE 開(kāi)始start_seq_no
3.2唬格、ts文件解析 :解析完m3u8啦,就開(kāi)始解析具體ts文件啦,這個(gè)其實(shí)相當(dāng)與讀取一個(gè)flv或者mp4一樣的购岗,該有都得有汰聋。控制這些讀取文件上下文在hls.c中喊积。
循環(huán)構(gòu)造AVFormatContext ,AVIOContext變量等烹困。
首先看下 數(shù)據(jù)結(jié)構(gòu)
typedef struct HLSContext {
AVClass *class;
AVFormatContext *ctx; //ts文件就是靠這個(gè)上下文,串起來(lái)的乾吻。
struct playlist **playlists; //ts文件播放列表
... ...
}
然后看下髓梅,如何從在hls中 Open the demuxer for each playlist ,此時(shí)已經(jīng)解析完m3u8绎签。繼續(xù)下面又干什么啦
struct playlist {
char url[MAX_URL_SIZE];
AVIOContext pb;
uint8_t* read_buffer;
AVIOContext *input;
AVFormatContext *parent;
int index;
AVFormatContext *ctx;
AVPacket pkt;
int has_noheader_flag;
/* main demuxer streams associated with this playlist
* indexed by the subdemuxer stream indexes */
AVStream **main_streams;
int n_main_streams;
}
4枯饿、 ts流解析嵌套解析
繼續(xù)分析hls.c文件獲得m3u8解析額ts文件程序做了什么。
ret = open_url(pls->parent, &pls->input, url, opts2, opts, &is_http);
ret = s->io_open(s, pb, url, AVIO_FLAG_READ, &tmp)
ffio_open_whitelist() //URLContext 與AVIOContext生成并建立聯(lián)系诡必,again
其實(shí)AVFormatContext *s = pls→parent 此時(shí)作用奢方,用的黑白名單和option設(shè)置參數(shù),這個(gè)函數(shù)主要是還是構(gòu)造訪問(wèn)ts文件的AVIOContext對(duì)象用的爸舒。
下圖是hls.c中解析ts流流程如下:
二蟋字、
三、后期繼續(xù)分享扭勉,如何針對(duì)hls協(xié)議的文件做緩存播放器
教育行業(yè)省流量利器
五 參考
https://blog.csdn.net/guofengpu/article/details/54922865 m3u8和ts結(jié)構(gòu)