ffmpeg如何從url獲取視頻幀數(shù)據(jù)

前言:

ffmpeg基本理解
整體可劃分為協(xié)議層疤苹、容器層妓布、編碼層與原始數(shù)據(jù)層四個(gè)層次:

協(xié)議層:提供網(wǎng)絡(luò)協(xié)議收發(fā)功能叛拷,可以接收或推送含封裝格式的媒體流腾窝。協(xié)議層由 libavformat 庫(kù)及第三方庫(kù)(如 librtmp)提供支持卷员。

容器層:處理各種封裝格式盈匾。容器層由 libavformat 庫(kù)提供支持。

編碼層:處理音視頻編碼及解碼毕骡。編碼層由各種豐富的編解碼器(libavcodec 庫(kù)及第三方編解碼庫(kù)(如 libx264))提供支持削饵。

原始數(shù)據(jù)層:處理未編碼的原始音視頻幀。原始數(shù)據(jù)層由各種豐富的音視頻濾鏡(libavfilter 庫(kù))提供支持

這遍文章目針對(duì)對(duì)ffmpeg基本結(jié)構(gòu)和變量概念有一定了解后未巫,想進(jìn)一步理清楚個(gè)模塊之間是如何關(guān)聯(lián)起來(lái)窿撬,給出一個(gè)
清晰具體的流程。

ffmpeg數(shù)據(jù)是如何存儲(chǔ)的叙凡,分幾層劈伴。
ffmpeg幾個(gè)重要的數(shù)據(jù)結(jié)構(gòu)

播放器調(diào)用通過(guò)幾個(gè)函數(shù)將這個(gè)流程串聯(lián)起來(lái),后續(xù)一一展開(kāi)握爷。

一跛璧、強(qiáng)大的函數(shù)avformat_open_input

該函數(shù)時(shí)序調(diào)用如下圖严里,它主要做了兩件事:第一是IO層處理,第二是Demuxer選定追城,詳細(xì)展開(kāi)展開(kāi)如下刹碾。      

1、詳細(xì)調(diào)用序列圖如下

avformat_open_input.png

2座柱、ffmpeg的IO處理:

avioContext.png

FFMPEG的輸入對(duì)象AVFormatContext的pb字段指向一個(gè)AVIOContext教硫。這是一個(gè)帶有緩存的讀寫(xiě)io上層

說(shuō)明:

AVIOContext對(duì)象是一個(gè)帶有緩存IO讀寫(xiě)層。

AVIOContext的opaque實(shí)際指向一個(gè)URLContext對(duì)象辆布,這個(gè)對(duì)象封裝了協(xié)議對(duì)象及協(xié)議操作對(duì)象瞬矩,其中prot指向具體的協(xié)議操作對(duì)象,priv_data指向具體的協(xié)議對(duì)象锋玲。

URLProtocol為協(xié)議操作對(duì)象景用,針對(duì)每種協(xié)議,會(huì)有一個(gè)這樣的對(duì)象惭蹂,每個(gè)協(xié)議操作對(duì)象和一個(gè)協(xié)議對(duì)象關(guān)聯(lián)伞插,比如,文件操作對(duì)象為ff_file_protocol盾碗,它關(guān)聯(lián)的結(jié)構(gòu)體是FileContext

      uc->prot  = up; //建立URLProtocol與URLContext聯(lián)系

aviobuf.c函數(shù)中 ffio_fdopen()很重要媚污,分配avio資源并建立對(duì)象,將AVIOContext和URLContext關(guān)聯(lián)起來(lái)廷雅。internal->h = h;

ffio_open_whitelist = ffurl_open_whitelist +ffio_fdopen

至此耗美,IO相關(guān)部分構(gòu)造完成啦。

  avio_read(pb, buf + buf_offset,len) //該函數(shù)表示航缀,我就要這么多字節(jié)數(shù)據(jù)商架,必須給我湊夠。不夠就阻塞著吧芥玉。



  s→eof_reached  這個(gè)細(xì)節(jié)很重要AVIOContext層什么時(shí)候斷定是讀完了呢蛇摸,可以退出這次緩存的啦,就是判斷這個(gè)標(biāo)示位灿巧。

3赶袄、ffpmpeg的輸入格式demuxer選擇 AVInputFormat構(gòu)造。

構(gòu)造FFMPEG的輸入對(duì)象AVFormatContext的iformat字段指向的對(duì)象諸如:
s→iformat 該輸入流的Demuxer 存放位置抠藕。比如AVInputFormat ff_hls_demuxer
s→priv_data 這個(gè)變量很重要:存放對(duì)應(yīng)的AVInputFormat操作的上下文信息: 比如hls中的HLSContext
構(gòu)造好dexuer之后會(huì)調(diào)用 read_header2() 這個(gè)函數(shù)開(kāi)啟具體demuxer具體協(xié)議解析饿肺,hls開(kāi)始解析:hls_read_header --->parse_playlist→
關(guān)于hls協(xié)議處理

3.1、列舉幾個(gè)重要字段:

                #EXT-X-TARGETDURATION  指定當(dāng)前視頻流中的切片文件的最大時(shí)長(zhǎng)幢痘,也就是說(shuō)這些ts切片的時(shí)長(zhǎng)不能大于#EXT-X-TARGETDURATION的值

                #EXT-X-MEDIA-SEQUENCE   開(kāi)始start_seq_no

3.2唬格、ts文件解析 :解析完m3u8啦,就開(kāi)始解析具體ts文件啦,這個(gè)其實(shí)相當(dāng)與讀取一個(gè)flv或者mp4一樣的购岗,該有都得有汰聋。控制這些讀取文件上下文在hls.c中喊积。

循環(huán)構(gòu)造AVFormatContext ,AVIOContext變量等烹困。
首先看下 數(shù)據(jù)結(jié)構(gòu)

                          typedef struct HLSContext {
                                    AVClass *class;
                                    AVFormatContext *ctx; //ts文件就是靠這個(gè)上下文,串起來(lái)的乾吻。
                                    struct playlist **playlists; //ts文件播放列表
                                     ... ...  
                       }

然后看下髓梅,如何從在hls中 Open the demuxer for each playlist ,此時(shí)已經(jīng)解析完m3u8绎签。繼續(xù)下面又干什么啦

                          struct playlist {
                              char url[MAX_URL_SIZE];
                              AVIOContext pb;
                              uint8_t* read_buffer;
                              AVIOContext *input;
                              AVFormatContext *parent;
                              int index;
                             AVFormatContext *ctx;
                             AVPacket pkt;
                             int has_noheader_flag;
                             /* main demuxer streams associated with this playlist
                                * indexed by the subdemuxer stream indexes */
                              AVStream **main_streams;
                             int n_main_streams;
                       }

4枯饿、 ts流解析嵌套解析

繼續(xù)分析hls.c文件獲得m3u8解析額ts文件程序做了什么。

    ret = open_url(pls->parent, &pls->input, url, opts2, opts, &is_http);

          ret = s->io_open(s, pb, url, AVIO_FLAG_READ, &tmp)

                   ffio_open_whitelist() //URLContext 與AVIOContext生成并建立聯(lián)系诡必,again

其實(shí)AVFormatContext *s = pls→parent 此時(shí)作用奢方,用的黑白名單和option設(shè)置參數(shù),這個(gè)函數(shù)主要是還是構(gòu)造訪問(wèn)ts文件的AVIOContext對(duì)象用的爸舒。
下圖是hls.c中解析ts流流程如下:


hls_ts_parse.png

二蟋字、

三、后期繼續(xù)分享扭勉,如何針對(duì)hls協(xié)議的文件做緩存播放器

     教育行業(yè)省流量利器

五 參考

https://blog.csdn.net/guofengpu/article/details/54922865 m3u8和ts結(jié)構(gòu)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末鹊奖,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子涂炎,更是在濱河造成了極大的恐慌忠聚,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,284評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件璧尸,死亡現(xiàn)場(chǎng)離奇詭異咒林,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)爷光,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)澎粟,“玉大人蛀序,你說(shuō)我怎么就攤上這事』罾樱” “怎么了徐裸?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,614評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)啸盏。 經(jīng)常有香客問(wèn)我重贺,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,671評(píng)論 1 293
  • 正文 為了忘掉前任气笙,我火速辦了婚禮次企,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘潜圃。我一直安慰自己缸棵,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,699評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布谭期。 她就那樣靜靜地躺著堵第,像睡著了一般。 火紅的嫁衣襯著肌膚如雪隧出。 梳的紋絲不亂的頭發(fā)上踏志,一...
    開(kāi)封第一講書(shū)人閱讀 51,562評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音胀瞪,去河邊找鬼针余。 笑死,一個(gè)胖子當(dāng)著我的面吹牛赏廓,可吹牛的內(nèi)容都是我干的涵紊。 我是一名探鬼主播,決...
    沈念sama閱讀 40,309評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼幔摸,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼摸柄!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起既忆,我...
    開(kāi)封第一講書(shū)人閱讀 39,223評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤驱负,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后患雇,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體跃脊,經(jīng)...
    沈念sama閱讀 45,668評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,859評(píng)論 3 336
  • 正文 我和宋清朗相戀三年苛吱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了酪术。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,981評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡翠储,死狀恐怖绘雁,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情援所,我是刑警寧澤庐舟,帶...
    沈念sama閱讀 35,705評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站住拭,受9級(jí)特大地震影響挪略,放射性物質(zhì)發(fā)生泄漏历帚。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,310評(píng)論 3 330
  • 文/蒙蒙 一杠娱、第九天 我趴在偏房一處隱蔽的房頂上張望挽牢。 院中可真熱鬧,春花似錦墨辛、人聲如沸卓研。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,904評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)奏赘。三九已至,卻和暖如春太惠,著一層夾襖步出監(jiān)牢的瞬間磨淌,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,023評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工凿渊, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留梁只,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,146評(píng)論 3 370
  • 正文 我出身青樓埃脏,卻偏偏與公主長(zhǎng)得像搪锣,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子彩掐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,933評(píng)論 2 355