章節(jié)
- 視頻播放器原理
- 什么是 ffmpeg?
- ffmpeg 音視頻編/解碼 流程圖
- ffmpeg 常用 struct
- AVFormatContext
- AVStream
- AVCodecContext
- AVCodec
- AVPacket
- AVFrame
- ffmpeg 常用Api
- av_register_all()
- avformat_alloc_output_context2()
- avio_open()
- av_new_stream()
- avcodec_find_encoder()
- avcodec_open2()
- avformat_write_header()
- avcodec_encode_video2()
- av_write_frame()
- flush_encoder()
- av_write_trailer()
- ffmpeg編碼視頻的流程圖
- ffmpeg解碼視頻的流程圖
- 分享-解決問題的思路
0.視頻播放器原理
編碼
錄像(視頻)孤紧、錄音(音頻)，實質(zhì)上是一個壓縮采集到的圖像或者音頻數(shù)據(jù)的過程拒秘，這個過程又稱為編碼号显。那為什么需要編碼（壓縮）呢？因為設(shè)備采集到的音視頻數(shù)據(jù)太大了躺酒，如果不進(jìn)行壓縮押蚤，占用的空間太大，不利于傳輸?shù)取?/p>
解碼
播放視頻或者音頻文件羹应，實質(zhì)上是一個解壓縮的過程揽碘，這個過程又稱為解碼。那為什么又要解碼（解壓縮）呢园匹？因為播放器播放需要的是音頻采樣數(shù)據(jù)雳刺、視頻像素數(shù)據(jù)，通俗一點來說就是需要的是編碼之前的數(shù)據(jù)裸违，所以需要解碼來獲取掖桦。
如下圖展示了播放器播放視頻的原理：
作者：zhang_pan
鏈接：http://www.reibang.com/p/55e5da60faeb
來源：簡書
1.什么是ffmpeg？
1.ffmpeg 是音視頻處理核心技術(shù)供汛，要成為音視頻領(lǐng)域的開發(fā)高手枪汪，不可不學(xué) ffmpeg，一個完整的跨平臺解決方案怔昨，用于錄制雀久，轉(zhuǎn)換和流式傳輸音頻和視頻的技術(shù)。
2.騰訊視頻趁舀、愛奇藝赖捌、阿里影音、均有大量 音視頻開發(fā)工程師的需求矮烹。
3.ffmpeg 源代碼 采用 c 編寫
2.ffmpeg 音視頻編/解碼 流程圖
如下所示流程圖：
如上圖所示巡蘸，音視頻文件已流形式經(jīng)編碼 encode 之后成為 packet，packet 被解碼之后成為視頻幀frame
3.ffmpeg 常用 struct
AVFormatContext
AVFormatContext 主要存儲視音頻封裝格式中包含的信息
AVStream
AVStream 存儲一個視頻/音頻流的相關(guān)數(shù)據(jù)
AVCodecContext
流解碼器容器－每個AVStream對應(yīng)一個AVCodecContext擂送，存儲該視頻/音頻流使用解碼方式的相關(guān)數(shù)據(jù)、如 codec_type 編碼器類型唯欣。
AVCodec
解碼器－每個AVCodecContext中對應(yīng)一個AVCodec嘹吨，包含該視頻/音頻對應(yīng)的解碼器。每種解碼器都對應(yīng)一個AVCodec結(jié)構(gòu)境氢。
AVPacket
視頻,每個結(jié)構(gòu)一般是存一幀蟀拷；音頻可能有好幾幀
幀(stream)數(shù)據(jù)編碼后的數(shù)據(jù)碰纬，或解碼為 幀(stream) 數(shù)據(jù)前的數(shù)據(jù)存儲格式為AVPacket
AVFrame
包(Packet)數(shù)據(jù)解碼之后以幀(frame)的結(jié)構(gòu)存在。
4.ffmpeg 常用Api
av_register_all()
注冊所有 ffmpeg 解碼器问芬， 如果需要使用支持特定類型音視頻解碼的解碼器則需要使用 void av_register_input_format(AVInputFormat *format);
avformat_alloc_output_context2()
初始化輸出碼流的AVFormatContext悦析。
avio_open()
創(chuàng)建并初始化AVIOContext以訪問 url 指示的資源。
av_new_stream()
創(chuàng)建新流此衅，此新流用于添加到新的媒體文件
avcodec_find_encoder()
查找編碼器强戴，一般是用來將數(shù)據(jù)幀進(jìn)行編碼，并生成新的輸出文件挡鞍。
avcodec_open2()
打開編碼器
avformat_write_header()
寫文件頭（對于某些沒有文件頭的封裝格式骑歹，不需要此函數(shù)。比如說MPEG2TS）墨微。
avcodec_encode_video2()
將 frame 進(jìn)行編碼道媚，并轉(zhuǎn)化為 packet 進(jìn)行存儲
av_write_frame()
Write a packet to an output media file. 將編碼后的視頻碼流寫入文件
flush_encoder()
Write the stream trailer to an output media file and free the file private data。
將流預(yù)告片寫入輸出媒體文件并釋放文件私人數(shù)據(jù)翘县。
其實上述常用Api 是一個視頻流文件進(jìn)行編碼并輸出編碼后文件常用的Api
ffmpeg編碼視頻的流程圖
如下所示：
ffmpeg解碼視頻的流程圖
4 分享-解決問題的思路
最近接觸 ffmpeg 是因為部門業(yè)務(wù)需要最域，之前個人從未接觸過 ffmpeg。
4.1 業(yè)務(wù)目標(biāo)
通過調(diào)用 ffmpeg Api 實現(xiàn)截取視頻任意一幀锈麸。
4.2 出現(xiàn)的問題
1.個人對視頻當(dāng)中某一幀獲取流程不是很了解镀脂；
2.讀源碼過程中 有些 ffmpeg Api 看不懂；
4.3 問題的根本原因
1.對視頻播放的本質(zhì)不清楚掐隐，其實視頻的本質(zhì)是一幀一幀的圖片拼接起來的結(jié)果狗热；
2.沒有耐心讀 ffmpeg 源碼，因為沒學(xué)過c 虑省；
3.對未知的從未嘗試過的事情有些許排斥匿刮。
4.4 解決問題的方案
1.了解視頻播放原理－知道了解碼、編碼等問題 （完成100%）
2.了解ffmpeg探颈、解碼熟丸、編碼(所以解決方案的第一步是前提)、學(xué)習(xí)編碼/解碼相關(guān)流程伪节，(畢竟視頻的生成光羞、播放與編解碼是分不開的)、以及相關(guān)Api （完成100%）
3.嘗試讀前輩代碼怀大、并提取實現(xiàn)業(yè)務(wù)的 keycode纱兑、文檔輸出等。（2018-10-23日晚上下班前輸出相關(guān)文檔）
