開(kāi)篇
一直對(duì)音視頻這塊比較感興趣踩衩，但是一直不知道從何下手昔瞧，終于找到了比較好的資料决帖，希望通過(guò)接下來(lái)的時(shí)間好好研究一下FFMPEG相關(guān)的知識(shí)蚓胸，這里感謝一下雷霄驊大神挣饥，大神雖去但是留下來(lái)多少經(jīng)典的文章，雖然都是通信出身沛膳，相比之下太多慚愧扔枫，唯有努力學(xué)習(xí)了。希望通過(guò)簡(jiǎn)書(shū)能夠記錄學(xué)習(xí)過(guò)程中的心得體會(huì)锹安，以及覺(jué)得重要的知識(shí)點(diǎn)短荐，以作備忘。
音視頻編碼技術(shù)基礎(chǔ)
我們常見(jiàn)的avi叹哭，rmvb忍宋，mp4，flv话速，mkv等格式的視頻讶踪，他們的后綴代表的是他們的封裝格式的不同，就是把視頻數(shù)據(jù)和音頻數(shù)據(jù)按照既定的規(guī)范進(jìn)行打包個(gè)和規(guī)范泊交。但是這個(gè)后綴只是一種簡(jiǎn)單的方式我們并不能發(fā)現(xiàn)他其中的編碼標(biāo)準(zhǔn)乳讥，通過(guò)mac的顯示文件簡(jiǎn)介我們可以看到，他采用了AAC的音頻編碼和H.264的壓縮編碼標(biāo)準(zhǔn)廓俭。
- 視頻播放器原理
如上圖所示云石，視頻播放主要主要幾個(gè)步驟主要為：解協(xié)議(網(wǎng)絡(luò)視頻) - >解封裝->視頻解碼 ->視音頻同步
個(gè)人理解可以簡(jiǎn)單的概括為一下內(nèi)容:協(xié)議有RTMP，HTTP等研乒，解析儀后得到FLV(RTMP協(xié)議解析的)等形式的數(shù)據(jù)汹忠。之后我們?cè)賹?duì)FLV等格式的數(shù)據(jù)進(jìn)行解封裝框往，得到的是H.264編碼的視頻碼流和AAC編碼的音頻碼流竟块。通過(guò)解碼，壓縮編碼的視頻數(shù)據(jù)輸出成為非壓縮的顏色數(shù)據(jù)，例如YUV420P并蝗，RGB等等句携；壓縮編碼的音頻數(shù)據(jù)輸出成為非壓縮的音頻抽樣數(shù)據(jù)宏怔，例如PCM數(shù)據(jù)鹃唯。
- H.264和AAC
H.264將視頻像素?cái)?shù)據(jù)（RGB，YUV等）壓縮成為視頻碼流阵幸，從而降低視頻的數(shù)據(jù)量花履，目前H.264是主流的編碼標(biāo)準(zhǔn)，目前主流的直播軟件大部分使用的都是這種編碼方式挚赊。
AAC音頻編碼的主要作用是將音頻采樣數(shù)據(jù)（PCM等）壓縮成為音頻碼流诡壁，從而降低音頻的數(shù)據(jù)量。 - 直播和點(diǎn)播的對(duì)比
目前主流的直播軟件采用的技術(shù)一般都是荠割，RTMP協(xié)議+FLV格式+H.264視頻編碼格式+AAC音頻編碼格式
點(diǎn)播平臺(tái)采用的技術(shù)：HTTP協(xié)議+FLV格式或MP4格式+H.264視頻編碼格式+AAC音頻編碼格式
RGB妹卿、YUV像素?cái)?shù)據(jù)處理
YUV主要用于優(yōu)化彩色視頻信號(hào)的傳輸，使其向后相容老式黑白電視蔑鹦。與RGB視頻信號(hào)傳輸相比纽帖，它最大的優(yōu)點(diǎn)在于只需占用極少的頻寬（RGB要求三個(gè)獨(dú)立的視頻信號(hào)同時(shí)傳輸）。其中“Y”表示明亮度（Luminance或Luma）举反，也就是灰階值；而“U”和“V” 表示的則是色度（Chrominance或Chroma）扒吁，作用是描述影像色彩及飽和度火鼻，用于指定像素的顏色,YUV百度百科介紹。
H.264視頻碼流解析
原文：視音頻數(shù)據(jù)處理入門(mén)：H.264視頻碼流解析雕崩，包含代碼魁索。
H.264原始碼流（又稱(chēng)為“裸流”）是由一個(gè)一個(gè)的NALU組成的。1個(gè)NALU存儲(chǔ)1幀畫(huà)面的壓縮編碼后的數(shù)據(jù)盼铁。壓縮方法能夠?qū)D像數(shù)據(jù)壓縮100倍以上粗蔚。
他們的結(jié)構(gòu)如下圖所示。
其中每個(gè)NALU之間通過(guò)startcode（起始碼）進(jìn)行分隔饶火，起始碼分成兩種：0x000001（3Byte）或者0x00000001（4Byte）鹏控。如果NALU對(duì)應(yīng)的Slice為一幀的開(kāi)始就用0x00000001，否則就用0x000001肤寝。
H.264碼流解析的步驟就是首先從碼流中搜索0x000001和0x00000001当辐，分離出NALU；然后再分析NALU的各個(gè)字段鲤看。
那么NALU指的是什么呢缘揪？由文中的代碼可以看到NALU分為多個(gè)類(lèi)型。H264在網(wǎng)絡(luò)傳輸?shù)氖荖ALU，NALU的結(jié)構(gòu)是：NAL頭+RBSP找筝，實(shí)際傳輸中的數(shù)據(jù)流如圖所示：
H264--2--語(yǔ)法及結(jié)構(gòu)對(duì)NAL頭和RBSP講解還是比較多的蹈垢，推薦。
源碼中我們提供H.264源碼的文件袖裕，通過(guò)C語(yǔ)言代碼的程序能夠打印出視頻碼流解析的數(shù)據(jù)曹抬。如果我們使用ESEyE工具，顯示H.264的源數(shù)據(jù)文件陆赋，顯示的內(nèi)容如下：
上圖中縱坐標(biāo)代表數(shù)據(jù)量的大小
I幀 當(dāng)做一張圖片直接壓縮 不依賴(lài)于其他的幀
P幀 會(huì)依賴(lài)前面的幀 不在存儲(chǔ) I幀 已經(jīng)存儲(chǔ)的數(shù)據(jù)
B幀 依賴(lài)于前面的幀和后面的幀 雙向參考 達(dá)到更大的壓縮率
AAC音頻碼流解析
原理:AAC原始碼流（又稱(chēng)為“裸流”）是由一個(gè)一個(gè)的ADTS frame組成的沐祷。他們的結(jié)構(gòu)如下圖所示。
其中每個(gè)ADTS frame之間通過(guò)syncword（同步字）進(jìn)行分隔攒岛。同步字為0xFFF（二進(jìn)制“111111111111”）赖临。AAC碼流解析的步驟就是首先從碼流中搜索0x0FFF，分離出ADTS frame灾锯；然后再分析ADTS frame的首部各個(gè)字段兢榨。
原文包含AAC音頻碼流解析代碼。
FLV封裝格式解析
FLV封裝格式是由一個(gè)FLV Header文件頭和一個(gè)一個(gè)的Tag組成的顺饮。Tag中包含了音頻數(shù)據(jù)以及視頻數(shù)據(jù)吵聪。FLV的結(jié)構(gòu)如下圖所示。
原文包含FLV封裝格式解析代碼.
后記
看完這幾篇博客研究了下C的代碼兼雄，覺(jué)得懵懵懂懂吟逝，堅(jiān)持下去吧，接著學(xué)習(xí)去吧赦肋。
