音視頻學習從零到整--(1)
音視頻學習從零到整--(2)
音視頻學習從零到整--(3)
音視頻學習從零到整--(4)
音視頻學習從零到整--(5)
音視頻學習從零到整--(6)
音視頻學習從零到整--(7)
音視頻學習從零到整--(8)
音視頻學習從零到整--(10)
一.H264結構圖
H264視頻壓縮后會成為一個序列幀.幀里包含圖像,圖像分為很多片.每個片可以分為宏塊.每個宏塊由許多子塊組成.這就是H264結構圖.非常的情緒簡單.
H264結構中，一個視頻圖像編碼后的數(shù)據(jù)叫做一幀添吗，一幀由一個片（slice）或多個片組成踢械，一個片由一個或多個宏塊（MB）組成恃逻，一個宏塊由16x16的yuv數(shù)據(jù)組成攘烛。宏塊作為H264編碼的基本單位。
場和幀:視頻的一場或一幀可用來產(chǎn)生一個編碼圖像遏插。在電視中缸榄，為減少大面積閃爍現(xiàn)象，把一幀分成兩個隔行的場泛释。
-
片:每個圖象中滤愕，若干宏塊被排列成片的形式。片分為I片怜校、B片间影、P片和其他一些片。
I片只包含I宏塊茄茁，P片可包含P和I宏塊魂贬，而B片可包含B和I宏塊。
I宏塊利用從當前片中已解碼的像素作為參考進行幀內預測裙顽。
P宏塊利用前面已編碼圖象作為參考圖象進行幀內預測付燥。
B宏塊則利用雙向的參考圖象（前一幀和后一幀）進行幀內預測。
片的目的是為了限制誤碼的擴散和傳輸愈犹，使編碼片相互間是獨立的键科。
某片的預測不能以其它片中的宏塊為參考圖像，
這樣某一片中的預測誤差才不會傳播到其它片中去
宏塊:一個編碼圖像通常劃分成若干宏塊組成漩怎，一個宏塊由一個16×16亮度像素和附加的一個8×8 Cb和一個8×8 Cr彩色像素塊組成勋颖。
二. H264編碼分層
H264編碼分層,分為了2層.
-
NAL層: (Network Abstraction Layer,視頻數(shù)據(jù)網(wǎng)絡抽象層)
- 它的作用是H264只要在網(wǎng)絡上傳輸,在傳輸?shù)倪^程每個包以太網(wǎng)是1500字節(jié). 而H264的幀往往會大于1500字節(jié)的.所以就要進行拆包. 將一個幀拆成多個包進行傳輸.所有的拆包或者組包都是通過NAL層去處理的.
VCL層:(Video Coding Layer,視頻數(shù)據(jù)編碼層) 它的作用就是對視頻原始數(shù)據(jù)進行壓縮.
三.碼流的基本概念
SODB:(String of Data Bits,原始數(shù)據(jù)比特流),長度不一定是8的倍數(shù).它是由VCL層產(chǎn)生的.因為非8的倍數(shù)所以處理比較麻煩.
RBSP:(Raw Byte Sequence Payload,SODB+trailing bits).算法是在SODB最后一位補1.不按字節(jié)對齊補0. 如果補齊0,不知道在哪里結束.所以補1.如果不夠8位則按位補0.
EBSP:(Encapsulate Byte Sequence Payload).就是生成壓縮流之后,我們還要在每個幀之前加一個起始位.起始位一般是十六進制的0001.但是在整個編碼后的數(shù)據(jù)里,可能會出來連續(xù)的2個0x00.那這樣就與起始位產(chǎn)生了沖突.那怎么處理了? H264規(guī)范里說明如果處理2個連續(xù)的0x00,就額外增加一個0x03 .這樣就能預防壓縮后的數(shù)據(jù)與起始位產(chǎn)生沖突.
每個NAL前有一個起始碼 0x00 00 01（或者0x00 00 00 01），解碼器檢測每個起始碼勋锤，作為一個NAL的起始標識饭玲，當檢測到下一個起始碼時，當前NAL結束怪得。
同時H.264規(guī)定咱枉，當檢測到0x00 00 01時卑硫，也可以表征當前NAL的結束。那么NAL中數(shù)據(jù)出現(xiàn)0x000001或0x000000時怎么辦蚕断？H.264引入了防止競爭機制欢伏，如果編碼器檢測到NAL數(shù)據(jù)存在0x000001或0x000000時，編碼器會在最后個字節(jié)前插入一個新的字節(jié)0x03亿乳，這樣：
解碼器檢測到0x000003時硝拧，把03拋棄，恢復原始數(shù)據(jù)（脫殼操作）葛假。解碼器在解碼時障陶，首先逐個字節(jié)讀取NAL的數(shù)據(jù)，統(tǒng)計NAL的長度聊训，然后再開始解碼抱究。
- NALU: NAL Header(1B)+EBSP.NALU就是在EBSP的基礎上加1B的網(wǎng)絡頭.
四. 詳解NAL Unit
NAL 單元是由一個NALU頭部+一個切片.切片又可以細分成"切片頭+切片數(shù)據(jù)".我們之間了解過一個H254的幀是由多個切片構成的.因為一幀數(shù)據(jù)一次有可能傳不完.
切片與宏塊的關系(Slice & MacroBlock)
每個切片都包括切片頭+切片數(shù)據(jù). 那每個切片數(shù)據(jù)包括了很多宏塊.每個宏塊包括了宏塊的類型,宏塊的預測,殘差數(shù)據(jù).
圖解H264切片
在一副壓縮的H264的幀里,可以包含多個切片.至少有一個切換.
H264碼流分層結構圖.
- A Annex格式數(shù)據(jù),就是起始碼+Nal Unit 數(shù)據(jù)
- NAL Unit: NALU 頭+NALU數(shù)據(jù)
- NALU 主體,是由切片組成.切片包括切片頭+切片數(shù)據(jù)
- Slice數(shù)據(jù): 宏塊組成
- PCM類: 宏塊類型+pcm數(shù)據(jù),或者宏塊類型+宏塊模式+殘差數(shù)據(jù)
- Residual: 殘差塊.
這個圖比較重要.大家可以多看看.
推薦文集
* 抖音效果實現(xiàn)
* BAT—最新iOS面試題總結
* iOS面試題合集
原文作者：集才華美貌于一身的—C姐
