引言
更多文章請訪問 自己動手寫 H.264 解碼器
目前 H.264 流行的包裝方式有兩種直奋,一種叫做 AnnexB帮碰,一種叫做 avcC拾积。對于這兩種格式,各家的支持程度也不太一樣斯碌,例如肛度,Android 硬解碼 MediaCodec 只接受 AnnexB 格式的數(shù)據(jù)承耿,而 Apple 的 VideoToolBox,只支持 avcC 的格式凛辣。所以這就需要我們從業(yè)者對兩種格式都有一個了解职烧。本章,我們先來介紹 AnnexB
AnnexB
假如我們把多個 NALU 寫到一個文件里面去蝗敢,多個 NALU 首位相連穿成一串,因為 NALU 本身長度不一锁右,也沒有具體的標識符用來表明自己是一個獨立的 NALU骡湖,那么我們在讀取這個文件的時候其實并沒有辦法將寫到一起 NALU 有效得進行區(qū)分。為了解決這個問題,我們必須給 NALU 添加上一些數(shù)據(jù)谆焊,將各個 NALU 進行分割。 AnnexB 就是用來對 NALU 層進行包裝的一種格式辜王。
AnnexB 格式的原理非常簡單呐馆,就是在一個 NALU 前面加上三個或者四個字節(jié)汹来,這些字節(jié)的內(nèi)容是 0 0 0 1 或者 0 0 1改艇。當我們讀取一個 H264 流的時候,一旦遇到 0 0 0 1 或者 0 0 1摔桦,我們就認為一個新的 NALU 開始了邻耕,因此兄世,這些用來做分隔符的字節(jié),一般也被稱為 start code碘饼, 起始碼。
防競爭字節(jié) (Emulation Prevention Bytes)
但是只在 NALU 前面加上起始碼是會產(chǎn)生問題了,因為原始碼流中钠绍,是有可能出現(xiàn) 0 0 0 1 或者 0 0 1 的柳爽,這樣就會導致讀取程序?qū)⒁粋€ NALU 誤分割成多個 NALU磷脯。為了防止這種情況發(fā)生,AnnexB 引入了防競爭字節(jié)(Emulation Prevention Bytes)的概念打毛。
所謂防競爭字節(jié)(Emulation Prevention Bytes)幻枉,就是在給 NALU 添加起始碼之前,先對碼流進行一次遍歷诡蜓,查找碼流里面的存在的 0 0 0熬甫,0 0 1,0 0 2蔓罚,0 0 3 的字節(jié)椿肩,然后對其進行如下修改
0 0 0 => 0 0 3 0
0 0 1 => 0 0 3 1
0 0 2 => 0 0 3 2
0 0 3 => 0 0 3 3
即在上面的 4 種情況下,在 0 0 之后脚粟,插入一個字節(jié)覆旱,內(nèi)容是 3。經(jīng)過這樣處理的碼流核无,就不會再和起始碼(0 0 1扣唱, 0 0 0 1)重復而發(fā)生沖突。
當然团南,在解碼過程中噪沙,通過起始碼成功分割 NALU 數(shù)據(jù)之后,還要將防競爭字節(jié)去掉。
0 0 3 0 => 0 0 0
0 0 3 1 => 0 0 1
0 0 3 2 => 0 0 2
0 0 3 3 => 0 0 3
這樣才能得到真正的 NALU 碼流局义。
avcC
AnnexB 的原理是在每個 NALU 前面寫上一個特殊的起始碼檩帐,通過這個起始碼來當做 NALU 的分隔符,從而分割每個 NALU四敞。而 avcC 則采用了另外一種方式。那就是在 NALU 前面寫上幾個字節(jié)幻梯,這幾個字節(jié)組成一個整數(shù)(大端字節(jié)序)這個整數(shù)表示了整個 NALU 的長度咬摇。在讀取的時候逸邦,先把這個整數(shù)讀出來,拿到這個 NALU 的長度桥狡,然后按照長度讀取整個 NALU。
avcC 詳解
在介紹 avcC 格式之前嫂易,我們先來介紹一下兩個特殊的 NALU颅和,這兩個 NALU 就是 SPS 和 PPS,SPS 和 PPS 存放了解碼一路 H.264 碼流的必要的參數(shù)信息,也就是說巍佑,你想要解碼一路 H.264,就必須首先獲取到 SPS 和 PPS脆栋。在后面的課程中,我們會詳細介紹 SPS 和 PPS,現(xiàn)在你只需要知道椅邓,SPS 和 PPS 是特殊且重要的兩個 NALU景馁。
在 AnnexB 中,SPS 和 PPS 被當做了普通的 NALU 進行處理;而在 avcC 中获洲,SPS 和 PPS 信息被當做了特殊的信息進行了處理最爬。
在一路采用 avcC 打包的 H.264 流之中,我們首先看到的將是一段被稱之為 extradata 的數(shù)據(jù),這段數(shù)據(jù)定義了這個 H.264 流的基本屬性數(shù)據(jù)互艾,當然纫普,也包含了 SPS 和 PPS 數(shù)據(jù)拳锚。
我們來看一下 extradata 數(shù)據(jù)格式
bits
8 version ( always 0x01 )
8 avc profile ( sps[0][1] )
8 avc compatibility ( sps[0][2] )
8 avc level ( sps[0][3] )
6 reserved ( all bits on )
2 NALULengthSizeMinusOne // 這個值是(前綴長度-1)
3 reserved ( all bits on )
5 number of SPS NALUs (usually 1)
repeated once per SPS:
16 SPS size
variable SPS NALU data
8 number of PPS NALUs (usually 1)
repeated once per PPS
16 PPS size
variable PPS NALU data
我們注意一下這個值 NALULengthSizeMinusOne,通過將這個值加 1 拦坠,我們就得出了后續(xù)每個 NALU 前面前綴(也就是表示長度的整數(shù))的字節(jié)數(shù)
例如入热,這個 NALULengthSizeMinusOne 是 3,那么每個 NALU 前面前綴的長度就是 4 個字節(jié)。我們在讀取后續(xù)數(shù)據(jù)時事甜,可以先讀 4 個字節(jié)掌实,然后把這四個字節(jié)轉(zhuǎn)成整數(shù)邻悬,就是這個 NALU 的長度了,注意,這個長度并不包含起始的4個字節(jié)屁桑,是單純 NALU 的長度。