人間觀察
我好像還什么都沒有準(zhǔn)備好，就到了而立之年的年紀(jì)芯丧，不是吃一個糖就能開心的年紀(jì)了蚊伞。

前面我們了解了H264/AVC的一些知識。今天我們看H265 , 只有了解了這些基礎(chǔ)的等缀，什么協(xié)議（flv等）啦，什么封裝格式（mp4等）啦娇昙，網(wǎng)絡(luò)傳輸啦等都是很有幫助的尺迂。

背景知識

H265 又被叫做HEVC（全稱叫做 Hight Efficiency Video Coding，高效率視頻編碼）冒掌，它同H264一樣也是ITU-T和ISO兩個組織共同制定的視頻壓縮標(biāo)準(zhǔn)噪裕，是H264/AVC標(biāo)準(zhǔn)的繼承者。

H265/HEVC是面向更高清晰度股毫、更高幀率膳音、更高壓縮率視頻的協(xié)議標(biāo)準(zhǔn)，是一套標(biāo)準(zhǔn)組織制定的視頻壓縮標(biāo)準(zhǔn)铃诬、規(guī)范祭陷。

為什么會有h265

說白了就是人們對視頻的要求清晰度越來越高，而在有限的帶寬下保證視頻的質(zhì)量是很難的趣席。對于2k,4k的高清視頻來說在存儲空間和網(wǎng)絡(luò)帶寬有限的情況下兵志，現(xiàn)有的視頻壓縮技術(shù)已經(jīng)不能滿足現(xiàn)實的應(yīng)用需求。為了解決高清及超高清視頻急劇增長的數(shù)據(jù)率給網(wǎng)絡(luò)傳輸和數(shù)據(jù)存儲帶來的沖擊宣肚，所以有了具有更高壓縮效率的新一代視頻壓縮標(biāo)準(zhǔn)H265/HEVC想罕。

標(biāo)清：480x800
普通高清：720x1280 720P
高清：1920x1080 1080P
2K：2048*1024
超高清 4K：3840x2160

嗯，說白了霉涨，就是需求導(dǎo)致按价，然后產(chǎn)生的標(biāo)準(zhǔn)惭适。ok，我們看一下技術(shù)上：

(1) 視頻畫面要求更高（如上）俘枫，視頻流暢度要求更高腥沽，幀率從30fps到60fps甚至更高，會導(dǎo)致H264的如下情況：

• 宏塊(MB)個數(shù)爆發(fā)式增加
• 宏塊內(nèi)容的復(fù)雜度升高
• 運動矢量數(shù)值的大幅度增加

(2) 由于H264本身的缺點
由于宏塊級壓縮視頻的處理過程鸠蚪，很久沒有改變了今阳，還是2003年發(fā)布的實現(xiàn)方式，它的壓縮算法沒有調(diào)整茅信。

H265延續(xù)了H264的很多定義盾舌，兩個都是基于宏塊的視頻編碼技術(shù)，h265是在H264的基礎(chǔ)上進行了一些強優(yōu)化蘸鲸。比如：

• 以宏塊來劃分圖像妖谴，并最終以塊來細(xì)分。
• 使用幀內(nèi)壓縮技術(shù)減少空間冗余
• 使用幀間壓縮技術(shù)減少時間冗余（運動估計和運動補償）
• 使用轉(zhuǎn)換和量化來進行殘留數(shù)據(jù)壓縮
• 使用熵編碼來減少殘留酌摇，運動矢量傳輸和信號發(fā)送中的最后冗余膝舅。

上面的描述太過于官方了，但是我這里還是參考一些書籍寫下了（怕有遺漏造成理解偏差/知識的丟失就不好了）窑多，上面的這些技術(shù)都是編碼器的內(nèi)部實現(xiàn)仍稀，都是算法。我也知道這些概念而已埂息，至于如何實現(xiàn)的我還清楚技潘，我覺得我還沒有到達到這一步，前幾天看到了阿里淘系的音視頻團隊有自己的編碼器實現(xiàn)千康，叫奇點編碼器享幽，還是覺得很厲害的。

H265的碼流結(jié)構(gòu)

H265 的碼流結(jié)構(gòu)和H264的結(jié)構(gòu)類似

網(wǎng)絡(luò)分層結(jié)構(gòu)

和H264/AVC結(jié)構(gòu)類似拾弃，H265/HEVC也采用了視頻編碼層（video code layer 值桩，簡稱VCL）和網(wǎng)絡(luò)適配層（network abstract layer，簡稱NAL）.VCL層包含了視頻壓縮的數(shù)據(jù)豪椿， NAL主要負(fù)責(zé)對數(shù)據(jù)的壓縮數(shù)據(jù)進行劃分和封裝颠毙，保證數(shù)據(jù)在磁盤上保存和網(wǎng)絡(luò)上進行傳輸。

和h264的碼流結(jié)構(gòu)一樣砂碉，也是通過啟始碼（0x000001或者0x00000001）進行分割壓縮數(shù)據(jù)，每一個稱為NAL單元（NAL Unit刻两，簡稱NALU）增蹭。NALU有不同的類型，主要是對數(shù)據(jù)內(nèi)容進行區(qū)分磅摹。

對于一個碼流文件來說滋迈，和h264一樣霎奢，有一系列的NALU的類型定義，可以分為VPS,SPS,PPS,SEI,I幀,P幀 6種類型饼灿。碼流結(jié)構(gòu)如下所示：

啟始碼+VPS+啟始碼+SPS+啟始碼+PPS+啟始碼+SEI+啟始碼+I幀+啟始碼+P幀+啟始碼+P幀+.....

如上就是一個圖像系列的組成幕侠，為什么這么說呢？ 一般我們在網(wǎng)絡(luò)上發(fā)送數(shù)據(jù)碍彭，比如采集端一般在發(fā)送壓縮數(shù)據(jù)的I幀前先發(fā)送VPS,SPS,PPS晤硕。解碼端不可能先啟動后等著發(fā)送端數(shù)據(jù)到來吧，只有解碼器拿到VPS,SPS,PPS后才可以解碼H265的數(shù)據(jù)庇忌。VPS舞箍，SPS,PPS，SEI皆疹，一個I幀疏橄，一個P幀都可以常委一個NALU。

從上面可以看到h265比h264多了一個VPS略就，VPS是視頻參數(shù)集捎迫。

我們這里看一下經(jīng)過h265編碼器編碼后的碼流文件，截取文件開頭的數(shù)據(jù)表牢，
因為h265碼流最開始永遠(yuǎn)是VPS窄绒，SPS,PPS，可能含有SEI初茶，后面接著是I幀P幀數(shù)據(jù)颗祝。
16進制打開文件如下：

0000 0001 4001 0c01 ffff 0160 0000 0300 // 4001
b000 0003 0000 0300 5aac 0900 0000 0142 // 4201
0101 0160 0000 0300 b000 0003 0000 0300
5aa0 0442 00f0 77e5 aee4 c92e a520 a0c0
c05d a142 5000 0000 0144 01c0 e30f 0330 // 4401
840a 0000 0001 2601 af0b e075 8d53 b010 // 2601
af65 bfb4 0b53 823d e91c ad66 f973 ce21
5d92 9227 9159 3dc6 2cae 5adf 4cda f9b5
6105 3165 97cd 64cd f04d 09d5 5e10 d231
// ...省略其它數(shù)據(jù)
2f04 c9cc 1e01 700a 0000 0001 0201 d08f // 0201
// ...省略其它數(shù)據(jù)

單元NALU的結(jié)構(gòu)

可以看到上面的數(shù)據(jù)和h264一樣，H265的NALU的結(jié)構(gòu)也是：啟始碼+ NALU頭+NALU數(shù)據(jù)恼布。
如果NALU對應(yīng)的Slice為一幀的開始（即視頻流的首個NALU）就用0x00000001螺戳，否則就用0x000001。

• 啟始碼：是一個固定值4個字節(jié)00 00 00 01（十六進制）或者3個字節(jié)00 00 01（十六進制）
• NALU的頭大小為2個字節(jié)折汞，第1位是0倔幼，第2-7位是NALU的類型，表示該NALU的數(shù)據(jù)內(nèi)容是什么類型的爽待，是VPS损同，SPS,PPS，SEI鸟款，I幀還是P幀膏燃。第8-15位是1
• NALU的數(shù)據(jù)就是編碼器編出來的圖像信息或者圖像壓縮數(shù)據(jù)了

NALU的nal_unit_type官方文檔所示：

h265-nal_unit_type.png

可以上面的文件數(shù)據(jù)片段中可以計算出6種NALU的頭類型nal_unit_type，取2個字節(jié)的2-7位即可何什。計算方法：

// 0x7E的二進制的后8位是 0111  1110
 int naluType = (byteOffset & 0x7E) >> 1

byteOffset就是00 00 00 01或者00 00 01后面的2個字節(jié)组哩。

• VPS（視頻參數(shù)集）NALU的頭值為0x4001（十六進制），取出2-7位（40 & 0x7E）>>1 =32(十進制)
• SPS(序列參數(shù)集)NALU的頭值為0x4201（十六進制），取出2-7位（42 & 0x7E）>>1 =33(十進制)
• PPS(圖像參數(shù)集)NALU的頭值為0x4401（十六進制）伶贰，取出2-7位（44 & 0x7E）>>1 =34(十進制)
• SEI(補充增強信息)NALU的頭值為0x4e01（十六進制）蛛砰，取出2-7位（4e & 0x7E）>>1 =39(十進制)
• I幀 NALU的頭值為0x2601（十六進制），取出2-7位（26 & 0x7E）>>1 =19(十進制)
• P幀 NALU的頭值為0x0201（十六進制）黍衙，取出2-7位（02& 0x7E）>>1 =1(十進制)

NALU的類型官方文檔所示：

H265-nalu-type.png

RBSP的結(jié)構(gòu)

H265的 RBSP（raw byte sequence payload）和H264的一樣。

NAL 根據(jù)送壓縮數(shù)據(jù)的規(guī)則琅翻，可以封裝稱不同的NALU, NALU包含VPS,SPS,PPSl類型信息位仁，還包含視頻片（Slice）的壓縮數(shù)據(jù)，包含壓縮的NALU被稱為VCLU(VCL NALU)望迎，包含其它信息的壓縮數(shù)據(jù)的NALU,則被稱為non-VCLU(non-VCL NALU)障癌。

H265下的NALU包含兩部分?jǐn)?shù)據(jù)結(jié)構(gòu)：NALU頭（header）和負(fù)載（payload），NALU頭長度為固定的2字節(jié)辩尊，反應(yīng)NALU的內(nèi)容特征涛浙，而NALU的負(fù)載長度為整數(shù)字節(jié)，包含視頻壓縮后的原始字節(jié)序列負(fù)載RBSP（raw byte sequence payload）摄欲。RBSP是對視頻 編碼后的原始比特流片段SODB（string of data bits）進行添加尾部（添加比特1轿亮，以湊足整字節(jié)）的包裝。

同樣在H265中胸墙，為了避免字節(jié)流片段和NALU的啟起碼及結(jié)束碼發(fā)生沖突我注，需要對RBSP的字節(jié)流進行沖突處理0x3，經(jīng)過處理后的rbsp才可以直接作為NALU的負(fù)載信息迟隅，才可以進程磁盤保存和網(wǎng)絡(luò)傳輸但骨。
關(guān)于沖突和RBSP的結(jié)構(gòu)的結(jié)構(gòu)可以參考之前的h264碼流分析文章：
Android音視頻【二】 H264碼流結(jié)構(gòu)

H265遠(yuǎn)比此篇介紹的復(fù)雜的多，如果哪里不正確智袭，歡迎指正奔缠。

H265官方文檔，可以下載里面的pdf文件：
https://www.itu.int/rec/T-REC-H.265-201911-I/en