一:YUV的概念
YUV:(也稱為YCbCr),是電視系統(tǒng)所采用的一種顏色編碼方法
Y:表示亮度,也就是灰階值,他是基礎(chǔ)信號
UV:表示的則是色度,UV的作用是描述影像的色彩及飽和度,它們用于指定像素的顏色
二:YUV常見格式
YUV4:2:0 (YCbCr 4:2:0)--????這比RGB少了二分之一????????
YUV4:2:2 (YCbCr 4:2:2)--YUV4:2:2就是比RGB小三分之一,RGB8:8:8
YUV4:4:4 (YCbCr 4:4:4)--理解為??????1:1:1,就是????4個??Y對應(yīng)????4個??U和??4個??V
1:YUV4:2:0
YUV4:2:0并不意味著只有Y,Cb2個分量,而沒有Cr分量,他實際指的是每行掃描線來說,只有一種色度分量,它以2:1的抽樣率來存儲的;
2:YUV存儲格式
plannar(平面)
1:I420:YYYYYYYY UU VV -->YUV420P,是PC端用的
2:YV12: YYYYYYYY VV UU --> YUV420P
packed(打包)
1:NV12: YYYYYYYY UVUV --> YUV420SP
2:NV21: YYYYYYYY VUVU --> YUV420SP
有可能開發(fā)過程,比如iOS/安卓,在解碼視頻后發(fā)現(xiàn)圖像出現(xiàn)倒置或者翻轉(zhuǎn),有可能是因為他們的YUV格式不一致,因為PC端一般常用與I420,安卓一般默認(rèn)NV21,iOS一般默認(rèn)NV12,如果想行為統(tǒng)一,就需要保證一致的存儲格式;
三:NALU
NALU = NAL Header + NAL Body
H264碼流在網(wǎng)絡(luò)中傳輸時實際是以NALU的形式進(jìn)行傳輸,每個NALU由一個字節(jié)Header和RBSP組成
NAL Header 解析
NAL Header 為一個字節(jié),里面包含什么樣的數(shù)據(jù)呢
第0位:F
第1~2位:NRI
第3~7位:type
F:forbidden_zero_bit,在H264規(guī)范中規(guī)定了第一位必須為0,記住就行了
NRI:表示重要性,暫時無用處,000最無用,111最有用,用于表示當(dāng)前NALU的重要性,值越大,越重要,解碼器在解碼處理不過來的時候丟掉重要性為0的NALU
type:表示這個NAL的類型,一下表示常見的幾個
1:5:IDR圖像的片(可以理解為I幀,I幀由多個I片組成)
2:7:序列參數(shù)集(sps)
3:8:序列參數(shù)集(pps)
NAL類型
單一類型:一個RTP包只包含NALU,就是說H264幀里只包含了一個片,例如P幀或者B幀都是單一類型
組合類型:一個RTP包含多個NALU,類型是24-27,像pps或者sps一般都放在一個包里,以為2個數(shù)據(jù)單元都非常小
分片類型:一個NALU單元分成多個RTP包,類型28-29
第1個字節(jié):FU indicator分片單元指示符
第2個字節(jié):FU Header 分片單元頭,有多個片,就有FU Header組合起來
FU Header
S:start bit用于指明分片的開始,在網(wǎng)絡(luò)傳輸時,一個個包,我們知道他的分片的包,那么如何區(qū)分是開始還是末尾的包呢?如果為1就是分片的開始
E:end bit用于指明分片的結(jié)束
R:未使用,設(shè)置為0
Type:指明分片NAL類型,網(wǎng)絡(luò)傳輸完成后,還是需要將分片組合成NALU單元,這個NAL
單元是關(guān)鍵幀還是非關(guān)鍵幀是sps還是pps,就需要根據(jù)Type來判斷
在傳輸過程中將一個幀切割成多個片,如果在傳輸過程中順序打亂,或者丟失了其中某個片,我們怎么判斷NALU單元傳輸完整呢?
依據(jù)FU Header的S/E位,并借助于RTP包的包頭,在RTP的包頭包括了每個包的序列號,如果收到的包,收到了S包,也收到了E包,中間的包的序號是連續(xù)的,那就說明包是完整的,如果不是連續(xù)的就是丟包了,如果沒有丟包就可以組合起來
