為什么學(xué)習(xí)YUV顏色空間
- 使用系統(tǒng)提供的接口獲取到的音視頻數(shù)據(jù)都保存在CMSampleBufferRef中, 使用GPUImamge獲取到的音頻數(shù)據(jù)為CMSampleBufferRef
- CMSampleBufferRef
- 這個結(jié)構(gòu)在iOS中表示一幀音頻/視頻數(shù)據(jù)
- 它里面包含了這一幀數(shù)據(jù)的內(nèi)容和格式, 我們可以把它的內(nèi)容取出來纬朝,提取出/轉(zhuǎn)換成 我們想要的數(shù)據(jù)
- 代表視頻的CMSampleBufferRef中保存的數(shù)據(jù)是yuv420格式的視頻幀(我們在視頻輸出設(shè)置中將輸出格式設(shè)為:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)
- 代表音頻的CMSampleBufferRef中保存的數(shù)據(jù)是PCM格式的音頻幀
yuv是什么?
- 視頻是由一幀一幀的數(shù)據(jù)連接而成谒兄,而一幀視頻數(shù)據(jù)其實就是一張圖片趟据。
- yuv是一種圖片儲存格式饲窿,跟RGB格式類似蔽午。
- RGB格式的圖片很好理解樟遣,計算機中的大多數(shù)圖片,都是以RGB格式存儲的姿骏。
- yuv中糖声,y表示亮度,單獨只有y數(shù)據(jù)就可以形成一張圖片分瘦,只不過這張圖片是灰色的蘸泻。u和v表示色差(u和v也被稱為:Cb-藍色差,Cr-紅色差)
- 為什么要yuv嘲玫?
- 有一定歷史原因悦施,最早的電視信號,為了兼容黑白電視去团,采用的就是yuv格式抡诞。
- 一張yuv的圖像,去掉uv土陪,只保留y沐绒,這張圖片就是黑白的。
- 而且yuv可以通過拋棄色差來進行帶寬優(yōu)化旺坠。
- 比如yuv420格式圖像相比RGB來說,要節(jié)省一半的字節(jié)大小扮超,拋棄相鄰的色差對于人眼來說取刃,差別不大。
YUV顏色空間.jpg
YUV顏色存儲格式
- 常用的I420(YUV420P),NV12(YUV420SP),YV12(YUV420P),NV21(YUV420SP)等都是屬于YUV420出刷,NV12是一種兩平面存儲方式璧疗,Y為一個平面,交錯的UV為另一個平面
- 通常馁龟,用來遠程傳輸?shù)氖荌420數(shù)據(jù)崩侠,而本地攝像頭采集的是NV12數(shù)據(jù)。(iOS)
- 所有在真正編碼的過程中, 需要將NV12數(shù)據(jù)轉(zhuǎn)成I420數(shù)據(jù)進行編碼