為什么學(xué)習(xí)YUV顏色空間
- 使用系統(tǒng)提供的接口獲取到的音視頻數(shù)據(jù)都保存在CMSampleBufferRef中, 使用GPUImamge獲取到的音頻數(shù)據(jù)為CMSampleBufferRef
- CMSampleBufferRef
- 這個結(jié)構(gòu)在iOS中表示一幀音頻/視頻數(shù)據(jù)
- 它里面包含了這一幀數(shù)據(jù)的內(nèi)容和格式, 我們可以把它的內(nèi)容取出來纬朝，提取出/轉(zhuǎn)換成 我們想要的數(shù)據(jù)
- 代表視頻的CMSampleBufferRef中保存的數(shù)據(jù)是yuv420格式的視頻幀(我們在視頻輸出設(shè)置中將輸出格式設(shè)為：kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)
- 代表音頻的CMSampleBufferRef中保存的數(shù)據(jù)是PCM格式的音頻幀
yuv是什么？
- 視頻是由一幀一幀的數(shù)據(jù)連接而成谒兄，而一幀視頻數(shù)據(jù)其實就是一張圖片趟据。
- yuv是一種圖片儲存格式饲窿，跟RGB格式類似蔽午。
- RGB格式的圖片很好理解樟遣，計算機中的大多數(shù)圖片，都是以RGB格式存儲的姿骏。
- yuv中糖声，y表示亮度，單獨只有y數(shù)據(jù)就可以形成一張圖片分瘦，只不過這張圖片是灰色的蘸泻。u和v表示色差(u和v也被稱為：Cb－藍色差，Cr－紅色差)
- 為什么要yuv嘲玫？
- 有一定歷史原因悦施，最早的電視信號，為了兼容黑白電視去团，采用的就是yuv格式抡诞。
- 一張yuv的圖像，去掉uv土陪，只保留y沐绒，這張圖片就是黑白的。
- 而且yuv可以通過拋棄色差來進行帶寬優(yōu)化旺坠。
- 比如yuv420格式圖像相比RGB來說，要節(jié)省一半的字節(jié)大小扮超，拋棄相鄰的色差對于人眼來說取刃，差別不大。
YUV顏色空間.jpg
YUV顏色存儲格式
- 常用的I420(YUV420P),NV12(YUV420SP),YV12（YUV420P）,NV21(YUV420SP)等都是屬于YUV420出刷，NV12是一種兩平面存儲方式璧疗，Y為一個平面，交錯的UV為另一個平面
- 通常馁龟，用來遠程傳輸?shù)氖荌420數(shù)據(jù)崩侠，而本地攝像頭采集的是NV12數(shù)據(jù)。（iOS）
- 所有在真正編碼的過程中, 需要將NV12數(shù)據(jù)轉(zhuǎn)成I420數(shù)據(jù)進行編碼
