YUV顏色空間
- 使用系統(tǒng)提供的接口獲取到的音視頻數(shù)據(jù)都保存在CMSampleBufferRef中, 使用GPUImamge獲取到的音頻數(shù)據(jù)為CMSampleBufferRef
- CMSampleBufferRef
- 這個結(jié)構(gòu)在iOS中表示一幀音頻/視頻數(shù)據(jù)
- 它里面包含了這一幀數(shù)據(jù)的內(nèi)容和格式, 我們可以把它的內(nèi)容取出來碴里，提取出/轉(zhuǎn)換成 我們想要的數(shù)據(jù)
- 代表視頻的CMSampleBufferRef中保存的數(shù)據(jù)是NV12格式的視頻幀(我們在視頻輸出設置中將輸出格式設為：kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)
- 代表音頻的CMSampleBufferRef中保存的數(shù)據(jù)是PCM格式的音頻幀
yuv是什么角撞？
- 視頻是由一幀一幀的數(shù)據(jù)連接而成牧抽，而一幀視頻數(shù)據(jù)其實就是一張圖片。
- yuv是一種圖片儲存格式日丹，跟RGB格式類似。
- RGB格式的圖片很好理解，計算機中的大多數(shù)圖片，都是以RGB格式存儲的冶伞。
- yuv中，y表示亮度步氏，單獨只有y數(shù)據(jù)就可以形成一張圖片，只不過這張圖片是灰色的徒爹。u和v表示色差(u和v也被稱為：Cb－藍色差荚醒，Cr－紅色差)
- 為什么要yuv？
- 有一定歷史原因隆嗅，最早的電視信號界阁，為了兼容黑白電視，采用的就是yuv格式胖喳。
- 一張yuv的圖像泡躯，去掉uv，只保留y，這張圖片就是黑白的较剃。
- 而且yuv可以通過拋棄色差來進行帶寬優(yōu)化咕别。
-
比如yuv420格式圖像相比RGB來說，要節(jié)省一半的字節(jié)大小写穴，拋棄相鄰的色差對于人眼來說惰拱，差別不大。
image.png
YUV顏色存儲格式
- 常用的I420(YUV420P),NV12(YUV420SP),YV12（YUV420P）,NV21(YUV420SP)等都是屬于YUV420啊送，NV12是一種兩平面存儲方式偿短，Y為一個平面，交錯的UV為另一個平面
- 通常馋没，用來遠程傳輸?shù)氖荌420數(shù)據(jù)昔逗，而本地攝像頭采集的是NV12數(shù)據(jù)。（iOS）
- 所有在真正編碼的過程中, 需要將NV12數(shù)據(jù)轉(zhuǎn)成I420數(shù)據(jù)進行編碼
