在之前的Metal與圖形渲染三：透明通道視頻已經(jīng)對(duì)YUV有所簡介绵脯，但當(dāng)時(shí)也是大概了解了YUV的格式竖慧，直接套用了YUV轉(zhuǎn)RGB的公式，其實(shí)對(duì)YUV的數(shù)據(jù)格式還不是太了解座每，這次來深入一下對(duì)YUV420格式的學(xué)習(xí)。
一. YUV420簡介
YUV使用亮度(Y)和色度(UV)來指定一個(gè)像素的顏色摘悴，由于人眼對(duì)色度不敏感峭梳，因此一個(gè)Y可以對(duì)應(yīng)多個(gè)UV，以減少數(shù)據(jù)的帶寬占用蹂喻。如果單獨(dú)只有Y葱椭，那么圖像是能正常顯示的，但只有黑白的顏色口四。下圖分別代表正常圖像孵运、Y值、U值和V值窃祝。
YUV420是指YUV以4：2：0的方式進(jìn)行采樣掐松，在每一行掃描時(shí)，只掃描一種色度分量（U 或者 V）粪小，和 Y 分量按照 2 : 1 的方式采樣大磺。參考文章這個(gè)例子非常清晰易懂
舉個(gè)例子 ：
假設(shè)圖像像素為：
[Y0 U0 V0]、[Y1 U1 V1]探膊、 [Y2 U2 V2]杠愧、 [Y3 U3 V3]
[Y5 U5 V5]、[Y6 U6 V6]逞壁、 [Y7 U7 V7] 流济、[Y8 U8 V8]
那么采樣的碼流為：Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8
其中锐锣，每采樣過一個(gè)像素點(diǎn)，都會(huì)采樣其 Y 分量绳瘟，而 U雕憔、V 分量就會(huì)間隔一行按照 2 : 1 進(jìn)行采樣。
最后映射出的像素點(diǎn)為：
[Y0 U0 V5]糖声、[Y1 U0 V5]斤彼、[Y2 U2 V7]、[Y3 U2 V7]
[Y5 U0 V5]蘸泻、[Y6 U0 V5]琉苇、[Y7 U2 V7]、[Y8 U2 V7]
下圖叉叉代表Y分量悦施，圓圈代表UV分量并扇，可以看到每4個(gè)Y分量共用一組UV分量，也就是420格式了抡诞。
二. YUV420采樣格式
YUV的存儲(chǔ)格式包括Planar和Packed穷蛹，Planar先連續(xù)存儲(chǔ)所有像素點(diǎn)的 Y 分量，然后存儲(chǔ) U 分量沐绒，最后是 V 分量俩莽。Packed連續(xù)交替存儲(chǔ)每個(gè)像素點(diǎn)的YUV分量。Planar和Packed在代碼上的區(qū)別就是乔遮，Planar會(huì)將YUV數(shù)據(jù)分別存于多個(gè)數(shù)組，而Packed會(huì)將數(shù)據(jù)存在一個(gè)數(shù)組里面取刃。
YUV420采樣格式包括YUV420P和YUV420SP蹋肮，格式都是Planar的，區(qū)別在于 YUV420P （420 Planar）類型就會(huì)先存儲(chǔ)所有的 U 分量或者 V 分量璧疗，而 YUV420SP （YUV420 Semi Planar）則是按照 UV 或者 VU 的交替順序進(jìn)行存儲(chǔ)坯辩。
下圖是YUV420P格式：
下圖是YUV420SP格式：
可以看出，YUV420P和YUV420SP的區(qū)別在于：
YUV420SP的UV分量存放在一個(gè)數(shù)組里面崩侠，該數(shù)組的寬度和Y分量的寬度相等漆魔，而高度為Y分量的一半，總共用了兩個(gè)數(shù)組存放YUV數(shù)據(jù)却音，即兩平面改抡。在iOS開發(fā)中，形成CVPixelBuffer的數(shù)據(jù)結(jié)構(gòu)系瓢。我們之前根據(jù)CVPixelBuffer渲染視頻RGB就是這個(gè)格式阿纤。
- (id <MTLTexture>)textureWithPixelBuffer:(CVMetalTextureRef)pixelBuffer pixelFormat:(MTLPixelFormat)pixelFormat planeIndex:(NSInteger)planeIndex {
id <MTLTexture> texture = nil;
// planeIndex為0時(shí)是Y分量數(shù)據(jù)，planeIndex為1時(shí)是UV分量數(shù)據(jù)
size_t width = CVPixelBufferGetWidthOfPlane(pixelBuffer, planeIndex);
size_t height = CVPixelBufferGetHeightOfPlane(pixelBuffer, planeIndex);
CVMetalTextureRef textureRef = NULL;
CVReturn status = CVMetalTextureCacheCreateTextureFromImage(NULL, _textureCache, pixelBuffer, NULL, pixelFormat, width, height, planeIndex, &textureRef);
if (status == kCVReturnSuccess) {
texture = CVMetalTextureGetTexture(textureRef);
CFRelease(textureRef);
} else {
texture = nil;
}
return texture;
}
渲染時(shí)也會(huì)將UV作為一個(gè)紋理進(jìn)行轉(zhuǎn)換夷陋。
float3 rgbFromYuv(float2 textureCoor,
texture2d <float> textureY,
texture2d <float> textureUV,
constant CCAlphaVideoMetalConvertMatrix *convertMatrix) {
constexpr sampler textureSampler (mag_filter::linear,
min_filter::linear);
float3 yuv = float3(textureY.sample(textureSampler, textureCoor).r,
textureUV.sample(textureSampler, textureCoor).rg);
return convertMatrix->matrix * (yuv + convertMatrix->offset);
}
fragment float4 movieFragment(SingleInputVertexIO input [[ stage_in ]],
texture2d <float> textureY [[ texture(0) ]],
texture2d <float> textureUV [[ texture(1) ]],
constant CCAlphaVideoMetalConvertMatrix *convertMatrix [[ buffer(0) ]]) {
float3 rgb = rgbFromYuv(input.textureCoordinate, textureY, textureUV, convertMatrix);
return float4(rgb, 1.0);
}
YUV420P的UV分量分別存放于兩個(gè)數(shù)組欠拾，U分量數(shù)組胰锌、V分量數(shù)組的寬度為Y分量的一半，高度也為Y分量的一半藐窄，總共用了三個(gè)數(shù)組存放YUV數(shù)據(jù)资昧，即三平面。渲染時(shí)需要將YUV分別作為三個(gè)紋理進(jìn)行輸入荆忍。
fragment float4 movieByPixelsFragment(SingleInputVertexIO input [[ stage_in ]],
texture2d <float> textureY [[ texture(0) ]],
texture2d <float> textureU [[ texture(1) ]],
texture2d <float> textureV [[ texture(2) ]],
constant CCAlphaVideoMetalConvertMatrix *convertMatrix [[ buffer(0) ]]) {
float2 textureCoor = input.textureCoordinate;
constexpr sampler textureSampler (mag_filter::linear,
min_filter::linear);
float y = textureY.sample(textureSampler, textureCoor).r;
float u = textureU.sample(textureSampler, textureCoor).r;
float v = textureV.sample(textureSampler, textureCoor).r;
float3 yuv = float3(y, u, v);
float3 rgb = convertMatrix->matrix * (yuv + convertMatrix->offset);
return float4(rgb, 1.0);
}
三. YUV420的具體格式內(nèi)容
YUV420P包括YU12（也稱I420P）和YV12格带，其區(qū)別在于，YU12按Y东揣、U践惑、V的順序存儲(chǔ)，而UV12按Y嘶卧、V尔觉、U的順序存儲(chǔ)。
YUV420SP包括NV12和NV21芥吟，同理侦铜，其區(qū)別在于，NV12按Y钟鸵、UV分量的格式存儲(chǔ)钉稍，而NV21按Y、VU分量的格式存儲(chǔ)棺耍。值得一提的是贡未，iOS采樣格式為NV12，Android采樣格式為NV21蒙袍。
用參考文章的圖總結(jié)下格式：
四. YUV420的數(shù)據(jù)內(nèi)容
一個(gè)YUV數(shù)據(jù)并不一定全是圖像數(shù)據(jù)俊卤，也有可能是一些填充的內(nèi)容，需要確保是按16位對(duì)齊的害幅，即為16的倍數(shù)消恍。
Padding用于16位對(duì)齊的填充，Pitch（也稱為Stride）為YUV數(shù)據(jù)的行字節(jié)數(shù)（BytesPerRow）以现，因此狠怨，Width不一定等于Pitch，Pitch為16的倍數(shù)邑遏，但Width不一定為16的倍數(shù)佣赖，此外，Height維度是不會(huì)有填充的无宿，這點(diǎn)在YUV數(shù)據(jù)渲染或復(fù)制時(shí)需要注意茵汰。
下面四個(gè)方法返回的內(nèi)容各不相同，需要注意區(qū)分孽鸡，特別是Pitch和Width的區(qū)別：
// Width
CVPixelBufferGetWidthOfPlane(pixelBuffer, planeIndex)
// Pitch
CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, planeIndex)
// Height
CVPixelBufferGetHeightOfPlane(pixelBuffer, planeIndex)
// Base Address
CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, planeIndex)
五. 總結(jié)
YUV420采樣時(shí)蹂午，四個(gè)Y分量共用1對(duì)UV分量栏豺。
YUV420P和YUV420SP的區(qū)別在于前者有三個(gè)平面（U和V各為一個(gè)平面，寬度和高度均為Y平面的1/2）豆胸，后者有兩個(gè)平面（U和V處于一個(gè)平面奥洼，寬度和Y平面相等，高度為Y平面的1/2）晚胡。
YU12和YV12灵奖、NV12和NV21的區(qū)別在于取樣先U后V還是先V后U。
YUV420可能會(huì)有填充數(shù)據(jù)估盘，需要注意Pitch和Width的區(qū)別瓷患。
