Metal入門教程(四)灰度計算

前言

Metal入門教程(一)圖片繪制
Metal入門教程(二)三維變換
Metal入門教程(三)攝像頭采集渲染

前面的教程介紹了Metal如何顯示圖片疯趟、自定義shader實現(xiàn)三維變換以及用MetalPerformanceShaders處理攝像頭數(shù)據(jù),這次嘗試創(chuàng)建計算管道疤苹,實現(xiàn)Metal的compute shader。

Metal系列教程的代碼地址敛腌;
OpenGL ES系列教程在這里卧土;

你的star和fork是我的源動力,你的意見能讓我走得更遠(yuǎn)像樊。

正文

Metal的計算管道只有一個步驟尤莺,就是kernel function(內(nèi)核函數(shù))。相對于渲染管道生棍,其需要經(jīng)過多個步驟處理:

kernel function(內(nèi)核函數(shù))可直接讀取資源颤霎,計算處理后輸出到對應(yīng)位置。

核心思路

創(chuàng)建計算管道和渲染管道涂滴,加載一張圖片到Metal得到sourceTexture友酱,用計算管道對sourceTexture進(jìn)行處理,然后結(jié)果輸出到destTexture柔纵,最后用渲染管道把destTexture顯示到屏幕上缔杉。

效果展示

具體步驟

1、設(shè)置渲染管道和計算管道
// 設(shè)置渲染管道和計算管道
-(void)setupPipeline {
    id<MTLLibrary> defaultLibrary = [self.mtkView.device newDefaultLibrary]; // .metal
    id<MTLFunction> vertexFunction = [defaultLibrary newFunctionWithName:@"vertexShader"]; // 頂點shader搁料,vertexShader是函數(shù)名
    id<MTLFunction> fragmentFunction = [defaultLibrary newFunctionWithName:@"samplingShader"]; // 片元shader或详,samplingShader是函數(shù)名
    id<MTLFunction> kernelFunction = [defaultLibrary newFunctionWithName:@"sobelKernel"];
    
    MTLRenderPipelineDescriptor *pipelineStateDescriptor = [[MTLRenderPipelineDescriptor alloc] init];
    pipelineStateDescriptor.vertexFunction = vertexFunction;
    pipelineStateDescriptor.fragmentFunction = fragmentFunction;
    pipelineStateDescriptor.colorAttachments[0].pixelFormat = self.mtkView.colorPixelFormat;
    // 創(chuàng)建圖形渲染管道系羞,耗性能操作不宜頻繁調(diào)用
    self.renderPipelineState = [self.mtkView.device newRenderPipelineStateWithDescriptor:pipelineStateDescriptor
                                                                                   error:NULL];
    // 創(chuàng)建計算管道,耗性能操作不宜頻繁調(diào)用
    self.computePipelineState = [self.mtkView.device newComputePipelineStateWithFunction:kernelFunction
                                                                                   error:NULL];
    // CommandQueue是渲染指令隊列霸琴,保證渲染指令有序地提交到GPU
    self.commandQueue = [self.mtkView.device newCommandQueue];
}

渲染管道的創(chuàng)建與之前相同椒振;
-newComputePipelineStateWithFunction:可以創(chuàng)建計算管道,方法僅需要一個參數(shù)沈贝,就是內(nèi)核函數(shù)杠人。

2勋乾、設(shè)置頂點
- (void)setupVertex {
    const LYVertex quadVertices[] =
    {   // 頂點坐標(biāo)宋下,分別是x、y辑莫、z学歧、w;    紋理坐標(biāo)各吨,x枝笨、y;
        { {  0.5, -0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 1.f, 1.f } },
        { { -0.5, -0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 0.f, 1.f } },
        { { -0.5,  0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 0.f, 0.f } },
        
        { {  0.5, -0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 1.f, 1.f } },
        { { -0.5,  0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 0.f, 0.f } },
        { {  0.5,  0.5 / self.viewportSize.height * self.viewportSize.width, 0.0, 1.0 },  { 1.f, 0.f } },
    };
    self.vertices = [self.mtkView.device newBufferWithBytes:quadVertices
                                                     length:sizeof(quadVertices)
                                                    options:MTLResourceStorageModeShared]; // 創(chuàng)建頂點緩存
    self.numVertices = sizeof(quadVertices) / sizeof(LYVertex); // 頂點個數(shù)
}

為使得圖像顯示不拉伸揭蜒,對頂點做一個簡單處理横浑。

3、設(shè)置紋理
- (void)setupTexture {
    UIImage *image = [UIImage imageNamed:@"abc"];
    // 紋理描述符
    MTLTextureDescriptor *textureDescriptor = [[MTLTextureDescriptor alloc] init];
    textureDescriptor.pixelFormat = MTLPixelFormatRGBA8Unorm; // 圖片的格式要和數(shù)據(jù)一致
    textureDescriptor.width = image.size.width;
    textureDescriptor.height = image.size.height;
    textureDescriptor.usage = MTLTextureUsageShaderRead; // 原圖片只需要讀取
    self.sourceTexture = [self.mtkView.device newTextureWithDescriptor:textureDescriptor]; // 創(chuàng)建紋理
    
    MTLRegion region = {{ 0, 0, 0 }, {image.size.width, image.size.height, 1}}; // 紋理上傳的范圍
    Byte *imageBytes = [self loadImage:image];
    if (imageBytes) { // UIImage的數(shù)據(jù)需要轉(zhuǎn)成二進(jìn)制才能上傳屉更,且不用jpg徙融、png的NSData
        [self.sourceTexture replaceRegion:region
                        mipmapLevel:0
                          withBytes:imageBytes
                        bytesPerRow:4 * image.size.width];
        free(imageBytes); // 需要釋放資源
        imageBytes = NULL;
    }
    
    textureDescriptor.usage = MTLTextureUsageShaderWrite | MTLTextureUsageShaderRead; // 目標(biāo)紋理在compute管道需要寫,在render管道需要讀
    self.destTexture = [self.mtkView.device newTextureWithDescriptor:textureDescriptor];
}

共需要創(chuàng)建兩個紋理瑰谜,先創(chuàng)建輸入的紋理sourceTexture欺冀,再用相同的描述符加上MTLTextureUsageShaderWrite屬性創(chuàng)建輸出的紋理destTexture。

4萨脑、設(shè)置計算區(qū)域
- (void)setupThreadGroup {
    self.groupSize = MTLSizeMake(16, 16, 1); // 太大某些GPU不支持隐轩,太小效率低;
    
    //保證每個像素都有處理到
    _groupCount.width  = (self.sourceTexture.width  + self.groupSize.width -  1) / self.groupSize.width;
    _groupCount.height = (self.sourceTexture.height + self.groupSize.height - 1) / self.groupSize.height;
    _groupCount.depth = 1; // 我們是2D紋理渤早,深度設(shè)為1
}

這里設(shè)置的是計算管道中每次處理的大小groupSize职车,size不能太大會導(dǎo)致某些GPU不支持,而太小則效率會低鹊杖;groupCount是計算的次數(shù)悴灵,需要保證足夠大,以便每個像素都能處理仅淑。

5称勋、渲染處理
    // 每次渲染都要單獨創(chuàng)建一個CommandBuffer
    id<MTLCommandBuffer> commandBuffer = [self.commandQueue commandBuffer];
    {
        // 創(chuàng)建計算指令的編碼器
        id<MTLComputeCommandEncoder> computeEncoder = [commandBuffer computeCommandEncoder];
        // 設(shè)置計算管道,以調(diào)用shaders.metal中的內(nèi)核計算函數(shù)
        [computeEncoder setComputePipelineState:self.computePipelineState];
        // 輸入紋理
        [computeEncoder setTexture:self.sourceTexture
                           atIndex:LYFragmentTextureIndexTextureSource];
        // 輸出紋理
        [computeEncoder setTexture:self.destTexture
                           atIndex:LYFragmentTextureIndexTextureDest];
        // 計算區(qū)域
        [computeEncoder dispatchThreadgroups:self.groupCount
                       threadsPerThreadgroup:self.groupSize];
        // 調(diào)用endEncoding釋放編碼器涯竟,下個encoder才能創(chuàng)建
        [computeEncoder endEncoding];
    }
    

MTLComputeCommandEncoder是計算指令的編碼器赡鲜,用于編碼接下來的指令空厌;首先設(shè)置計算管道computePipelineState,再設(shè)置相關(guān)的參數(shù)银酬,最后用dispatchThreadgroups:self啟動計算嘲更。(記得最后要加endEncoding

6、Shader邏輯
constant half3 kRec709Luma = half3(0.2126, 0.7152, 0.0722); // 把rgba轉(zhuǎn)成亮度值

kernel void
grayKernel(texture2d<half, access::read>  sourceTexture  [[texture(LYFragmentTextureIndexTextureSource)]],
                texture2d<half, access::write> destTexture [[texture(LYFragmentTextureIndexTextureDest)]],
                uint2                          grid         [[thread_position_in_grid]])
{
    // 邊界保護(hù)
    if(grid.x <= destTexture.get_width() && grid.y <= destTexture.get_height())
    {
        half4 color  = sourceTexture.read(grid); // 初始顏色
        half  gray     = dot(color.rgb, kRec709Luma); // 轉(zhuǎn)換成亮度
        destTexture.write(half4(gray, gray, gray, 1.0), grid); // 寫回對應(yīng)紋理
    }
}

灰度計算的shader如上揩瞪,kRec709Luma是rgb轉(zhuǎn)亮度值用到的常量赋朦;
grayKernel的參數(shù)有三個,分別是輸入的紋理李破、輸出的紋理宠哄、索引下標(biāo)。
grid有兩個值嗤攻,分別是x和y毛嫉,表明當(dāng)前計算shader處理的像素點位置。每次內(nèi)核函數(shù)執(zhí)行妇菱,都會有一個唯一的grid值承粤。
通過sourceTexture.read(grid)可以讀取輸入紋理的顏色,處理后再通過destTexture.write的方法寫入輸出紋理闯团。

總結(jié)

內(nèi)核函數(shù)的執(zhí)行次數(shù)需要事先指定辛臊,這個次數(shù)由格子大小決定。
threadgroup 指的是設(shè)定的處理單元房交,demo里是16*16彻舰;這個值要根據(jù)具體的設(shè)備進(jìn)行區(qū)別,但16*16是足夠小的涌萤,能讓所有的GPU執(zhí)行淹遵;
threadgroupCount 是需要處理的次數(shù),一般來說threadgroupCount*threadgroup=需要處理的大小负溪。
MTLComputePipelineState 代表一個計算處理管道透揣,只需要一個內(nèi)核函數(shù)就可以創(chuàng)建,相比之下川抡,渲染管道需要頂點和片元兩個處理函數(shù)辐真。

Demo的地址在這里

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末崖堤,一起剝皮案震驚了整個濱河市侍咱,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌密幔,老刑警劉巖楔脯,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異胯甩,居然都是意外死亡昧廷,警方通過查閱死者的電腦和手機堪嫂,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來木柬,“玉大人皆串,你說我怎么就攤上這事∶颊恚” “怎么了恶复?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長速挑。 經(jīng)常有香客問我谤牡,道長,這世上最難降的妖魔是什么梗摇? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任拓哟,我火速辦了婚禮,結(jié)果婚禮上伶授,老公的妹妹穿的比我還像新娘。我一直安慰自己流纹,他們只是感情好糜烹,可當(dāng)我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著漱凝,像睡著了一般疮蹦。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上茸炒,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天愕乎,我揣著相機與錄音,去河邊找鬼壁公。 笑死感论,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的紊册。 我是一名探鬼主播比肄,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼囊陡!你這毒婦竟也來了芳绩?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤撞反,失蹤者是張志新(化名)和其女友劉穎妥色,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體遏片,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡嘹害,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年鳍侣,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吼拥。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡倚聚,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出凿可,到底是詐尸還是另有隱情惑折,我是刑警寧澤,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布枯跑,位于F島的核電站惨驶,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏敛助。R本人自食惡果不足惜粗卜,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望纳击。 院中可真熱鬧续扔,春花似錦、人聲如沸焕数。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽堡赔。三九已至识脆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間善已,已是汗流浹背灼捂。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留换团,地道東北人悉稠。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓,卻偏偏與公主長得像啥寇,于是被迫代替她去往敵國和親偎球。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容