1. pipeline中的深度數(shù)據(jù)
深度是渲染管線(xiàn)當(dāng)中的重要概念，它控制著三維世界中物體渲染的遮擋關(guān)系蝇棉。我們以傳統(tǒng)的foward render為例，三角形提交draw call以后蜡坊，頂點(diǎn)進(jìn)入vertex shader峦剔，經(jīng)過(guò)model-view-projection matrix變換到齊次裁剪空間坐標(biāo)系（又叫規(guī)則觀察體(Canonical View Volume)中，通過(guò)透視除法（硬件自動(dòng)完成）進(jìn)入pixel shader（當(dāng)然惠勒，現(xiàn)代的gpu都會(huì)在進(jìn)入pixel shader之前提供Early-Z kill赚抡，后文詳述）
通過(guò)pixel shader上色以后，就使用到了本文的主角深度纠屋，深度測(cè)試階段（Z-test）所有頂點(diǎn)都處在NDC坐標(biāo)系（也就是整個(gè)世界規(guī)范到xy = {-1涂臣， 1}， z = {0售担， 1}的長(zhǎng)方體中）赁遗，如下圖。
這么折騰一通族铆，對(duì)于Z-test的意義就是所有的頂點(diǎn)position.z深度值都規(guī)范到{0岩四，1}之間，這也就給比較遮擋關(guān)系提供了便利骑素，距離越近的點(diǎn)才能渲染到render texture中炫乓，距離太遠(yuǎn)的話(huà)當(dāng)前像素就可以丟棄了。距離相機(jī)越近的點(diǎn)z值越小献丑，假如我們使用如下的pixel shader來(lái)表示深度圖
fixed4 frag (v2f i) : SV_Target
{
float depth = tex2D(_CameraDepthTexture, i.uv).r;
float4 col = float4(depth, depth, depth, 1);
return col
}
由于rgb一致末捣，所以深度圖都是以灰度圖呈現(xiàn)。
2. UNITY 獲取深度圖 -- camera的內(nèi)置depth texture
Camera可以生成depth texture, depth+normals texture创橄，這些內(nèi)置數(shù)據(jù)可以用于延遲渲染以及shadow map箩做，本文主要討論深度圖，其他概念暫且摁下不表妥畏。
獲取Camera內(nèi)置深度圖的介紹的比較多邦邦，demo可以參考這個(gè)例子安吁，github需要翻墻，本文也使用這個(gè)場(chǎng)景做其他獲取方式的介紹燃辖。
內(nèi)置的深度圖名字為_(kāi)CameraDepthTexture鬼店，我們?cè)谑褂盟臅r(shí)候需要遵循如下流程
抓取內(nèi)置depth texture的獲取基本流程如下~
- 獲取深度圖需要指定Camera， 設(shè)置抓取深度圖的Camera.depthTextureMode = DepthTextureMode.Depth;
- 聲明一個(gè)rendertexture rt用于保存深度圖黔龟，rt = RenderTexture.GetTemporary(width, height, 0);
- 在Camera的Gameobj身上掛載一個(gè)script妇智，重載 OnRenderImage方法
- OnRenderImage中 Graphics.Blit(source, dest, DepthRender);
- 保證場(chǎng)景中希望寫(xiě)入深度圖的gameobj，它們上色的shader必須有 FallBack "Diffuse"代碼塊氏身，否則深度圖不會(huì)將他的深度數(shù)據(jù)寫(xiě)入
流程1說(shuō)明需要向camera中保存depth tetxure到_CameraDepthTexture中巍棱。
流程2是保存深度圖的容器
當(dāng)場(chǎng)景繪制完成以后，我們使用blit方法將數(shù)據(jù)拷貝到dest中去蛋欣，請(qǐng)注意：结恪！_CameraDepthTexture與blit（src陷虎，dest）中的src到踏，dest位置順序沒(méi)有關(guān)系，_CameraDepthTexture中一直存在深度數(shù)據(jù)泻红，_MainTex的數(shù)據(jù)則只來(lái)自src
流程5是一個(gè)潛規(guī)則夭禽，原文是這樣的Depth texture is rendered using the same shader passes as used for shadow caster rendering (ShadowCaster pass type). 。
簡(jiǎn)單來(lái)說(shuō)內(nèi)置深度數(shù)據(jù)來(lái)自shadow map計(jì)算時(shí)使用的一個(gè)特殊pass谊路，我們必須設(shè)置這個(gè)pass才能讓內(nèi)置depth buffer完成數(shù)據(jù)填充讹躯，FallBack "Diffuse"在這個(gè)時(shí)候就起到了作用，貌似自己寫(xiě)的其他pass時(shí)不會(huì)在獲取內(nèi)置深度時(shí)調(diào)用缠劝。大坑一個(gè)潮梯，所以自己寫(xiě)的shader結(jié)構(gòu)應(yīng)該保留FallBack "Diffuse"：
Shader "Custom/yourshader" {
Properties {
_MainTex ("Base (RGB)", 2D) = "white" {}
}
SubShader
{
Tags { "RenderType"="Opaque" }
Pass
{
}
}
FallBack "Diffuse"
}
然后我們來(lái)看流程4的DepthRender，它的作用就是從_CameraDepthTexture獲取depth輸出給blit的dest惨恭，完整代碼如下
Shader "Unlit/depth_render"
{
Properties
{
_MainTex ("Texture", 2D) = "black" {}
}
SubShader
{
// No culling or depth
Cull Off ZWrite Off ZTest Always
Pass
{
CGPROGRAM
#pragma vertex vert
#pragma fragment frag
sampler2D _CameraDepthTexture;
sampler2D _MainTex;
struct appdata
{
float4 vertex : POSITION;
float2 uv : TEXCOORD0;
};
struct v2f
{
float2 uv : TEXCOORD0;
float4 vertex : SV_POSITION;
};
v2f vert (appdata v)
{
v2f o;
o.vertex = UnityObjectToClipPos(v.vertex);
o.uv = v.uv;
return o;
}
fixed4 frag (v2f i) : SV_Target
{
float4 col = float4(1, 1, 1, 1);
// 內(nèi)置 深度獲取
float depth = tex2D(_CameraDepthTexture, i.uv).r;
col = float4(depth, depth, depth, 1 );
return col;
}
ENDCG
}
}
}
其中獲取深度還可以使用unity的內(nèi)置宏SAMPLE_DEPTH_TEXTURE秉馏，一般情況下就是取texture的r分量即可
#define SAMPLE_DEPTH_TEXTURE(sampler, uv) (tex2D(sampler, uv).r)
tips -- 由于是image effect，我們關(guān)閉深度測(cè)試和裁剪**Cull Off ZWrite Off ZTest Always**脱羡， 關(guān)于內(nèi)置宏萝究，請(qǐng)自行下載unity-build-in-shader查看
左邊是scene view 右邊是深度圖，我們可以得出這樣的結(jié)論
物體距離攝像機(jī)越近锉罐，內(nèi)置深度圖的深度值就越大（越接近1 - 白色）
3. UNITY 獲取深度圖 -- 創(chuàng)建一個(gè)專(zhuān)門(mén)的depth camera
上文使用的是unity的內(nèi)置方法獲取深度圖帆竹，那么我們通過(guò)自己的shader將vertex的z值寫(xiě)入rt，當(dāng)然就可以讓一個(gè)camera專(zhuān)門(mén)渲染深度了ＥЧ妗栽连！~~~
渲染深度數(shù)據(jù)的shader如下
Shader "Unlit/deptVisual"
{
Properties
{
_MainTex ("Texture", 2D) = "white" {}
}
SubShader
{
Tags { "RenderType"="Opaque" }
LOD 100
Pass
{
CGPROGRAM
#pragma vertex vert
#pragma fragment frag
#include "UnityCG.cginc"
struct appdata
{
float4 vertex : POSITION;
float2 uv : TEXCOORD0;
};
struct v2f
{
float2 uv : TEXCOORD0;
float4 vertex : SV_POSITION;
};
sampler2D _MainTex;
float4 _MainTex_ST;
v2f vert (appdata v)
{
v2f o;
o.vertex = UnityObjectToClipPos(v.vertex);
o.uv = TRANSFORM_TEX(v.uv, _MainTex);
return o;
}
fixed4 frag (v2f i) : SV_Target
{
return fixed4(i.vertex.z, i.vertex.z, i.vertex.z, 1);
}
ENDCG
}
}
}
我們看一下渲染結(jié)果
但是這個(gè)方法帶來(lái)一個(gè)問(wèn)題，難道我們?yōu)榱双@取深度數(shù)據(jù)，難道還要讓所有的game obj 替換成上述的material嗎秒紧？答案當(dāng)然是否定的绢陌，這時(shí)候就需要介紹一個(gè)camera的大殺器了
替換渲染Camera.renderwithshader()
講一個(gè)例子，假如場(chǎng)景中存在兩個(gè)camera熔恢，renderCamera和depthCamera脐湾，場(chǎng)景中其他的gameobj都是默認(rèn)的材質(zhì)。那么我們?yōu)榱瞬挥绊憆enderCamera的正常渲染绩聘，depthCamera如何不修改game obj的材質(zhì)但是又能使用上述的deptVisual-shader進(jìn)行深度圖提取呢沥割？方式就是RenderWithShader(Shader replaceShader, string replacementTag)
它需要兩個(gè)參數(shù)，頭一個(gè)是替換執(zhí)行的shader凿菩，很好理解，第二個(gè)是決定如何替換的規(guī)則帜讲，它一般都是使用"RenderType"衅谷。我們從unity doc可以知道每一個(gè)subshader都可以設(shè)置RenderTypeTags { "RenderType"="Opaque" }
這里rendertype的具體用法就是：replaceShader中所有RenderType的值 = originShader中RenderType的值的，都會(huì)進(jìn)行替換渲染似将，也就是本來(lái)用originShader subshader 渲染的获黔，因?yàn)閛riginShader subshader 的RenderType與replaceShader subshader的一致，渲染都改為使用replaceShader subshader在验。
假如第二個(gè)參數(shù) = "",則此攝像機(jī)本次渲染的所有物體都會(huì)使用replaceShader 進(jìn)行渲染玷氏。
replaceShader 中Tags { "RenderType"="Opaque" }，就是所有的不透明物體都是用replaceShader渲染一次腋舌。我們使用renderwithshader把所有不透明的物體進(jìn)行深度提日荡ァ（半透明物體的深度zwrite off）。
unity的官網(wǎng)里已經(jīng)有了相關(guān)代碼块饺，c# 代碼如下
using UnityEngine;
using System.Collections;
[RequireComponent(typeof(Camera))]
public class DepthRenderer : MonoBehaviour {
GameObject depthCamera=null;
Shader replacementShader=null;
// Use this for initialization
void Start ()
{
depthCamera=new GameObject();
depthCamera.AddComponent<Camera>();
depthCamera.camera.enabled=false;
depthCamera.hideFlags=HideFlags.HideAndDontSave;
depthCamera.camera.CopyFrom(camera);
depthCamera.camera.cullingMask=1<<0; // default layer for now
depthCamera.camera.clearFlags=CameraClearFlags.Depth;
replacementShader=Shader.Find("RenderDepth");
if (replacementShader==null)
{
Debug.LogError("could not find 'RenderDepth' shader");
}
}
// Update is called once per frame
void OnPreRender ()
{
if (replacementShader!=null)
{
Camera camCopy=depthCamera.camera;
// copy position and location;
camCopy.transform.position=camera.transform.position;
camCopy.transform.rotation=camera.transform.rotation;
camCopy.RenderWithShader(replacementShader, "RenderType");
}
}
}
depthCamera 設(shè)置為false是為了手動(dòng)RenderWithShader赞辩， 所以渲染深度圖的時(shí)機(jī)就可以自己控制了啊Ｊ诩琛１嫠浴！淮腾！
tips -- 因?yàn)樯疃葓D是灰度圖糟需，假如渲染出來(lái)的rt全是default color，那么有可能是camera的遠(yuǎn)近裁剪面太大谷朝，導(dǎo)致顏色看不清楚洲押，可以自行修改裁剪面的值進(jìn)行測(cè)試
4. UNITY 的Graphics API介紹 & Depth Stencil Test 注意事項(xiàng)
使用unity進(jìn)行image post effect時(shí)，我們會(huì)遇到大量的Graphics Api徘禁，記錄幾個(gè)常用的
Graphics .Blit(Texture source, RenderTexture dest, Material mat)
Blit其實(shí)姐可以理解為遍歷source所有像素诅诱，使用mat的shader進(jìn)行處理后，拷貝到dest中去送朱。它的實(shí)現(xiàn)方法我猜就是正交投影下繪制一個(gè)覆蓋整個(gè)相機(jī)的長(zhǎng)方體娘荡，然后通過(guò)已有數(shù)據(jù)進(jìn)行處理干旁。
可以肯定的是
Blit sets dest as the render target, sets source _MainTex property on the material, and draws a full-screen quad.
_MainTex 使用的數(shù)據(jù)來(lái)自source，寫(xiě)入的位置肯定是dest炮沐，當(dāng)dest = null的時(shí)候争群，寫(xiě)入幀緩存。
當(dāng)mat存在模板測(cè)試代碼的時(shí)候大年，參考的模板數(shù)據(jù)來(lái)自dest换薄，畢竟每個(gè)rendertexture都可能同時(shí)存在colorbuffer & depthbuffer
Graphics.Blit(Texture source, Material mat）
這個(gè)函數(shù)還有一個(gè)重要的重載的形式，如上
它的寫(xiě)入目標(biāo)是Graphics.activeColorBuffer翔试。depth & stencil buffer使用的是Graphics.activeDepthBuffer轻要。
因此，我們使用這個(gè)方法的時(shí)候一定要設(shè)置好渲染目標(biāo)
Graphics.SetRenderTarget(rt1.colorBuffer, rt2.depthBuffer);
這個(gè)api控制接下來(lái)的blit渲染中color 以及 depth & stencil buffer使用不同rt的數(shù)據(jù)垦缅，寫(xiě)入color的目標(biāo)是rt1冲泥，測(cè)試使用的depth buffer的數(shù)據(jù)來(lái)源是rt2（當(dāng)然zwrite 打開(kāi)我認(rèn)為rt2深度數(shù)據(jù)也會(huì)修改，待測(cè)）
這個(gè)api感覺(jué)android不能用壁涎，也就是不能分開(kāi)設(shè)置rendertarget
講一個(gè)關(guān)于模板測(cè)試的例子
// source 中模板已經(jīng)有數(shù)據(jù)了凡恍，現(xiàn)在希望對(duì)模板中特殊值的像素進(jìn)行顏色xxx的后處理，那么就是
OnRenderImage(RenderTexture source, RenderTexture destination)
Graphics.Blit(source, TempBuffer);
Graphics.Blit(TempBuffer, source怔球，PostRender); // 假設(shè)postrender會(huì)進(jìn)行模板測(cè)試
原因就是blit中_MainTex使用的是TempBuffer嚼酝，然而深度測(cè)試 & 模板測(cè)試數(shù)據(jù)使用的是source，先把TempBuffer的顏色拷貝過(guò)來(lái)
一般的blit后處理深度測(cè)試都關(guān)了竟坛，我猜測(cè)depth 打開(kāi)的話(huà)使用的也是dest的深度buffer闽巩，沒(méi)有印證過(guò)
吭哧吭呲寫(xiě)了這么多，累死了...........demo 的空我傳到GitHub上流码。如有紕漏之處又官，請(qǐng)多多指教
曾慮多情損梵行，入山又恐別傾城漫试。
世間安得雙全法六敬，不負(fù)如來(lái)不負(fù)卿。
