0. 初識圖形API
OpenGL
(Open Graphics Library)是?個跨編程語?言、跨平臺的編程圖形程序接?口哆料,它將計算機的資源抽象稱為?個OpenGL
的對象缸剪,對這些資源的操作抽象為?個的OpenGL
指令。
OpenGL ES
(OpenGL for Embedded Systems)是 OpenGL
三維圖形 API 的?子集东亦,針對?手機杏节、 PDA和游戲主機等嵌?入式設(shè)備?而設(shè)計,去除了了許多不不必要和性能較低的API接?口讥此。
DirectX
是由很多API組成的拢锹,DirectX
并不不是?個單純的圖形API. 最重要的是DirectX
是屬于 Windows上?個多媒體處理理API。并不支持Windows以外的平臺萄喳,所以不是跨平臺框架卒稳, 按照性 質(zhì)分類,可以分為四?大部分他巨,顯示部分充坑、聲?音部分、輸?入部分和?網(wǎng)絡(luò)部分染突。
Metal
: Apple為游戲開發(fā)者推出了了新的平臺技術(shù)Metal
捻爷,該技術(shù)能夠為 3D 圖像提?高 10 倍的渲染性能。Metal
是Apple為了了解決3D渲染?而推出的框架份企。
1. OpenGL狀態(tài)機
狀態(tài)機可以理解為一臺可以保存狀態(tài)也榄,并根據(jù)當前狀態(tài)進行相應輸出的機器。
核心要點:
- 記憶功能司志,保存當前狀態(tài)
- 接收輸入甜紫,修改當前狀態(tài),或根據(jù)當前狀態(tài)進行輸出
- 當進?特殊狀態(tài)(停機狀態(tài))時骂远,不再接收輸?囚霸,停?工作
2. OpenGL上下文(context)
在應?程序調(diào)?任何OpenGL
的指令之前,首先需要創(chuàng)建?個OpenGL
的上下?文激才。這個上下?是?個?常龐?的狀態(tài)機拓型,保存了了OpenGL
中的各種狀態(tài),這也是OpenGL
指令執(zhí)?的基礎(chǔ)瘸恼。
OpenGL
的函數(shù)不管在哪個語?中劣挫,都是類似C語?一樣的面向過程的函數(shù)。本質(zhì)上都是對OpenGL
上下?這個龐?的狀態(tài)機中的某個狀態(tài)或者對象進行操作东帅。通過對 OpenGL
指令的封裝揣云,可以將OpenGL
的相關(guān)調(diào)?封裝成為?個?向?qū)ο蟮膱D形API。
由于OpenGL
上下?是?個巨?大的狀態(tài)機冰啃,切換上下文往往會產(chǎn)生較?的開銷邓夕,但是不同的繪制模塊刘莹,可能需要使?完全獨立的狀態(tài)管理。因此焚刚,可以在應?程序中分別創(chuàng)建多個不同的上下文点弯,在不同線程中使?不同的上下文,上下?之間共享紋理矿咕、緩沖區(qū)等資源抢肛。這樣的?方案,會?比反復切換上下?碳柱,或者?量修改渲染狀態(tài)捡絮,更加合理高效。
核心要點:
-
OpenGL
指令執(zhí)?的基礎(chǔ)莲镣,是?個?常龐?的狀態(tài)機福稳。 -
OpenGL
上下文切換開銷大。雖然可能使用多個上下文瑞侮,但上下文之間會共享紋理的圆、緩沖區(qū)等資源。 -
OpenGL
的函數(shù)雖然是面向過程的半火,但可以把相關(guān)的調(diào)用封裝為面向過程的圖形API越妈。
3. 渲染
將圖形/圖像數(shù)據(jù)轉(zhuǎn)換成3D空間圖像操作叫做渲染(Rendering)。
4. 頂點數(shù)組和頂點緩沖區(qū)
頂點數(shù)據(jù)就是圖像的輪廓钮糖。OpenGL
中的圖像都是由圖元組成梅掠。在OpenGL ES
中,有3種類型的圖元:點店归、線瓤檐、三?形。
在調(diào)?繪制?法的時候娱节,直接由內(nèi)存?zhèn)魅腠旤c數(shù)據(jù),也就是說這部分數(shù)據(jù)之前是存儲在內(nèi)存當中的祭示,被稱為頂點數(shù)組(VertexArray)肄满。
?性能更高的做法是,提前分配?塊顯存质涛,將頂點數(shù)據(jù)預先傳?到顯存當中稠歉。這部分的顯存,就被稱為頂點緩沖區(qū)(VertexBuffer)汇陆。
核心要點:
- 3種類型的圖元:點怒炸、線、三?形毡代。
- 頂點數(shù)組(VertexArray)在內(nèi)存中阅羹。
- 頂點緩沖區(qū)(VertexBuffer)在緩存中勺疼。
5. 管線
在OpenGL
下渲染圖形,就會經(jīng)歷?個?個的節(jié)點捏鱼。而這樣的操作可以理理解管線执庐。就像一個流?線,任務按照先后順序依次執(zhí)行导梆。管線是?個抽象的概念轨淌,之所以稱之為管線是因為顯卡在處理數(shù)據(jù)的時候是按照一個固定的順序來的,而且嚴格按照這個順序看尼。
核心要點:
- 任務嚴格按順序依次執(zhí)行递鹉。
6. 固定管線/存儲著色器
在早期的OpenGL
版本,封裝了多種著色器程序塊藏斩,內(nèi)置了一段包含了光照躏结、坐標變換、裁剪等諸多功能的固定shader程序來完成灾茁。來幫助開發(fā)者來完成圖形的渲染窜觉。開發(fā)者只需要傳入相應的參數(shù),就能快速完成圖形的渲染北专。類似于iOS開發(fā)會封裝很多API禀挫,而我們只需要調(diào)?,就可以實現(xiàn)功能拓颓,不需要關(guān)注底層實現(xiàn)原理语婴。
但是由于OpenGL
的使?場景?常豐富,固定管線或存儲著?器?法完成每一 個業(yè)務驶睦,這時將相關(guān)部分開放成可編程砰左。
核心要點:
- 早期的
OpenGL
版本封裝的輔助快速開發(fā)的著色器程序塊。 - 由于提供的功能有限场航,后期變成了可編程的形式缠导。
7. 著?器程序(Shader)
將固定渲染管線架構(gòu)變?yōu)榱丝删幊啼秩竟芫€。
OpenGL
在實際調(diào)?繪制函數(shù)之前溉痢,還需要指定?個由shader編譯成的著色器程序僻造。常見的著?器主要有頂點著?器(VertexShader),?段著?器(FragmentShader)/像素著?器(PixelShader)孩饼,幾何著?(GeometryShader)髓削,曲?細分著?器(TessellationShader)。片段著?器和像素著?器只是在OpenGL
和DX
中的不同叫法而已镀娶×⑻牛可惜的是,直到OpenGL ES 3.0
梯码,OpenGL ES
依然只?持頂點著?器和片段著?器這兩個最基礎(chǔ)的著?器宝泵。
OpenGL
在處理理shader時好啰,和其他編譯器一樣。通過編譯鲁猩、鏈接等步驟坎怪,?成了著?器程序(glProgram),著?器程序同時包含了頂點著?器和?段著?器的運算邏輯廓握。在OpenGL
進行繪制的時候搅窿,?先由頂點著?器對傳?的頂點數(shù)據(jù)進?運算。再通過圖元裝配隙券,將頂點轉(zhuǎn)換為圖元男应。然后進?光柵化,將圖元這種?量圖形娱仔,轉(zhuǎn)換為柵格化數(shù)據(jù)沐飘。最后,將柵格化數(shù)據(jù)傳入?段著?器中進?運算牲迫。?段著?器會對柵格化數(shù)據(jù)中的每一個像素進行運算耐朴,并決定像素的顏?。
核心要點:
- 將固定渲染管線架構(gòu)變?yōu)榱丝删幊啼秩竟芫€盹憎。
- 常見的著?器主要有頂點著?器筛峭,?段著?器/像素著?器,幾何著?陪每,曲?細分著?器影晓。
-
OpenGL ES
只?持頂點著?器和片段著?器。 -
OpenGL
通過編譯檩禾、鏈接等步驟挂签,將?成著?器程序。 - 在
OpenGL
進行繪制的時候盼产,由頂點著?器對傳?的頂點數(shù)據(jù)進?運算饵婆。再通過圖元裝配,將頂點轉(zhuǎn)換為圖元戏售。之后進?光柵化侨核,將圖元這種?量圖形,轉(zhuǎn)換為柵格化數(shù)據(jù)蜈项。最后,將柵格化數(shù)據(jù)傳入?段著?器中進?運算续挟。?段著?器會對柵格化數(shù)據(jù)中的每一個像素進行運算紧卒,并決定像素的顏?。
7.1 頂點著?器(VertexShader)
頂點著?器是OpenGL
中?于計算頂點屬性的程序诗祸。
?般來說典型的需要計算的頂點屬性主要包括頂點坐標變換跑芳、逐頂點光照運算等等轴总。頂點坐標由?身坐標系轉(zhuǎn)換到歸一化坐標系的運算,就是在這里發(fā)?的博个。
頂點著?器是逐頂點運算的程序怀樟,也就是說每個頂點數(shù)據(jù)都會執(zhí)?一次頂點著?器。當然這是并行的盆佣,并且頂點著?器運算過程中?法訪問其他頂點的數(shù)據(jù)往堡。
核心要點:
- ?般?來處理理圖形每個頂點變換(旋轉(zhuǎn)/平移/投影等)。
- 并行計算共耍,且運算過程中?法訪問其他頂點的數(shù)據(jù)虑灰。
7.2 片段著?器(FragmentShader)
?段著?器是OpenGL
中?于計算?段(像素)顏?的程序。一般?來處理圖形中每個像素點顏?計算和填充痹兜。
?段著?器是逐像素運算的程序穆咐,也就是說每個像素都會執(zhí)?一次?段著?器,當然也是并?的字旭。
核心要點:
- 一般?來處理圖形中每個像素點顏?計算和填充对湃。
- 并行計算,且運算過程中?法訪問其他頂點的數(shù)據(jù)遗淳。
8. GLSL(OpenGL Shading Language)
GLSL著色語?是?來在OpenGL
中著?編程的語?拍柒,是在圖形卡的GPU上執(zhí)?的。代替了固定的渲染管線的?部分洲脂,使渲染管線中不同層次具有可編程性斤儿。?如:視圖轉(zhuǎn)換、投影轉(zhuǎn)換等恐锦。GLSL(GL Shading Language)的著?器代碼分成2個部分: Vertex Shader(頂點著?器)和Fragment(?斷著?器)往果。
9. 光柵化(Rasterization)
光柵化就是把頂點數(shù)據(jù)轉(zhuǎn)換為片元的過程。具有將圖轉(zhuǎn)化為?個個柵格組成的圖象 的作?一铅,特點是每個元素對應幀緩沖區(qū)中的?像素陕贮。
光柵化其實是?種將?何圖元變?yōu)槎S圖像的過程。該過程包含了兩部分的?作潘飘。第?部分工作:決定窗?坐標中的哪些整型柵格區(qū)域被基本圖元占?肮之;第?部分?作:分配一個顏?值和?個深度值到各個區(qū)域。
把物體的數(shù)學描述以及與物體相關(guān)的顏色信息轉(zhuǎn)換為屏幕上用于對應位置的像素及?于填充像素的顏?卜录,這個過程稱為光柵化戈擒。這是?個將模擬信號轉(zhuǎn)化為離散信號的過程。
核心要點:
- 光柵化就是把頂點數(shù)據(jù)轉(zhuǎn)換為片元的過程艰毒。
- 該過程包含了兩部分的?作:①決定窗?坐標中的哪些整型柵格區(qū)域被基本圖元占?筐高;②分配一個顏?值和?個深度值到各個區(qū)域。
10. 紋理(Texture)
紋理可以理解為圖?。 在渲染圖形時需要在頂點圍成的區(qū)域中填充圖?柑土,使得場景更加逼真蜀肘。?這?使?的圖?,就是常說的紋理稽屏。只是在OpenGL
扮宠,我們更加習慣叫紋理,?不是圖?狐榔。
11. 混合(Blending)
在測試階段之后坛增,如果像素依然沒有被剔除,那么像素的顏?將會和幀緩沖區(qū)中顏?附著上的顏色進?混合荒叼,混合的算法可以通過OpenGL
的函數(shù)進行指定轿偎。但是OpenGL
提供的混合算法有限。如果需要更加復雜的混合算法被廓,一般可以通過片段著?器進?實現(xiàn)坏晦,當然性能會?原?的混合算法差?些。
12. 矩陣
12.1 變換矩陣(Transformation)
例如圖形想發(fā)?平移嫁乘、縮放昆婿、旋轉(zhuǎn)等變換,就需要使用變換矩陣蜓斧。
12.1 投影矩陣(Projection)
?于將3D坐標轉(zhuǎn)換為?維屏幕坐標仓蛆,實際線條也將在二維坐標下進行繪制。
13. 渲染上屏/交換緩沖區(qū)(SwapBuffer)
渲染緩沖區(qū)?般映射的是系統(tǒng)的資源?如窗?挎春。如果將圖像直接渲染到窗口對應的渲染緩沖區(qū)看疙,則可以將圖像顯示到屏幕上。
值得注意的是直奋,如果每個窗?只有?個緩沖區(qū)能庆,那么在繪制過程中屏幕進?了刷新,窗?可能顯示出不完整的圖像脚线。
為了解決這個問題搁胆,常規(guī)的OpenGL
程序?少都會有兩個緩沖區(qū)。顯示在屏幕上的稱為屏幕緩沖區(qū)邮绿,沒有顯示的稱為離屏緩沖區(qū)渠旁。在一個緩沖區(qū)渲染完成之后,通過將屏幕緩沖區(qū)和離屏緩沖區(qū)交換船逮,實現(xiàn)圖像在屏幕上顯示顾腊。
由于顯示器的刷新?般是逐?進?的,為了防?交換緩沖區(qū)的時候屏幕上下區(qū)域的圖像分屬于兩個不同的幀挖胃,交換一般會等待顯示器刷新完成的信號杂靶,在顯示器器兩次刷新的間隔中進?交換承耿,這個信號就被稱為垂直同步信號,這個技術(shù)被稱為垂直同步伪煤。
使用了雙緩沖區(qū)和垂直同步技術(shù)之后,由于總是要等待緩沖區(qū)交換之后再進?下?幀的渲染凛辣,使得幀率無法完全達到硬件允許的最??平抱既。為了解決這個問題,引?了三緩沖區(qū)技術(shù)扁誓。在等待垂直同步時防泵,來回交替渲染兩個離屏的緩沖區(qū),?垂直同步發(fā)?生時蝗敢,屏幕緩沖區(qū)和最近渲染完成的離屏緩沖區(qū)交換捷泞,實現(xiàn)充分利利?硬件性能的?的。
核心要點:
- 如果每個窗?只有?個緩沖區(qū)寿谴,若在繪制過程中屏幕進?了刷新锁右,窗?可能顯示出不完整的圖像。為了解決這個問題讶泰,常規(guī)的
OpenGL
程序?少都會有兩個緩沖區(qū)咏瑟。 - 垂直同步:由于顯示器的刷新?般是逐?進?的,為了防?交換緩沖區(qū)的時候屏幕上下區(qū)域的圖像分屬于兩個不同的幀痪署,交換一般會等待顯示器刷新完成的信號码泞,在顯示器器兩次刷新的間隔中進?交換,這個信號就被稱為垂直同步信號狼犯,這個技術(shù)被稱為垂直同步余寥。
- 三緩沖區(qū)技術(shù):使用了雙緩沖區(qū)和垂直同步技術(shù)之后,由于總是要等待緩沖區(qū)交換之后再進?下?幀的渲染悯森,使得幀率無法完全達到硬件允許的最??平宋舷。為了解決這個問題,引?了三緩沖區(qū)技術(shù)呐馆。在等待垂直同步時肥缔,來回交替渲染兩個離屏的緩沖區(qū),?垂直同步發(fā)?生時汹来,屏幕緩沖區(qū)和最近渲染完成的離屏緩沖區(qū)交換续膳,實現(xiàn)充分利利?硬件性能的?的。