前文中，對(duì)3DMM方法進(jìn)行了初步介紹藏雏，本章將針對(duì)如下幾個(gè)方面對(duì)其進(jìn)行詳細(xì)闡述：
1.3DMM方法介紹
2.BFM數(shù)據(jù)庫(kù)介紹
3DMM是一種較為基礎(chǔ)的三維人臉統(tǒng)計(jì)模型拷况，最早被提出是用于解決從二維人臉圖像恢復(fù)三維形狀的問題。在3DMM方法發(fā)展的二十年來掘殴，各位學(xué)者對(duì)其進(jìn)行了數(shù)據(jù)擴(kuò)展和深入研究赚瘦，又由于神經(jīng)網(wǎng)絡(luò)廣泛使用，使得3DMM參數(shù)優(yōu)化得到簡(jiǎn)化奏寨，基于3DMM方法的三維重建文章層出不窮起意。但此類方法基于一組人臉形狀和紋理的統(tǒng)計(jì)模型來表示任意一張人臉，仍然存在重建人臉判別性較差病瞳，參數(shù)求解難的問題揽咕，目前也是學(xué)術(shù)界研究的重點(diǎn)方向悲酷。
1.3DMM方法介紹
這一部分主要介紹傳統(tǒng)3DMM方法
前提所有三維人臉是已經(jīng)進(jìn)行稠密對(duì)齊(3D face registration)的，即所有的三維人臉都能用相同的點(diǎn)云數(shù)或面片數(shù)來表示亲善，且相同序號(hào)的點(diǎn)代表相同的語義舔涎，例如對(duì)每一個(gè)人臉形狀基第2217個(gè)面片頂點(diǎn)都是左外眼角點(diǎn)（BFM2017數(shù)據(jù)庫(kù)）。在稠密對(duì)齊的情況下逗爹，文章提出每個(gè)帶紋理的三維人臉都能用如下公式表示：
亡嫌，? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2.1）
，? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2.2）? ? ? ? ? ?
其中和
表示人臉平均形狀和平均紋理部分掘而，每張人臉的判別特性體現(xiàn)在加號(hào)右邊一組基的線性組合挟冠，
和
分別表示按照特征值降序排列的協(xié)方差陣的特征向量。這也是3DMM的關(guān)鍵袍睡。在文章中知染，作者采集了200個(gè)三維人臉的頭部，用這組數(shù)據(jù)作為PCA（主成分分析）的基礎(chǔ)斑胜，來獲得能代表人臉形狀和紋理信息的主成分即
和
控淡。
求解過程，實(shí)際就是對(duì)參數(shù)和
的求解止潘。在文中作者告訴我們這兩組系數(shù)的分布滿足
掺炭，其中
是形狀協(xié)方差陣的特征值。
滿足多元正態(tài)分布凭戴。
同理涧狮。
接下來是如何用這組統(tǒng)計(jì)模型與一張或多張二維圖片進(jìn)行匹配，獲得圖片上人臉的三維形狀和紋理么夫。在99年的論文中者冤，作者采用一種分析合成方法（analysis-by-synthesis），主要思想在于档痪，將3D模型和一組渲染參數(shù)一起優(yōu)化涉枫，使他們產(chǎn)生的圖片盡可能的接近輸入圖片。首先算法先根據(jù)現(xiàn)有參數(shù)產(chǎn)生一個(gè)帶紋理的3D人臉腐螟，渲染出一張2D圖片愿汰，根據(jù)原圖片與渲染圖片的殘差更新參數(shù)。
模型參數(shù)：
和
是確定人臉形狀和紋理的系數(shù)遭垛，渲染參數(shù)
包含相機(jī)位置（方向角尼桶，仰角）操灿，目標(biāo)尺度锯仪，圖像平面旋轉(zhuǎn)和平移，環(huán)境光強(qiáng)度
趾盐，直射光強(qiáng)度
庶喜。其余參數(shù)小腊，如相機(jī)距離，光照方向和表面反照率保持估計(jì)值不變久窟。
使用透視投影和Phong光照模型秩冈，從參數(shù)渲染彩色圖片，此時(shí)重建圖片在歐氏距離上應(yīng)該盡可能與輸入圖片接近斥扛，有如下公式
? ? ? ? ? ? ? ? ? ? ? ? ? (2.3)
同時(shí)由于從2D圖片重建三維是一個(gè)病態(tài)問題入问，為了避免出現(xiàn)不像人臉的重建結(jié)果，對(duì)參數(shù)設(shè)置了一定的約束稀颁，因此重建方法是質(zhì)量和先驗(yàn)概率的折中芬失。
根據(jù)貝葉斯決策，問題變成找到擁有最大后驗(yàn)概率的參數(shù)集合匾灶±饫茫考慮輸入圖片可能帶有噪聲，我們進(jìn)一步假設(shè)觀測(cè)圖片
滿足如下概率阶女，
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (2.4)
其中代表高斯噪聲的標(biāo)準(zhǔn)差颊糜，于是最大后驗(yàn)概率可以通過最小化代價(jià)函數(shù)獲得
? ? ? ? (2.5)
在求解形狀參數(shù)時(shí)采用隨機(jī)梯度下降算法，隨機(jī)選擇一組面片（文中40張一組秃踩，在此過程中隨機(jī)采樣的面片若被遮擋衬鱼，其權(quán)值設(shè)為0）對(duì)任意的
求一階偏導(dǎo)則
，參數(shù)更新為原參數(shù)減去學(xué)習(xí)率與梯度的乘積憔杨。文中對(duì)每個(gè)面片的紋理和3D位置的處理是直接由面片的三個(gè)角點(diǎn)的平均值得到的馁启。
在后續(xù)的研究中，很多工作都致力于優(yōu)化求解方法芍秆，例如加入contour惯疙、silhouette和特征點(diǎn)信息作為約束，或利用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行求解妖啥，使得參數(shù)求解速度更快霉颠。
2.BFM數(shù)據(jù)庫(kù)
BFM數(shù)據(jù)庫(kù)的提出有效擴(kuò)大了3DMM的適用場(chǎng)景，BFM可以擬合任意三維人臉并保存3DMM參數(shù)荆虱。有兩個(gè)版本09版和17版蒿偎，在這里只對(duì)17版（17版論文）進(jìn)行說明。相比于09版怀读，針對(duì)表情基進(jìn)行了優(yōu)化诉位。
BFM提供了一組形狀，表情菜枷，紋理的基苍糠，且可以根據(jù)改變參數(shù)來改變?nèi)四樀哪挲g肥胖程度，其中形狀基為一個(gè)199*n維的主成分啤誊，以及199*1維的主成分均方誤差岳瞭。紋理的基和形狀基維度相同拥娄，表情基有100*n維主成分和100*1維均方誤差相較09版的20維有所增加。
