Robust Face Recognition with Deeply Normalized Depth Images
https://arxiv.org/pdf/1805.00406.pdf
摘要
本文是將具有姿態(tài)和表情的深度圖像規(guī)范化到正向姿態(tài)和自然表情慧邮，并且從這個(gè)規(guī)范化后的深度圖像中提取魯棒信息傻寂。
網(wǎng)絡(luò)結(jié)構(gòu)有兩個(gè)，一個(gè)規(guī)范姿態(tài)表情網(wǎng)絡(luò)和一個(gè)特征提取網(wǎng)絡(luò)巾钉。
規(guī)范網(wǎng)絡(luò)首先將輸入的深度圖像轉(zhuǎn)換成HHA圖像，進(jìn)而重建3D face，在從重建后的3D face 中得到相應(yīng)的pose-and-expression深度圖像。特征提取網(wǎng)絡(luò)進(jìn)而進(jìn)行臉部識(shí)別春哨。
網(wǎng)絡(luò)結(jié)構(gòu)
其中
提出的方法
- 深度圖像轉(zhuǎn)換成HHA圖像
- 從HHA圖像回歸姿態(tài)赴背、形狀和表情參數(shù)。
- 利用3DMM表示一個(gè)參數(shù)人臉莫其。
- 從參數(shù)人臉的shape參數(shù)生成一張規(guī)范化的深度圖像癞尚。
- 通過重建人臉并規(guī)范化，得到了一張完整和去噪的深度圖像
- 最后通過這個(gè)深度圖像進(jìn)行人臉識(shí)別乱陡。
HHA圖像包含有更多的信息。
下面是深度圖像轉(zhuǎn)HHA圖像的代碼：
https://github.com/s-gupta/rcnn-depth/blob/master/rcnn/saveHHA.mBFM作為形狀基仪壮，facewarehouse作為表情基
用尺度憨颠、旋轉(zhuǎn)、平移七個(gè)參數(shù)構(gòu)建投影矩陣积锅，將3Dface投影到2D上
規(guī)范化深度圖像只是采用了shape參數(shù)爽彤，將pose和expression參數(shù)都設(shè)為0.
實(shí)現(xiàn)細(xì)節(jié)
loss
共有兩個(gè)loss，一個(gè)是比較重建后的3DMM參數(shù)和ground truth的L2loss. 另一個(gè)是識(shí)別身份的loss缚陷，例如softmax loss
訓(xùn)練集
300W-LP dataset 用來預(yù)訓(xùn)練一個(gè)規(guī)范網(wǎng)絡(luò)适篙，因?yàn)樗?DMM參數(shù)信息。它首先是用300W-LP的3Dface投影得到深度圖像箫爷。這樣就有了成對(duì)數(shù)據(jù)嚷节，可以有監(jiān)督進(jìn)行訓(xùn)練。
Lock3DFace用來微調(diào)規(guī)范網(wǎng)絡(luò)虎锚，因?yàn)檫@個(gè)數(shù)據(jù)集沒有3DMM參數(shù)信息硫痰，因此他先基于顏色圖像的landmark進(jìn)行3Dface重建，這樣就得到了具體的參數(shù)窜护。
Landmark-based 3D face reconstruction from an arbitrary number of unconstrained images
FRGC用來微調(diào)LIghtCNN
結(jié)果
重建結(jié)果：
亮點(diǎn)
- HHA
- 構(gòu)造數(shù)據(jù)集
