中科院自動化所（CASIA），中科院大學(xué)和南昌大學(xué)的一項合作研究，提出了雙路徑 GAN（TP-GAN）愿吹，通過單一側(cè)面照片合成正面人臉圖像，取得了當(dāng)前較好的結(jié)果惜姐。研究人員提出了一個像人類一樣能夠考慮整體和局部信息的 GAN 結(jié)構(gòu)犁跪，合成的圖像非常逼真且很好地保留了身份特征，并且可以處理大量不同姿勢的照片歹袁。研究人員指出坷衍，這些合成的圖像有可能用于人臉分析的任務(wù)。
他們受人類視覺識別過程啟發(fā)条舔，結(jié)合對抗生成網(wǎng)絡(luò)（GAN）的強大性能枫耳，提出了一個雙路徑 GAN（TP-GAN），能夠在關(guān)注整體結(jié)構(gòu)的同時孟抗，處理人臉面部細(xì)節(jié)迁杨，在不同的角度钻心、光照條件都取得了很好的結(jié)果。不僅如此铅协，這種方法還能夠處理大量不同姿勢的照片捷沸。
他們的這項工作主要貢獻(xiàn)在于三個方面：
1）提出了一個像人類一樣能夠考慮整體和局部信息的 GAN 結(jié)構(gòu)，能夠根據(jù)單一的圖像合成正面人臉視圖狐史，合成的圖像非常逼真且很好地保留了身份特征痒给，而且可以應(yīng)對大量不同的姿勢。
2）將從數(shù)據(jù)分布（對抗訓(xùn)練）得來的先驗知識预皇，和人臉領(lǐng)域知識（對稱性侈玄、身份保留損失）結(jié)合起來，將從三維物體投射到二維圖像空間時固有的缺失信息較精確地恢復(fù)了出來吟温。
3）展示了一個“通過生成進(jìn)行識別”（recognition via generation）的框架的可能性序仙，并且在大量不同姿勢下取得了目前較好的識別結(jié)果。
受此啟發(fā)鲁豪，作者提出了一個有兩條路徑的深度架構(gòu)（TP-GAN）潘悼，用于正面人臉圖像合成。這兩條路徑爬橡，一條專注于推理全局結(jié)構(gòu)治唤，另一條則推理局部的紋理，分別得到兩個特征地圖糙申。這兩個特征圖會融合在一起宾添，用于接下來的最終合成。
TP-GAN總結(jié)構(gòu)示意圖柜裸。生成器包含兩個路徑缕陕，一個處理全局信息，一個處理局部變換疙挺。判別器在合成的正面（SF）視圖和真實相片（GT）扛邑。
不僅如此，作者還將正面人臉分布的信息并入了一個生成對抗網(wǎng)絡(luò)（GAN）铐然，由此對恢復(fù)過程進(jìn)行了很好的約束蔬崩。
GAN 在二維數(shù)據(jù)分布建模方面的卓越性能（capacity）極大地改善了很多不合理的低級視覺問題，比如超分辨率和修復(fù)（inpainting）搀暑。
組合多種Loss沥阳，合成缺失部分，保留面部突出特征自点。
根據(jù)人臉是對稱結(jié)構(gòu)這一點沪袭，提出了一個對稱性損失（symmetry loss），用于補全被遮擋住的部分。
困難場景冈绊。面部特征侠鳄，包括胡須、眼鏡死宣，TP-GAN 都保留了下來伟恶。最右邊一欄，上面那張圖將臉頰恢復(fù)了出來毅该，下面那張圖則是側(cè)面看不見額頭博秫，但 TP-GAN 成功地將額頭恢復(fù)了出來。
為了忠實地保留一個人臉部最突出的特征眶掌，作者在壓縮特征空間中除了像素級別的L1 loss挡育，還使用了一個感知損失（perceptual loss）。
最后朴爬，關(guān)鍵一環(huán)即寒，將身份保留損失（identity preserving loss）整合進(jìn)來，實現(xiàn)忠實的正面臉部合成召噩，圖像質(zhì)量得到大幅提升母赵。
TP-GAN 根據(jù)不同姿勢合成的結(jié)果。從左到右：90°具滴、75°凹嘲、45°、60°构韵、30°和 15°周蹭。最后一欄是真實相片。
使用單一臉部圖像合成逼真的正面臉部視圖在人臉識別領(lǐng)域中有著廣泛的應(yīng)用疲恢。盡管此前有研究試圖從大量面部數(shù)據(jù)中尋求解決方案凶朗，也即數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法，但這個問題仍然具有挑戰(zhàn)性冈闭，因為它本質(zhì)上是個不合理的問題（ill-posed）。
