使用條件對(duì)抗生成網(wǎng)絡(luò)的人臉老化
摘要：
最近對(duì)抗生成網(wǎng)絡(luò)表明它可以生成具有非凡的視覺(jué)忠實(shí)度圖片松申。在本文中，我們提出了基于對(duì)抗生成網(wǎng)絡(luò)的方法來(lái)自動(dòng)的進(jìn)行人臉老化盖淡。與之前的文獻(xiàn)使用對(duì)抗生成網(wǎng)絡(luò)來(lái)轉(zhuǎn)換臉部的屬性相反桶至，我們特別強(qiáng)調(diào)在老化的他/她的人臉上保留原始的人臉身份信息具壮。為此，我們引入了新的方法來(lái)對(duì)對(duì)抗生成網(wǎng)絡(luò)的隱藏向量進(jìn)行身份保留優(yōu)化梯刚。通過(guò)先進(jìn)的人臉識(shí)別和年齡估計(jì)方案對(duì)于生成的老化和變年輕的人臉圖片的評(píng)估表明提出的方法具有很大的潛力凉馆。
全文：https://arxiv.org/abs/1702.01983
這篇文章提出的人臉老化的GAN的架構(gòu)如下：
生成老化的人臉的部分，就是右邊部分(b)亡资，就是一個(gè)條件GAN的形式澜共，輸入人臉的特征feature map z，以及年齡標(biāo)簽y锥腻，以此生成對(duì)應(yīng)年齡標(biāo)簽的老化的人臉嗦董。文章并沒(méi)有把重點(diǎn)落在優(yōu)化生成的圖片上，而是落腳這個(gè)輸入的人臉特征z上瘦黑。
GAN本身優(yōu)化的loss如下
其中y為年齡標(biāo)簽京革，他們將年齡分成6組奇唤，分別對(duì)應(yīng)年齡的區(qū)間0-18，19-29,30-39,40-49,50-59和60歲以上匹摇。所以上面的y標(biāo)簽為6*1的向量咬扇。
然后重點(diǎn)落在了特征保留的提取上，在預(yù)訓(xùn)練的GAN中廊勃，給出feature map和y標(biāo)簽懈贺，就能生成feature map對(duì)應(yīng)的人的y對(duì)應(yīng)年齡的圖片。但作者要求對(duì)于原始的輸入人臉圖x提取的feature map和其對(duì)應(yīng)的y0標(biāo)簽坡垫，同樣在generator中梭灿，能重構(gòu)該人y0年齡的原始的圖片。也就是上圖結(jié)構(gòu)中的Encoder葛虐，這個(gè)Encoder來(lái)獲取feature map胎源，并通過(guò)優(yōu)化如下問(wèn)題：
來(lái)確保輸入的x，和重構(gòu)的x（應(yīng)該是上劃線的）提取特征是保持一致的屿脐。而優(yōu)化上述問(wèn)題采用的是L-BFGS-B算法（見(jiàn)論文Richard H Byrd, Peihuang Lu, Jorge Nocedal, and Ciyou Zhu, “A limited memory algorithm for bound constrained optimization,” SIAM Journal on Scientific Computing, vol. 16, no. 5, pp. 1190–1208, 1995.）
論文實(shí)驗(yàn)使用的數(shù)據(jù)集是IMDB-Wiki cleaned數(shù)據(jù)集（來(lái)源Grigory Antipov, Moez Baccouche, Sid-Ahmed Berrani, and Jean-Luc Dugelay, “Apparent age estimation from face images combining general and children-specialized deep learning models,” in Proceedings of Computer Vision and Pattern Recognition Workshops, Las Vegas, USA, 2016.）
實(shí)驗(yàn)設(shè)計(jì)首先驗(yàn)證的是身份保留的問(wèn)題涕蚤，采用的OpenFace軟件（https://cmusatyalab.github.io/openface/），這個(gè)軟件是判定兩個(gè)給定的人臉是否屬于同一個(gè)人的诵，以此來(lái)判斷重構(gòu)的和原始的人臉是否一致万栅。然后文章給出了部分人臉老化或者年輕化的結(jié)果。
結(jié)論是西疤，可以研究融合逐像素的身份保留方法和文中的身份保留的方法烦粒，以取得更好的重構(gòu)效果，來(lái)提升人臉老化后代赁，保留原始人臉身份信息的能力扰她。
