Look at Boundary: A Boundary-Aware Face Alignment Algorithm
邊界感知的人臉對齊算法
邊界線作人臉的幾何結構，定位人臉關鍵點。
不像傳統(tǒng)的基于熱力圖和基于回歸的方法桦卒，本方法從邊界線找關鍵點浊洞，移除了模棱兩可的關鍵點地回。
問題在于：為什么要用邊界排宰，如何使用平夜，邊界估計和關鍵點定位的有什么關系？
使用300-W數(shù)據(jù)集的邊界信息嵌赠，可以在COFW和AFLW-Full數(shù)據(jù)集上的平均錯誤很小塑荒。
提出了新數(shù)據(jù)集，WFLW數(shù)據(jù)集聯(lián)合訓練和測試不同的條件下的人臉圖姜挺。
項目鏈接：https://wywu. github.io/projects/LAB/LAB.html
Intro
在各個標注不同的數(shù)據(jù)集中齿税，姿勢變化很大、遮擋嚴重時炊豪，需要一種有效的人臉對齊算法凌箕。
和人臉檢測和識別不同，人臉對齊確定人幾何結構词渤，使人臉被建模為高度結構化的輸出牵舱。
除了角點以外的人臉關鍵點在姿勢大幅變化和遮擋嚴重時，很難保證不變的語義定位缺虐。
唯一的人臉結構的推理是定位人臉關鍵點的關鍵芜壁，因為人臉就是唯一性的。
本文用13條邊界線表示人臉結構高氮，每一條邊界線都從不同數(shù)據(jù)集的足夠多的人臉關鍵點中插值得到慧妄，標注都是連續(xù)的。
邊界感知的人臉對齊算法包含兩階段：先估計人臉邊界熱力圖剪芍，后根據(jù)邊界熱力圖對關鍵點進行回歸塞淹。
不同數(shù)據(jù)集不同標注的關鍵點，都能用相同的邊界熱力圖的定義得到紊浩，關鍵點的定位準確度很高窖铡。
為探索到邊界線和關鍵點之間的關系，通過基于關鍵點的邊界線有效性判別器引入對抗學習坊谁，配之以邊界熱力圖估計器费彼。
邊界線熱力圖估計器、關鍵點回歸器和邊界有效判別器以段端到端的方式訓練口芍。
用沙漏網(wǎng)估計人臉邊界熱力圖箍铲，建模人臉邊界間的結構時用消息傳遞的方式，增強對遮擋的魯棒性。
邊界熱力圖作為關鍵點回歸器中引導特征學習的結構。
gt邊界熱力圖引導下的模型在300W上的測試結果為76.26%瞻惋，最好的方法為54.85%，說明邊界熱力圖中的信息很充分翘瓮。
為充分利用結構信息，在關鍵點回歸網(wǎng)絡中的多階段使用邊界熱力圖裤翩，階段越多资盅，關鍵點預測越準確。
為統(tǒng)一評估結果，提出新數(shù)據(jù)集WFLW（wider facial landmarks in-the-wild）呵扛，其中包含1w張圖片每庆，每圖片都標注有98個關鍵點和6個屬性（姿態(tài)、表情今穿、化妝缤灵、光照、模糊蓝晒、遮擋變化）腮出。
Related
- 坐標回歸模型
- 熱力圖回歸模型
邊界感知的人臉對齊
關鍵點表示準確通用的人臉結構比較困難，因此采用人臉邊界線的幾何結構表示芝薇，并用來回歸關鍵點利诺。
邊界很詳細，有定義好的結構描述剩燥，在頭部姿勢和數(shù)據(jù)集中都連續(xù)。
因為大多數(shù)關鍵點都是沿著邊界線的立倍，所以說邊界線也和關鍵點緊密相關灭红。
幾何結構表示法有采用人臉各個部分的（但人臉部分太粗略了）；
有的用人臉解析結果口注，分離人臉各個組分变擒，用邊界連接起來形成一個閉環(huán)（但如鼻子這樣的器官融入到整個人臉中，要分離就不準確了）寝志。
相反娇斑，邊界線不一定要閉環(huán)，它在表示幾何結構中可以更靈活材部，邊界線是輔助關鍵點坐標回歸的最好方法毫缆。
邊界感知的人臉對齊框架由三個緊密關聯(lián)的組件構成：邊界感知的關鍵點回歸器、邊界熱力圖估計器乐导，和基于關鍵點的邊界有效性鑒別器苦丁。
回歸器用多階段方式吸收邊界信息，預測關鍵點坐標物臂；
估計器將邊界熱力圖作為人臉幾何結構旺拉，因為邊界信息被大量使用，所以邊界熱力圖的質量對最終的關鍵點回歸有重要作用棵磷。
鑒別器引入對抗學習蛾狗，輔之以估計器，鑒別器進一步提升了邊界熱力圖的質量仪媒，更好地預測關鍵點坐標沉桌。
【1】邊界感知的關鍵點回歸器
res18作為baseline。
在輸入和網(wǎng)絡的每個階段都融合邊界熱力圖：
- 融合輸入圖
- 融合特征圖
【2】邊界熱力圖估計器
- 層內消息傳遞：每個stack的底部之間傳遞不同邊界熱力圖的消息
- 層間消息傳遞：stack低層傳向高層
【3】邊界有效性鑒別器
提升生成邊界熱力圖的有效性
【4】跨數(shù)據(jù)集的人臉對齊
人臉邊界作為一種中級人臉幾何表示，用來訓練不帶有詳細關鍵點定義的人臉關鍵點回歸器蒲牧。
