ArcFace: Additive Angular Margin Loss for Deep Face Recognition pdf
多分類器
Margin-Loss, Intra-Loss, Inter-Loss 輸入樣本一個(gè)沮协，后接softmax多分類，最后的全卷積層權(quán)重Wj對(duì)應(yīng)超球空間中一個(gè)類別的centre特恬。
- intra-loss是當(dāng)前樣本embedding feature 向量
跟類別centre
之間夾角的batchsize求均值。
- inter-loss是當(dāng)前樣本
對(duì)應(yīng)的類別centre
and
,
是類別的個(gè)數(shù)。
- margin-loss是當(dāng)前樣本embedding feature
之間的角度均值。
基于Matching（distance）
- Triplet-loss輸入樣本對(duì)（共3個(gè)樣本翼虫，其中2個(gè)屬于同一類），不進(jìn)行多分類屡萤，沒(méi)有softmax-loss珍剑，僅僅對(duì)輸入的3個(gè)embedding feature vectors根據(jù)距離函數(shù)計(jì)算距離，loss使得該輸入樣本的類內(nèi)距離比類間距具有margin間隔死陆。
- 學(xué)習(xí)類間間隔
招拙，使得類間更加分離；
- 學(xué)習(xí)feature embedding
- 略去arccos+angular margin懲罰的NS，所學(xué)習(xí)到的embedding feature的統(tǒng)計(jì)中心
和類別中心
- 類內(nèi)loss減小類內(nèi)角度的同時(shí)也減小了類間，效果不好
- 類間loss增大類間的同時(shí)也增大了類內(nèi)掠械，效果不好（loss直接更新
由缆，間接影響embedding feature
的生成）
- Triplet loss同時(shí)考慮了類內(nèi)和類間注祖，物理意義很好但是訓(xùn)練之后并沒(méi)有學(xué)到相應(yīng)的效果， learning process
出發(fā)點(diǎn)都很好均唉，但是從結(jié)果來(lái)看arcface的類內(nèi)類間angular margin 更加的明顯是晨。
arcface 的loss僅僅是顯示的對(duì)類內(nèi)角度進(jìn)行了懲罰，如果結(jié)合類間的inter-loss效果會(huì)不會(huì)更好舔箭？
作者實(shí)驗(yàn)結(jié)果是差別不大罩缴，甚至有波動(dòng)會(huì)變差，可能因?yàn)橐粋€(gè)loss項(xiàng)在不同階段會(huì)影響另一個(gè)loss項(xiàng)的權(quán)重發(fā)揮层扶。
不同的數(shù)據(jù)庫(kù)有不同的難度箫章，姿態(tài)、光照镜会、年齡檬寂、規(guī)模等等。In the following figure, we illustrate the angle distributions (predicted by ArcFace model trained on MS1MV2 with ResNet100) of both positive and negative pairs on LFW, CFP-FP, AgeDB-30, YTF, CPLFW and CALFW.
We can clearly find that the intra-variance due to pose and age gaps significantly increases the angles between positive pairs thus making the best threshold for face verification increasing and generating more confusion regions on the histogram.
[MS1MV2, ResNet100, ArcFace] [training dataset, network structure, loss]
在MS1MV2庫(kù)上訓(xùn)練桶至，在其他庫(kù)上verification，統(tǒng)計(jì)matching pair的角度分布匾旭。
image->ResNet->featuremaps->high dimensional feature vector->512-d embedding feature vector
