人臉識別項(xiàng)目，網(wǎng)絡(luò)模型濒募，損失函數(shù)鞭盟，數(shù)據(jù)集相關(guān)總結(jié)

1.前言

近年來隨著硬件計(jì)算能力的大爆發(fā)，在高性能計(jì)算的支持下深度學(xué)習(xí)有了革命性的進(jìn)步瑰剃，在互聯(lián)網(wǎng)大數(shù)據(jù)的保證下深度學(xué)習(xí)有了持續(xù)不斷的動力齿诉，優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)被不斷提出，深度學(xué)習(xí)技術(shù)已被推向時代浪潮晌姚。在深度學(xué)習(xí)的分支領(lǐng)域粤剧，計(jì)算機(jī)視覺領(lǐng)域當(dāng)中，人臉識別技術(shù)的發(fā)展依然是工業(yè)界挥唠、學(xué)術(shù)界重點(diǎn)關(guān)注的對象抵恋。

2.人臉識別開源項(xiàng)目

	face_recognition	openface
github	face_recognition	openface
特征向量維度	128	128
輸入對齊的人臉尺寸	112*112	96*96
Accuracy(LFW)	99.38%	92.92%
訓(xùn)練數(shù)據(jù)集	FaceSrub，VGGface宝磨，網(wǎng)絡(luò)圖片	FaceSrub（530人10萬張）和CASIA-WebFace（1萬人50萬張）
網(wǎng)絡(luò)架構(gòu)	Resnet	Inception
項(xiàng)目特點(diǎn)	安裝和使用簡單宽堆，支持Mac，Linux和Windows平臺	網(wǎng)絡(luò)模型結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)集較老
圖片測試	測試方法為mtcnn檢測和對齊人臉，將對齊人臉輸入網(wǎng)絡(luò)中提取特征，然后對特征進(jìn)行相似度計(jì)算。（余弦距離，歐式距離）	相同
平均時間	24ms	11ms
測試	歐式距離，閾值0.6	官方使用歐式距離，閾值0.99
Loss		Triple Loss結(jié)構(gòu)：一個組三個圖像，分別是一個標(biāo)準(zhǔn)圖像，一個正樣本（與標(biāo)準(zhǔn)同一人），一個負(fù)樣本（不同的人）所有同類樣本之間的距離+閾值threshold，要小于異類樣本之間的距離

	facenet	insightface
github	facenet	insightface
特征向量維度	512	512
輸入對齊的人臉尺寸		112*112
Accuracy(LFW)	99.63%	99.74%
訓(xùn)練數(shù)據(jù)集	CASIA-WebFace和MS-Celeb-1M	MS-Celeb-1M和VGGface2
網(wǎng)絡(luò)架構(gòu)	Inception ResNet v1	ResNet
項(xiàng)目特點(diǎn)	FaceNet是谷歌提出的網(wǎng)絡(luò)結(jié)構(gòu)，其網(wǎng)絡(luò)結(jié)構(gòu)靈活性較大可以使22層的Zelier&Fergus的網(wǎng)絡(luò)氏捞，也可以使用現(xiàn)在在物體識別里面效果比較好的inception網(wǎng)絡(luò)捆等。其主要特點(diǎn)采用三元對之間的距離構(gòu)建損失函數(shù)明郭。	網(wǎng)絡(luò)模型結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)集較新
圖片測試	測試方法為mtcnn檢測和對齊人臉沉唠，將對齊人臉輸入網(wǎng)絡(luò)中提取特征嘀韧，然后對特征進(jìn)行相似度計(jì)算。（余弦距離，歐式距離）	相同
平均時間		22ms
測試	直接通過模型計(jì)算距離聪姿，并通過距離進(jìn)行分類和預(yù)測虎谢。	余弦距離，閾值0.33
Loss	Triple Loss

DeepFace、DeepID 參考 https://blog.csdn.net/hh_2018/article/details/80581612镊绪。
DeepFace：在實(shí)現(xiàn)時需要使用3D對齊技術(shù)，然后將對齊的結(jié)果送入一個9層網(wǎng)絡(luò)進(jìn)行處理履磨。整個訓(xùn)練過程前兩個卷積層采用了共享卷積核剃诅，后三個卷積采用不共享卷積核付魔，倒數(shù)第二層采用全連接層提取出對應(yīng)的人臉特征。最后一層是一個softmax層分類涂臣。

DeepID：DeepID網(wǎng)絡(luò)有一代和二代兩種，兩種網(wǎng)絡(luò)的區(qū)別主要在于損失函數(shù)的定義耕姊。以DeepID二代為例，其網(wǎng)絡(luò)結(jié)構(gòu)是8層網(wǎng)絡(luò)結(jié)構(gòu)尤泽。4個卷積層鬼店，3個池化層黔龟，1個全連接層，全連接得到的是160特征向量巍棱。然后在根據(jù)160維向量svm或者softmax分類蛋欣。在第一階段處理完之后還根據(jù)生成的結(jié)果訓(xùn)練了用于鑒定圖片是不是一類的貝葉斯分類器陷虎。并用該分類器對特征向量進(jìn)行篩選并且可以泛化的杠袱。除此之外窝稿，該網(wǎng)絡(luò)的最后一層分別和倒數(shù)前兩層相連接（為了視野的互補(bǔ)）伴榔。

3.人臉識別流程

人臉識別分為四個過程：人臉檢測、人臉對齊塘安、特征提取援奢、特征匹配萝究。其中，特征提取作為人臉識別最關(guān)鍵的步驟帆竹，提取到的特征更偏向于該人臉獨(dú)有的特征栽连，對于特征匹配起到舉足輕重的作用侨舆，而我們的網(wǎng)絡(luò)和模型承擔(dān)著提取特征的重任，優(yōu)秀的網(wǎng)絡(luò)和訓(xùn)練策略使得模型更加健壯熔恢。
但在Resnet(2015年被提出)網(wǎng)絡(luò)表現(xiàn)力十分優(yōu)秀的情況下叙淌，要提高人臉識別模型的性能愁铺，除了優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化損失函數(shù)是另一種選擇茂洒，優(yōu)化損失函數(shù)可以使模型從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)到更多有價值的信息瓶竭。

4.人臉數(shù)據(jù)集

人臉圖片

在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)都是基于我們的訓(xùn)練數(shù)據(jù)學(xué)習(xí)特征的堵未，既然是從訓(xùn)練數(shù)據(jù)學(xué)習(xí)特征盏触，最終的方向自然是逼近最終數(shù)據(jù)的最真實(shí)的特征，也就是說雌芽，我們數(shù)據(jù)最原始是什么樣子辨嗽，我們的網(wǎng)絡(luò)的極限就是什么樣子糟需，它不能超越數(shù)據(jù)本身，而研究者在做的事情武花，也就是使得網(wǎng)絡(luò)最后能更加逼近“極限”体箕。所以數(shù)據(jù)在深度學(xué)習(xí)中扮演著極其重要的角色挑童，所以文章中強(qiáng)調(diào)了干凈的數(shù)據(jù)（數(shù)據(jù)清洗）的重要性。這里列舉一些文章中提到的開源數(shù)據(jù)集娃兽。

4.1 VGG2

VGG2Face人臉數(shù)據(jù)集包含有訓(xùn)練集8631個人的臉（總量有3141890張人臉）尽楔，測試集包含有500個人的臉（總量有169396張人臉）翔试，屬于高質(zhì)量數(shù)據(jù)集。

4.2 MS-Celeb-1M

MS1M數(shù)據(jù)集包含有大約10萬個人的臉（大約有1千萬張人臉）冲泥，但是數(shù)據(jù)集中包含有很多的“噪聲”凡恍，所以作者對MS1M做了數(shù)據(jù)清洗，最終作者清洗得到的干凈的數(shù)據(jù)包含有8.5萬個人的臉（包含有380萬張人臉）浮还。

4.3 MegaFace

MegaFace數(shù)據(jù)集包含有69萬個人的臉（包含大約有100萬張人臉）钧舌，所有數(shù)據(jù)由華盛頓大學(xué)從Flickr上組織收集涎跨。MegaFace是第一個在百萬規(guī)模級別的面部識別算法的測試基準(zhǔn)隅很，這個項(xiàng)目旨在研究當(dāng)數(shù)據(jù)庫規(guī)模提升數(shù)個量級時，現(xiàn)有的臉部識別系統(tǒng)能否維持可靠的準(zhǔn)確率屋彪。MegaFace是目前最為權(quán)威绒尊、最熱門的評價人臉識別性能垒酬，特別是海量人臉識別檢索性能的基準(zhǔn)參照之一。

4.4 LFW

LFW（Labeled Faces in the Wild）數(shù)據(jù)集包含了從網(wǎng)絡(luò)收集的13000張人臉圖像，每張圖像都以被拍攝的人名命名口糕。其中磕蛇，有1680個人有兩個或兩個以上不同的照片秀撇。LFW主要側(cè)重于對比兩張人臉照片是否具有相同身份不同。

4.5 CPF

CFP（Celebrities in Frontal Pro?le ）數(shù)據(jù)集是美國名人的人臉數(shù)據(jù)集棠绘，其中包含有500個人物對象，有他們的10張正面照以及4張形象照夜矗，因此在作為人物比對驗(yàn)證的時候让虐，作者選用了最有挑戰(zhàn)的正面照與形象照作為驗(yàn)證集（CFP赡突，F(xiàn)rontal-Pro?le，CFP-FP ）浪南。

4.6 AgeDB

AgeDB（Age Database ）數(shù)據(jù)集包含有440個人的臉（包含有12240張人臉）从媚，但其中包含有不同人的不同年齡階段的照片拜效，最小從3歲到最大101歲時期的照片，每個對象的平均年齡范圍為49年到千。作者采用和LFW一樣的對比驗(yàn)證方式赴穗。

最后般眉，作者在網(wǎng)絡(luò)訓(xùn)練過程中采用了VGG2以及MS1M作為訓(xùn)練集，選用了LFW柿汛、CPF以及AgeDB作為驗(yàn)證集络断，最終使用MegaFace作為評測標(biāo)準(zhǔn)项玛。

5.損失層

關(guān)于Loss對于網(wǎng)絡(luò)的影響，最直觀的就是通過計(jì)算Loss反傳梯度來實(shí)現(xiàn)對模型參數(shù)的更新襟沮，不同的Loss可以使模型更加側(cè)重于學(xué)習(xí)到數(shù)據(jù)某一方面的特性，并在之后能夠更好地提取到這一“獨(dú)有”的特征剥哑，因此Loss對于網(wǎng)絡(luò)優(yōu)化有導(dǎo)向性的作用淹父。

而在近年來人臉識別領(lǐng)域，優(yōu)化Loss對于最終結(jié)果的提高有很大的幫助困介，從Center Loss的提出座哩，到SphereFace粮彤，CosineFace导坟，InsightFace等都有在損失函數(shù)這一環(huán)節(jié)提出新的解決方案，它們的出現(xiàn)對于人臉識別的發(fā)展做出了不可磨滅的貢獻(xiàn)尘惧。

無論是SphereFace递递、CosineFace還是ArcFace的損失函數(shù)登舞，都是基于傳統(tǒng)的softmax loss進(jìn)行修改得到的，所以想要理解ArcFace似踱，需要對之前的損失函數(shù)有一定理解。

5.1 Softmax Loss

$L_S = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{W^T_{y_i}x_i+b_{y_i}}}{ {\sum\limits_{j=1}^n}e^{W^T_jx_i+b_j} }\right)$
這是我們傳統(tǒng)的Softmax公式酵熙，其中驰坊， ${W^T_{j}x_i+b_{j}}$ 代表我們的全連接層輸出，我們在使損失 $Ls$ 下降的過程中察藐，則必須提高我們的 ${W^T_{y_i}x_i+b_{y_i}}$ 所占有的比重分飞，從而使得該類的樣本更多地落入到該類的決策邊界之內(nèi)譬猫。

Softmax Loss

而這種方式主要考慮樣本是否能正確分類，缺乏類內(nèi)和類間距離的約束柳刮。

5.2 Center Loss

$L_C = -\frac{1}{2}{\sum\limits_{i=1}^m}{||x_i-c_{y_i}||}^2$
$\Delta{c_j}=\frac{{\sum\limits_{i=1}^m}{\delta{(y_i=j)}\cdot{(c_j-x_i)}}}{1+{\sum\limits_{i=1}^m}{\delta{(y_i=j)}}}$
Center Loss的整體思想是希望一個batch中的每個樣本的feature離feature 的中心的距離的平方和要越小越好，也就是類內(nèi)距離要越小越好闸准。作者提出，最終的損失函數(shù)包含softmax loss和center loss，用參數(shù)λ來控制二者的比重义屏，如下面公式所示： $L=L_S+L_C= -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{W^T_{y_i}x_i+b_{y_i}}}{ {\sum\limits_{j=1}^n}e^{W^T_jx_i+b_j} }\right)+\frac{\lambda}{2}{\sum\limits_{i=1}^m}{||x_i-c_{y_i}||}^2$ 因而奶浦，加入了Softmax Loss對正確類別分類的考慮以及Center Loss對類內(nèi)距離緊湊的考慮，總的損失函數(shù)在分類結(jié)果上有很好的表現(xiàn)力隙咸。以下是作者繼上個實(shí)驗(yàn)后使用新的損失函數(shù)并調(diào)節(jié)不同的參數(shù)λλ得到的實(shí)驗(yàn)結(jié)果，可以看到藏否，加入了Center Loss后增加了對類內(nèi)距離的約束副签，使得同個類直接的樣本的類內(nèi)特征距離變得緊湊误证。

5.3 SphereFace

Center Loss的出現(xiàn)愈捅，使得人臉識別的研究轉(zhuǎn)向損失函數(shù)的改進(jìn)，對于之前的損失函數(shù)灌具，研究發(fā)現(xiàn)Softmax Loss學(xué)習(xí)到的特征分辨性不夠強(qiáng)咖楣，Center Loss考慮到了使得類內(nèi)緊湊芦昔，卻不能使類間可分咕缎，而Contrastive Loss、Triplet Loss增加了時間上的消耗焙蹭，[SphereFace: Deep Hypersphere Embedding for Face Recognition]這篇文章的作者提出了A-Softmax Loss孔厉。
在Softmax Loss中帖努，由 ${W^Tx}={||W||\cdot{||x||}\cdot{cos\theta}}$ 知拼余，特征向量相乘包含由角度信息姿搜，即Softmax使得學(xué)習(xí)到的特征具有角度上的分布特性，為了讓特征學(xué)習(xí)到更可分的角度特性梭纹，作者對Softmax Loss進(jìn)行了一些改進(jìn)变抽。 $L_{Softmax} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{||W_{y_i}||\cdot{||x_i||}\cdot{cos\theta_{y_i}}+b_{y_i}}}{ {\sum\limits_{j=1}^n}e^{||W_{j}||\cdot{||x_i||}\cdot{cos\theta_{j}}+b_{j}} }\right)$ $L_{modified_0} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{||x_i||}\cdot{cos\theta_{y_i}}}}{ e^{{||x_i||}\cdot{cos\theta_{y_i}}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{||x_i||}\cdot{cos\theta_{j}}}}\right)$

其中，作者在 $L_{modified_0}$ 中約束了 $||W||=1$ 并且令 $b_j=0$ ,并將 ${ e^{{||x_i||}\cdot{cos\theta_{y_i}}}}$ 從 ${\sum\limits_{j=1}^n}e^{{||x_i||}\cdot{cos\theta_{j}}}$ 區(qū)分出來，就是為了讓特征學(xué)習(xí)到更可分的角度特性螃概。通過這樣的損失函數(shù)學(xué)習(xí)训貌，可以使得學(xué)習(xí)到的特征具有更明顯的角分布超燃，因?yàn)闆Q策邊界只與角相關(guān)樱调。

對于Softmax而言，希望能有 $cos(θ_1)>cos(θ_2)$ 欠啤，所以作者增加了在角度空間中對損失函數(shù)的約束 $cos(t\cdotθ_1)>cos(θ_2)$ 共郭，也就是要把同類數(shù)據(jù)壓縮在一個緊致的空間尉咕，同時拉大類間差距。

L_{modified_1} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{||x_i||}\cdot{cos(t\cdot\theta_{y_i})}}}{ e^{{||x_i||}\cdot{cos(t\cdot\theta_{y_i})}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{||x_i||}\cdot{cos\theta_{j}}}}\right),\theta_{y_i}\in[0,\frac{\pi}{t}]

由于cosθ在 $[0,\pi]$ 上單調(diào)遞減蛇损，因此θ有上界袜匿，為了使得這個函數(shù)隨角度單調(diào)遞減祭务，作者構(gòu)造一個函數(shù)去代替cosθ

L_{SphereFace} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{||x_i||}\cdot{\varphi(\theta_{y_i})}}}{ e^{{||x_i||}\cdot{\varphi(\theta_{y_i})}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{||x_i||}\cdot{cos\theta_{j}}}}\right),\theta_{y_i}\in[0,\frac{\pi}{t}]

{\varphi(\theta_{y_i})}=(-1)^kcos(t\cdot\theta_{y_i})-2k,\theta_{y_i}\in[\frac{k\pi}{t},\frac{(k+1)\pi}{t}],k\in[0,t-1]

在SphereFace的實(shí)際訓(xùn)練過程中岩灭，作者發(fā)現(xiàn)引入Softmax約束可以保證模型的收斂性柱恤。因此妙真，對 ${\varphi(\theta_{y_i})}$ 函數(shù)做了變更，并同時用參數(shù)λ來控制二者的比重矗漾。

{\varphi(\theta_{y_i})}=\frac{(-1)^kcos(t\cdot\theta_{y_i})-2k+\lambda\cdot{cos(\theta_{y_i})}}{1+\lambda}

$t$ 的大小是控制同一類點(diǎn)聚集的程度，從而控制了不同類之間的距離誊役。可以看出不同的 $t$ 的取值對映射分布的影響（不同的類位于一個單位超球表面的不同區(qū)域）
后續(xù)的F-Norm SphereFace對SphereFace做了更新鹏漆，僅注重從數(shù)據(jù)中得到的角度信息，而不考慮特征向量的值，所以采用了 $s = 64$ 作為特征歸一化參數(shù)替代了 $||x||$ 秒梳，因此公式更新為：

L_{F-Norm-SphereFace} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{s}\cdot{\varphi(\theta_{y_i})}}}{ e^{{s}\cdot{\varphi(\theta_{y_i})}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{s}\cdot{cos\theta_{j}}}}\right),\theta_{y_i}\in[0,\frac{\pi}{t}]

而這種采用了 $s = 64$ 作為特征歸一化參數(shù)替代了 $||x||$ 的思想也被Cosine Loss和Arcface Loss沿用，即相對于距離信息更加關(guān)注角度信息婆跑。

5.4 Cosine Margin Loss

$L_{Cosine} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{s}\cdot{(cos(\theta_{y_i})-t)}}}{ e^{{s}\cdot{(cos(\theta_{y_i})-t)}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{s}\cdot{cos\theta_{j}}}}\right)$
與SphereFace相比，CosineFace最明顯的變化就是將 $cos(t\cdot\theta_{y_i})$ 中的 $t$ 提出來變成 ${cos(\theta_{y_i})-t}$ 搀庶，與之前相比揍庄，這樣有幾個明顯的優(yōu)勢。

相對于SphereFace而言要更加容易實(shí)現(xiàn)，移除了 ${\varphi(\theta_{y_i})}$ 钠糊，減少了復(fù)雜的參數(shù)計(jì)算
去除了Softmax監(jiān)督約束艘刚，訓(xùn)練過程變得簡潔同時也能夠?qū)崿F(xiàn)收斂
模型性能有明顯的改善

5.5 Arcface Margin Loss

盡管在余弦范圍到角度范圍的映射具有一對一的關(guān)系秋度，但他們之間仍有不同之處事期，事實(shí)上，實(shí)現(xiàn)角度空間內(nèi)最大化分類界限相對于余弦空間而言具有更加清晰的幾何解釋性，角空間中的邊緣差距也相當(dāng)于超球面上的弧距。

于是毛肋，作者提出了Angular Margin Loss唉匾，將角度邊緣 $t$ 置于 $cos(\theta)$ 函數(shù)內(nèi)部峡懈，使得 $cos(\theta+t)$ 在 $\theta\in[0,\pi-t]$ 范圍內(nèi)要小于 $cos(\theta)$ ,這一約束使得整個分類任務(wù)的要求變得更加苛刻谒撼。對于 $L_{Arcface}$ ，在滿足 $W_j=\frac{W_j}{||W_j||},x_i=\frac{x_i}{||x_i||},cos{\theta_i}=W_j^Tx_i$ 的情況下堪澎，其損失計(jì)算公式為

L_{Arcface} = -\frac{1}{m}{\sum\limits_{i=1}^m}\log\left(\frac{e^{{s}\cdot{(cos(\theta_{y_i}+t))}}}{ e^{{s}\cdot{(cos(\theta_{y_i}+t))}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{s}\cdot{cos\theta_{j}}}}\right)

對于 $cos(\theta+t)$ 可以得到 $cos(\theta+t)=cos{\theta}cos{t}-sin{\theta}sint$ 昨凡，對比CosineFace的 $cos{(\theta)-t}$ 哪痰，ArcFace中的 $cos(\theta+t)$ 不僅形式簡單肋演，并且還動態(tài)依賴于 $sin\theta$ 异希，使得網(wǎng)絡(luò)能夠?qū)W習(xí)到更多的角度特性憨降。

5.6 Loss對比分析

為了研究 SphereFace悔叽、 CosineFace 和ArcFace是如何提高人臉識別的效果趟庄，作者使用了 LResNet34E-IR網(wǎng)絡(luò)和M1SM人臉數(shù)據(jù)集分別使用不同的損失函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練览濒，客觀分析了其中的影響。

Target Logit Curve

上圖的Target Logit Curve描繪了隨著角度值 ${\theta}$ 的變化叔磷，對于 $L_{Cosine} = -\frac{1}{N}{\sum\limits_{i=1}^N}\log\left(\frac{e^{{s}\cdot{(cos(\theta_{y_i})-m)}}}{ e^{{s}\cdot{(cos(\theta_{y_i})-m)}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{s}\cdot{cos\theta_{j}}}}\right)$ ,其中的Target Logit 也就是指 ${cos(\theta_{y_i})-m}$ 的值躁染， $s$ 是歸一化參數(shù)，在

W_j=\frac{W_j}{||W_j||},x_i=\frac{x_i}{||x_i||},cos{\theta_i}=W_j^Tx_i

條件下俱恶， $\theta_{y_i}$ 是輸入向量與權(quán)重在超平面中的夾角尿背，同理端仰，對于

L_{Arcface} = -\frac{1}{N}{\sum\limits_{i=1}^N}\log\left(\frac{e^{{s}\cdot{(cos(\theta_{y_i}+m))}}}{ e^{{s}\cdot{(cos(\theta_{y_i}+m))}}+{\sum\limits_{j=1,j\ne{y_i}}^n}e^{{s}\cdot{cos\theta_{j}}}}\right)

來說，Target Logit 對應(yīng)著 ${cos(\theta_{y_i}+m)}$ 的值田藐，也就意味著，在 ${\theta}\in{[0^{\circ},30^{\circ}]}$ 時，CosineFace的曲線要低于ArcFace，也就是在 ${\theta}\in{[0^{\circ},30^{\circ}]}$ 范圍內(nèi)CosineFace對于網(wǎng)絡(luò)的“懲罰”要大于ArcFace裸卫，再看 ${\theta}\in{[30^{\circ},90^{\circ}]}$ 范圍內(nèi)ArcFace的曲線要低于CosineFace，也就是說在 ${\theta}\in{[30^{\circ},90^{\circ}]}$ 內(nèi)ArcFace對于網(wǎng)絡(luò)的“懲罰”要大于CosineFace（由下面的 ${\theta}$ 分布圖可知 ${\theta}$ 在 $90^{\circ}$ 以上范圍基本沒有，可以忽略）。

而作者提供了訓(xùn)練開始時虾啦，中間以及收斂后的 ${\theta}$ 的分布圖，可以看到，在網(wǎng)絡(luò)收斂的情況下摘盆，ArcFace和CosineFace的 ${\theta}$ 分布基本在 ${\theta}\in{[30^{\circ},60^{\circ}]}$ 范圍內(nèi)陪汽，同時，ArcFace和CosineFace的 ${\theta}$ 中心值要更靠左一點(diǎn)，雖然在 ${\theta}\in{[0^{\circ},30^{\circ}]}$ 范圍內(nèi)CosineFace對于網(wǎng)絡(luò)的“懲罰”要大于ArcFace，但是由最終結(jié)果可以看出翎嫡，收斂時 ${\theta}$ 達(dá)到 ${\theta}\in{[0^{\circ},30^{\circ}]}$ 范圍內(nèi)的數(shù)量很少救湖，相對于 ${\theta}\in{[30^{\circ},60^{\circ}]}$ 范圍內(nèi)可以忽略煤杀，而在ArcFace對于網(wǎng)絡(luò)的“懲罰”要大于CosineFace的 ${\theta}\in{[30^{\circ},60^{\circ}]}$ 范圍內(nèi)分布著絕大多數(shù)的 ${\theta}$ 。

我們已經(jīng)由 ${\theta}$ 的分布圖可知在收斂的時候ArcFace的 ${\theta}$ 中心值與CosineFace相比要偏左一點(diǎn)，同時，由上圖可知，收斂的時候紅色實(shí)線要高于藍(lán)色和黃色實(shí)線，也就意味著赔硫，收斂的時候ArcFace相對于其他Loss使得同一類更加“緊湊”推盛，相對于其他的Loss實(shí)現(xiàn)了將同一個類壓縮到一個更緊致的空間，更密集谦铃，使得網(wǎng)絡(luò)學(xué)習(xí)到的特征具有更明顯的角分布特性耘成。

6.網(wǎng)絡(luò)

為了衡量怎樣的網(wǎng)絡(luò)更適合人臉識別，作者在基于VGG2Face作為訓(xùn)練集和使用Softmax作為損失函數(shù)的情況下對Resnet網(wǎng)絡(luò)做了不同的設(shè)置，以期望能達(dá)到最好的效果瘪菌。

作者用了8塊特斯拉P40的顯卡撒会，設(shè)置訓(xùn)練時的總的Batch Size為512，同時學(xué)習(xí)率從0.1開始在分別在10萬师妙、14萬诵肛、16萬次迭代下降一個量級，設(shè)置了總的迭代為20萬次默穴，momentum 動量為0.9怔檩，權(quán)值衰減為 5e?4 。

PS：實(shí)驗(yàn)表明采用權(quán)值衰減值為5e?4效果最好蓄诽。

權(quán)值衰減值對比效果

6.1 Input selects L

大多數(shù)的卷積神經(jīng)網(wǎng)絡(luò)為完成Image-Net的分類任務(wù)而設(shè)計(jì)的薛训，所以網(wǎng)絡(luò)會采用224x224的輸入，然而作者所用的人臉大小為112x112仑氛，如果直接將112x112的數(shù)據(jù)作為預(yù)訓(xùn)練模型的輸入會使得原本最后提取到的特征維度是7x7變成3x3乙埃，因此作者將預(yù)訓(xùn)練模型的第一個7x7的卷積層（stride=2）替換成3x3的卷積層（stride=1），這樣第一個卷積層就不會將輸入的維度縮減锯岖，因此最后還是能得到7x7的輸入膊爪，如下圖所示，實(shí)驗(yàn)中將修改后的網(wǎng)絡(luò)在命名上加了字母“L”嚎莉，比如SE-LResNet50D米酬。

Input selects

6.2 Output selects E

對于網(wǎng)絡(luò)的最后幾層，不同的輸出可能會影響模型的性能趋箩，因此作者對Option-A到Option-E分別做了測試赃额，在測試過程中，利用兩個特征向量對距離進(jìn)行計(jì)算叫确。在識別與驗(yàn)證的過程中采用了最近鄰與閾值比較法跳芳。

Option-A: Use global pooling layer(GP).
Option-B:Use one fullyconnected(FC) layer after GP.
Option-C: Use FC-Batch Normalisation (BN) after GP.
Option-D: Use FC-BN-Parametric Recti?ed Linear Unit (PReLu) after GP.
Option-E: Use BN-Dropout-FC-BN after the last convolutional layer.

Output selects

經(jīng)過對比結(jié)果得知，使用Option-E模型能取得更好的表現(xiàn)竹勉。

6.3 Block selects IR

作者改善了Resnet網(wǎng)絡(luò)的殘差塊使其更適合人臉識別模型的訓(xùn)練飞盆，采用 BN-Conv-BN-PReLu-Conv-BN 結(jié)構(gòu)作為殘差塊，并在殘差塊中將第一個卷積層的步長從2調(diào)整到1次乓，激活函數(shù)采用PReLu替代了原來的ReLu吓歇。采用修改過的殘差塊的模型作者在后面添加了“IR”以作為標(biāo)識。

整體變動后的結(jié)構(gòu)

綜上所述票腰，最終在Resnet網(wǎng)絡(luò)上做出了3項(xiàng)改進(jìn)城看，第一是將第一個7x7的卷積層（stride=2）替換成3x3的卷積層（stride=1），第二是采用了Option-E輸出杏慰，第三是使用了改善后的殘差塊测柠。

同樣實(shí)驗(yàn)表明炼鞠，采用Option-E與改善后的殘差塊使得模型表現(xiàn)有明顯的提升。

改善效果

7.評估

作者同時對比測試了其他主流的網(wǎng)絡(luò)結(jié)構(gòu)轰胁，有MobileNet谒主、Inception-Resnet-V2、DenseNet赃阀、Squeeze and excitation networks (SE)以及Dual path Network (DPN)瘩将，評價的標(biāo)準(zhǔn)由精確度、速度以及模型大小組成凹耙。

同時，MegaFace作為百萬規(guī)模級別的面部識別算法的測試基準(zhǔn)肠仪，作者以LResNet100E-IR作為網(wǎng)絡(luò)結(jié)構(gòu)肖抱，以MS1M作為訓(xùn)練集，分別對比了不同損失函數(shù)在MegaFace上的表現(xiàn)异旧，其中最后兩列括號中有“R”是代表清洗過的MegaFace意述，Rank1指標(biāo)代表第一次命中率，VR@FAR代表在誤識率FAR上的TAR吮蛹，也就是說第一次命中率Rank1越高越好荤崇，VR@FAR越高越好。

8.參考

收集arxiv.org一些Face Papers
TensorFlow 人臉識別OpenFace潮针、Face-recognition术荤、Insightface和FaceNet源碼運(yùn)行
 論文閱讀之Arcface
亞洲人臉數(shù)據(jù)集

最后編輯于：2019.03.06 19:00:12

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市每篷，隨后出現(xiàn)的幾起案子瓣戚，更是在濱河造成了極大的恐慌，老刑警劉巖焦读，帶你破解...
沈念sama閱讀 217,509評論 6贊 504
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件子库，死亡現(xiàn)場離奇詭異，居然都是意外死亡矗晃，警方通過查閱死者的電腦和手機(jī)仑嗅，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,806評論 3贊 394
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來张症，“玉大人仓技，你說我怎么就攤上這事∷姿” “怎么了浑彰？”我有些...
開封第一講書人閱讀 163,875評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長拯辙。經(jīng)常有香客問我郭变，道長颜价，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 58,441評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任诉濒，我火速辦了婚禮周伦，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘未荒。我一直安慰自己专挪，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 67,488評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布片排。她就那樣靜靜地躺著寨腔，像睡著了一般。火紅的嫁衣襯著肌膚如雪率寡。梳的紋絲不亂的頭發(fā)上迫卢，一...
開封第一講書人閱讀 51,365評論 1贊 302
城市分裂傳說
那天，我揣著相機(jī)與錄音冶共，去河邊找鬼乾蛤。笑死，一個胖子當(dāng)著我的面吹牛捅僵，可吹牛的內(nèi)容都是我干的家卖。我是一名探鬼主播，決...
沈念sama閱讀 40,190評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼庙楚，長吁一口氣：“原來是場噩夢啊……” “哼上荡！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起馒闷，我...
開封第一講書人閱讀 39,062評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤榛臼，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后窜司，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體沛善，經(jīng)...
沈念sama閱讀 45,500評論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,706評論 3贊 335
?白月光啟示錄
正文我和宋清朗相戀三年塞祈，在試婚紗的時候發(fā)現(xiàn)自己被綠了金刁。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 39,834評論 1贊 347
活死人
序言：一個原本活蹦亂跳的男人離奇死亡议薪，死狀恐怖尤蛮，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情斯议，我是刑警寧澤产捞，帶...
沈念sama閱讀 35,559評論 5贊 345
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站哼御，受9級特大地震影響坯临，放射性物質(zhì)發(fā)生泄漏焊唬。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,167評論 3贊 328
男人毒藥：我在死后第九天來索命
文/蒙蒙一看靠、第九天我趴在偏房一處隱蔽的房頂上張望赶促。院中可真熱鬧，春花似錦挟炬、人聲如沸鸥滨。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,779評論 0贊 22
一樁弒父案谤祖，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽婿滓。三九已至，卻和暖如春粥喜，著一層夾襖步出監(jiān)牢的瞬間凸主，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,912評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工容客，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人约郁。一個月前我還...
沈念sama閱讀 47,958評論 2贊 370
代替公主和親
正文我出身青樓缩挑，卻偏偏與公主長得像，于是被迫代替她去往敵國和親鬓梅。傳聞我的和親對象是個殘疾皇子供置，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,779評論 2贊 354

人臉識別項(xiàng)目，網(wǎng)絡(luò)模型阶祭，損失函數(shù)绷杜，數(shù)據(jù)集相關(guān)總結(jié)