摘要：在這項工作中，我們解決了大規(guī)模在線人臉聚類的問題：給定一個連續(xù)的未知人臉流棠众，創(chuàng)建一個數(shù)據(jù)庫琳疏，根據(jù)他們的身份對傳入的人臉進(jìn)行分組。每次有新面孔出現(xiàn)時闸拿，都必須更新數(shù)據(jù)庫空盼。此外，解決方案必須高效胸墙、準(zhǔn)確和可擴(kuò)展。為此按咒，我們提出了一種基于在線高斯混合的聚類方法（OGMC）迟隅。這種方法的關(guān)鍵思想是提出一個身份可以由多個分布或集群表示。 OGMC 使用從輸入人臉中提取的特征向量（f 向量）生成集群励七，這些集群可以根據(jù)它們的接近度和魯棒性連接到其他集群智袭。每次使用新樣本更新集群時，其連接也會更新掠抬。通過這種方法吼野，我們減少了聚類過程對輸入數(shù)據(jù)的順序和大小的依賴，并且我們能夠處理復(fù)雜的數(shù)據(jù)分布两波。實(shí)驗(yàn)結(jié)果表明瞳步，所提出的方法在大規(guī)模人臉聚類基準(zhǔn)上優(yōu)于最先進(jìn)的聚類方法，不僅在準(zhǔn)確性方面腰奋，而且在效率和可擴(kuò)展性方面单起。
一、引言
近年來劣坊，基于身份的人臉聚類在各種情況下都有很高的需求嘀倒，在某些情況下，還需要支持應(yīng)用程序的實(shí)時操作局冰。例如测蘑，在實(shí)時視頻監(jiān)控應(yīng)用程序中需要它，需要在監(jiān)控區(qū)域內(nèi)維護(hù)更新的對象數(shù)據(jù)庫碳胳，以控制他們的位置 [1]固逗、[2] 或重新識別如有必要烫罩，主題 [3]盗誊、[4]哈踱。人臉聚類在實(shí)時應(yīng)用程序中的另一個用途是大型基礎(chǔ)設(shè)施中的人流監(jiān)控开镣。這種類型的應(yīng)用程序旨在生成性能指標(biāo)邪财，例如“等待時間”、“進(jìn)程吞吐量”怎憋、“人員顯示資料”绊袋、“隊列長度超限”和“區(qū)域占用率”[5]愤炸、[6]，這些指標(biāo)需要需要為越來越多的相機(jī)進(jìn)行計算姓建，因此需要更高水平的計算可擴(kuò)展性墅拭。
關(guān)于這些類型的應(yīng)用程序出現(xiàn)的一個重要問題是數(shù)據(jù)隱私 [7]谍婉、[8]穗熬、[9]探遵。不應(yīng)存儲可用于識別受試者的個人信息（即他們的面部圖像）箱季。最近的聚類算法依賴于深度神經(jīng)網(wǎng)絡(luò)（DNN），它可以從目標(biāo)人臉圖像中推斷出特征向量（f-vectors）掘殴，這些特征向量對應(yīng)于用于訓(xùn)練的人外貌的抽象表示杯巨。盡管在過去幾年中，已經(jīng)發(fā)布了一些從 f 向量進(jìn)行人臉渲染的有前途的方法 [10]获诈、[11]舔涎，但它們需要知道特征提取網(wǎng)絡(luò)才能生成可接受的結(jié)果 [11] 或訓(xùn)練解碼網(wǎng)絡(luò) [ 10]。因此挟冠，可以通過隱藏和保護(hù)嵌入網(wǎng)絡(luò)來保護(hù)個人身份知染。顯然控淡，這種方法有局限性辫诅，例如可能匹配對于訓(xùn)練模型而言看起來過于相似的不同人泥栖。因此，DNN 的設(shè)計和訓(xùn)練應(yīng)盡可能涵蓋細(xì)微的面部外觀差異钢颂。最先進(jìn)的人臉識別模型 [12]殊鞭、[13] 旨在實(shí)現(xiàn)這一目標(biāo)。
此外趾盐，這些實(shí)時應(yīng)用程序可以在大規(guī)模無約束環(huán)境中工作，其中沒有關(guān)于面部表示分布或身份數(shù)量的信息可用本缠。人臉可能來自多個放置在不同位置和位置的相機(jī)丹锹，因此它們可能具有不同的方向、光照條件锡凝、部分遮擋等张肾。這將導(dǎo)致復(fù)雜的數(shù)據(jù)分布。大多數(shù)傳統(tǒng)和最先進(jìn)的聚類方法都是離線的（[14]吞瞪、[15]、[16]、[17]）希坚。這些離線方法不適合實(shí)時大規(guī)模場景吩抓，因?yàn)樗鼈冃枰诿看涡聵颖镜竭_(dá)時重復(fù)整個聚類過程。此外，他們中的大多數(shù)人難以處理復(fù)雜的數(shù)據(jù)分布。
為了克服這些問題怀读，我們提出了一種基于在線高斯混合的聚類方法（OGMC）。我們提議的關(guān)鍵思想是一個身份可以由多個分布或集群表示骑脱。 OGMC 使用從輸入人臉中提取的特征向量（f 向量）生成集群菜枷，這些集群可以根據(jù)它們的接近度和魯棒性連接到其他集群。每次使用新樣本更新集群時叁丧，其連接也會更新坷衍。通過這種方法钻心，我們減少了聚類過程對輸入數(shù)據(jù)的順序和大小的依賴说墨，并且我們能夠處理復(fù)雜的數(shù)據(jù)分布楼咳。該方法的高級思想如圖 1 所示。實(shí)驗(yàn)結(jié)果表明疙挺，我們的方法在大規(guī)模人臉聚類基準(zhǔn)上優(yōu)于最先進(jìn)的聚類方法跨琳，不僅在準(zhǔn)確性方面术唬，而且在效率和可擴(kuò)展性方面眶掌。
本文的其余部分安排如下具滴。首先瓷胧，我們在第 2 節(jié)中對相關(guān)工作進(jìn)行了回顧。第 3 節(jié)描述了所提出的聚類方法喧锦。在第 4 節(jié)中铃在，我們提供了實(shí)驗(yàn)結(jié)果帘皿。最后，結(jié)論在第 5 節(jié)中給出。
二、相關(guān)工作
A. 無約束的人臉聚類
在過去幾年中，不受約束的環(huán)境中的人臉聚類已成為一個深入研究的話題晋被。所解決的場景越來越復(fù)雜牍戚，并且包含更多的身份彬祖。由于環(huán)境變化（例如姿勢但荤、照明、表情涧至、裝飾腹躁、遮擋、分辨率南蓬、圖像噪聲）可能發(fā)生的大量面部和類內(nèi)外觀變化導(dǎo)致面部表示的復(fù)雜分布纺非。傳統(tǒng)的聚類算法，如 K-Means [16] 或譜聚類 [18]赘方，受到這種復(fù)雜性的影響烧颖，并且由于它們對數(shù)據(jù)分布做出假設(shè)，因此它們無法在這些場景中實(shí)現(xiàn)可接受的性能窄陡。例如炕淮，K-Means 傾向于生成類似大小的集群。
新趨勢將基于 DNN 的人臉識別模型與復(fù)雜的聚類算法相結(jié)合跳夭，以提取面部 f 向量涂圆，盡管存在類內(nèi)外觀可變性，但這些算法可以將它們分組為可區(qū)分的身份币叹。石等人润歉。 [19] 提出了條件成對聚類 (ConPaC) 算法，該算法基于使用 f 向量之間的成對相似性直接估計鄰接矩陣颈抚。在 [14] 中踩衩，提出了一種基于鏈接的人臉聚類算法，其中圖卷積網(wǎng)絡(luò)決定應(yīng)該鏈接哪些節(jié)點(diǎn)對贩汉。林等人驱富。 [20] 采用了凝聚層次聚類方法，考慮了嵌入空間中的距離度量和兩組人臉之間的差異匹舞。在 [15] 中褐鸥，提出了一個近似的排序聚類，它預(yù)測一個節(jié)點(diǎn)是否應(yīng)該鏈接到它的 k 最近鄰（kNN）策菜，并傳遞合并所有鏈接的對晶疼。
然而酒贬，所有這些最先進(jìn)的方法都采用離線算法又憨。每次有新樣本到達(dá)時翠霍，它們都會完全處理收集到的數(shù)據(jù)，重復(fù)聚類
過程增加計算成本蠢莺，以獲得最佳結(jié)果寒匙。此外，它們中的大多數(shù)在準(zhǔn)確性和處理時間方面都存在可擴(kuò)展性問題躏将。例如锄弱，ConPaC 的復(fù)雜度可以擴(kuò)展到 O(TN3)，其中 N 是 f 向量的數(shù)量祸憋，T 是迭代次數(shù)会宪。王等人。 [14]和奧托等人蚯窥。 [15] 使用 kNN 圖降低所提出算法的復(fù)雜性以減少比較次數(shù)掸鹅，但計算成本仍然太高，無法考慮將它們用于在線應(yīng)用拦赠。
B. 在線聚類
近年來巍沙，出現(xiàn)了許多在線聚類算法來應(yīng)對具有挑戰(zhàn)性的情況。這種算法的主要優(yōu)點(diǎn)是它們能夠處理新樣本而無需重復(fù)整個聚類過程荷鼠。因此句携，它們是處理大規(guī)模實(shí)時場景時的最佳選擇，但在控制和定義學(xué)習(xí)率（即新數(shù)據(jù)如何更新學(xué)習(xí)模型）方面存在額外挑戰(zhàn)允乐。
這些類型的算法已被應(yīng)用在各種各樣的環(huán)境中矮嫉。例如，它們在文本聚類中變得越來越重要牍疏。在 [21] 中敞临，作者提出了一種在線聚類方法，用于按主題對來自社交網(wǎng)絡(luò)的數(shù)據(jù)流進(jìn)行分組麸澜，使用的相似性度量同時考慮了聚類年齡和使用的術(shù)語挺尿。 Yin 和 Wang [22] 提出了另一種文本聚類方法，假設(shè)聚類數(shù)量未知炊邦，但低于最大值编矾。在線聚類算法也被用于無監(jiān)督表示學(xué)習(xí)[23]，其中聚類質(zhì)心動態(tài)演變馁害，保持分類器穩(wěn)定更新窄俏。在線聚類應(yīng)用的另一個例子是 MalFamaware [24]，這是一種算法碘菜，用于將新的惡意軟件分組到家族中凹蜈，以辨別它們是新穎的還是僅僅是已知樣本的變體限寞。甚至像 K-Means 這樣的傳統(tǒng)離線方法也有自己的在線實(shí)現(xiàn) [25]。
一些新穎的聚類算法試圖結(jié)合在線和離線方法仰坦。 Wang 和 Imura [26] 提出了一個基于高斯過程的增量神經(jīng)網(wǎng)絡(luò)履植，其中新樣本被視為節(jié)點(diǎn)，可以連接到其他節(jié)點(diǎn)悄晃。當(dāng)一個新樣本被聚類時玫霎，只有它的鄰居的連接被重新評估。同時妈橄，在[27]中庶近，樣本被分組在球形靜態(tài)微簇中，連接在一起以創(chuàng)建動態(tài)形狀的宏簇眷蚓。這些方法旨在實(shí)現(xiàn)與離線方法相同的準(zhǔn)確性鼻种，但計算時間顯著減少。
在人臉聚類中沙热，也有一些在線方法叉钥。在 [28] 中，作者提出了一種在線算法校读，用于對長視頻中的人臉進(jìn)行聚類沼侣。他們在可變長度的短段中按順序處理數(shù)據(jù)，并使用面部表示和幾個時空約束創(chuàng)建集群歉秫。然而蛾洛，它對這些約束的依賴使得它們的方法不適合不受約束的環(huán)境，并且非常容易受到傳入數(shù)據(jù)順序的影響雁芙。塔帕斯維等人轧膘。 [29] 提出了另一種用于長視頻的在線人臉聚類方法。該算法創(chuàng)建具有共享半徑的球形簇兔甘，該半徑可能動態(tài)變化谎碍。他們假設(shè)每個身份都由相同的分布表示。因此洞焙，這種方法不能處理復(fù)雜的數(shù)據(jù)分布蟆淀，因此對于不受約束的環(huán)境來說不是一個有效的解決方案。
我們提出的方法旨在滿足在線人臉聚類算法的需求澡匪，該算法能夠在大規(guī)模無約束環(huán)境中實(shí)時工作熔任，實(shí)現(xiàn)最先進(jìn)的結(jié)果。
三唁情、建議的方法
A. 問題定義
我們考慮在線聚類的問題：給定一個連續(xù)的未知人臉流疑苔，創(chuàng)建一個數(shù)據(jù)庫，根據(jù)他們的身份對傳入的人臉進(jìn)行分組甸鸟。每次有新面孔出現(xiàn)時惦费，都必須更新數(shù)據(jù)庫兵迅，以便實(shí)時獲得有關(guān)現(xiàn)有身份的信息。在線聚類系統(tǒng)的示例如圖 2 所示薪贫。出于時間和可擴(kuò)展性的考慮恍箭，在每次迭代中重新生成整個數(shù)據(jù)庫是不可行的，因此算法必須使用來自現(xiàn)有數(shù)據(jù)庫的信息對新樣本進(jìn)行聚類并更新它.因此后雷，問題可以建模如下：
其中 Di 是第 i 次迭代的更新數(shù)據(jù)庫季惯，F(xiàn) 是
在每次迭代中重復(fù)的聚類過程吠各，Si 是第 i 個樣本臀突，將樣本視為從輸入人臉提取的歸一化 N 維 f 向量，Di-1 是上一次迭代的結(jié)果數(shù)據(jù)庫贾漏。數(shù)據(jù)庫 D 由計算集群 C 的組和它們所屬的身份 I 表示候学。我們的目標(biāo)是對 F 進(jìn)行建模，以最大限度地提高準(zhǔn)確性和可擴(kuò)展性纵散，并最大限度地減少迭代時間梳码。
B. 期望最大化方法
由等式 1 建模的問題類似于期望最大化 (EM) 算法 [30] 解決的問題。 EM 算法是一種眾所周知的迭代方法伍掀，用于在存在潛在變量的情況下執(zhí)行最大似然估計掰茶。它已廣泛用于聚類應(yīng)用[31]、[32]蜜笤、[33]濒蒋、[34]。問題表述如下：給定由一組觀測數(shù)據(jù) X把兔、一組缺失值 Z沪伙、一個未知參數(shù)向量 Θ 以及似然函數(shù)生成的統(tǒng)計模型：
L(Θ; X, Z) = p(X, Z|Θ) (2)
未知參數(shù)的最大似然估計（MLE）是通過最大化觀察數(shù)據(jù)的邊際似然來確定的：
EM 算法旨在通過迭代應(yīng)用兩個步驟來找到邊際似然的 MLE：
期望步驟：估計缺失數(shù)據(jù) Z 的值，使用觀察到的數(shù)據(jù) X 和參數(shù) Θi 的當(dāng)前估計县好。
Z = F(Θi,X) (4) 最大化步驟：使用更新參數(shù) Θi+1
觀測數(shù)據(jù) X 和新估計數(shù)據(jù) Z围橡。Θi+1 =F(X,Z)
在我們的上下文中，我們應(yīng)用 EM 算法缕贡，假設(shè)在每次迭代中翁授，觀察到的數(shù)據(jù)是一組處理過的樣本 S，參數(shù)是計算出的集群 C 的特征晾咪，我們要估計的缺失值是新樣本所屬的簇 I收擦。
因此，在估計步驟中禀酱，使用用已經(jīng)處理的樣本計算的集群參數(shù)炬守，算法決定新樣本是應(yīng)該與現(xiàn)有集群合并還是創(chuàng)建一個新樣本。然后剂跟，在最大化步驟中减途，更新相關(guān)集群的參數(shù)酣藻。
然而，我們的方法遵循這種兩步方法的變體鳍置。每次更新集群時辽剧，都會啟動一種新的 EM 算法，稱為集群重新聚類税产，我們檢查更新后的集群是否可以與其他集群融合怕轿。這是一個迭代過程，因此一個集群可能會被多次融合辟拷。因此撞羽，我們的算法分為兩個階段：
? 樣本聚類階段：對新樣本進(jìn)行聚類，更新現(xiàn)有聚類或創(chuàng)建新樣本衫冻。
? 集群重新集群階段：迭代地嘗試將更新的集群與數(shù)據(jù)庫中的其余集群融合诀紊。
兩階段過程如圖 1 所示，并在后續(xù)章節(jié)中進(jìn)行描述隅俘。
C. 集群連接
由于我們希望我們的算法在不受約束的環(huán)境中工作邻奠，它必須能夠處理復(fù)雜的數(shù)據(jù)分布。因此为居，我們必須考慮一個身份由多個集群表示的可能性碌宴。例如，一個人的面部屬性可能會因不同的原因（即眼鏡蒙畴、胡須贰镣、頭發(fā)、視角忍抽、照明條件……）而發(fā)生變化八孝，并且試圖將所有面部分組到一個集群中可能會由于過于寬松的閾值而導(dǎo)致錯誤和質(zhì)量差
質(zhì)心。從 IJB-C 數(shù)據(jù)集 [35] 中提取的幾個復(fù)雜身份示例如圖 3 所示鸠项。
為此干跛，我們引入集群連接的概念。兩個集群之間的連接意味著它們屬于相同的身份祟绊，但它們代表特征空間中的不同分布楼入。換句話說，兩個集群之間有很高的相似性牧抽，但這種相似性還不足以融合它們（見圖 1）嘉熊。通過這種方式，該算法創(chuàng)建了連接集群的樹來處理復(fù)雜的數(shù)據(jù)分布扬舒。
此外阐肤，通過這些連接，我們大大降低了算法對傳入樣本順序的依賴性，因?yàn)槊看闻c新樣本或另一個集群融合時孕惜，都會檢查和更新集群的連接愧薛。
然而，在不受控制的情況下允許多個連接可能會導(dǎo)致異常值和屬于不同身份的集群之間的錯誤連接（參見圖 4）衫画。為了克服這個問題毫炉，我們創(chuàng)建了健壯集群的概念和幾個控制連接的規(guī)則。如果一個集群至少由 nsr 個樣本組成削罩，則認(rèn)為它是穩(wěn)健的瞄勾，因此我們可以確保它不是一組異常值。連接規(guī)則如下：
一個非健壯集群最多只能有一個連接弥激，并且只能連接到一個健壯集群进陡。使用此規(guī)則，我們避免了由異常值和身份的非魯棒成員的冗余連接引起的錯誤連接秆撮，從而解決了圖 4 所示的問題四濒。
? 兩個健壯的集群不能融合在一起换况。我們將穩(wěn)健的集群視為代表身份樣本子集的有效分布职辨。因此，加入兩個健壯的集群會導(dǎo)致身份的表示較差和信息丟失戈二。
? 一個健壯的集群可能有一個最大連接數(shù)ncmax舒裤。采用這種限制是為了減少計算時間，特別是在檢查集群的連接是否仍然有效時觉吭。
每次集群融合或連接到新集群時腾供，都會觸發(fā)檢查連接的過程。該函數(shù)檢查更新后的集群的連接是否仍然有效鲜滩，以及是否沒有超過最大連接數(shù)伴鳖。否則，最弱的連接將被刪除徙硅。
D. 集群表示
創(chuàng)建聚類算法的下一步是選擇代表每個聚類的參數(shù)組榜聂。這些參數(shù)必須包含有關(guān)它們所代表的集群的足夠有用信息，才能獲得準(zhǔn)確的結(jié)果嗓蘑。此外须肆，這些信息應(yīng)該簡明扼要，因?yàn)樗惴ū仨毷强焖俸涂蓴U(kuò)展的桩皿。
考慮到這些因素豌汇，我們決定使用多元正態(tài)分布對集群進(jìn)行建模，因?yàn)樗鼉H取決于兩個參數(shù)：平均向量 μ 和協(xié)方差矩陣 Σ泄隔。這也是一個設(shè)計選擇拒贱，因?yàn)?EM 算法適用于這些分布 [36]、[37]佛嬉、[38]逻澳。因此岩调，對 N 維樣本 Si 屬于簇 j 的概率建模的密度函數(shù)為：
其中 Si 和 μj 之間的馬氏距離 [39] 可以直接用于評估某個樣本的質(zhì)心距離較近。事實(shí)上赡盘，如果我們假設(shè)所有維度都是獨(dú)立的并且具有相同的方差号枕，我們可以對 Mahalanobis 距離進(jìn)行操作以減少算法的計算量，定義如下：
DM(Si,μj,σj) = 1 dist(Si,μj) (7) σj
其中 dist(S, μ) = ||S - μ||2 陨享。
比較兩個集群時的三種可能情況
（融合葱淳、連接或無關(guān)系）然后被建模為這些正態(tài)分布的高斯混合，并使用馬氏距離有效計算抛姑。這些分布的均值均為零赞厕，等于兩個質(zhì)心之間的最小可能距離。它們的偏差 σ 取固定值定硝，具體取決于比較的集群是否穩(wěn)健以及先前定義的連接規(guī)則（參見圖 5）皿桑。
因此，我們定義了三個歐幾里得距離閾值來覆蓋不同 σ 產(chǎn)生的所有可能情況：
? 融合閾值thrf：決定兩個集群是否應(yīng)該融合在一起蔬啡。
? 弱連接閾值thrwc：連接一個健壯的集群和一個非健壯的集群诲侮。
? 強(qiáng)連接閾值thrsc：連接兩個健壯的集群。
聚類的平均值由其質(zhì)心 C * 表示箱蟆，通過對包含在聚類中的所有樣本的特征之和進(jìn)行歸一化來計算：
? 因此沟绪，為每個集群存儲以下信息：
? N 維質(zhì)心 (C * )
? 所屬樣本特征的總和 (SC)
? 所屬樣本數(shù) (ns)
? 所屬樣本的索引 (sI dx)
? 連接集群的索引 (cI dx)
? 到連接集群的距離 (cDist)
E. 方法實(shí)現(xiàn)
如第 III-B 節(jié)所述，我們的聚類方法分為兩個階段空猜。第一個階段绽慈，樣本聚類階段，如圖 6 所示辈毯。在這個階段坝疼，處理新的傳入樣本。第一步是計算歸一化樣本向量與數(shù)據(jù)庫中現(xiàn)有聚類的歸一化質(zhì)心之間的距離谆沃《坌祝可以考慮不同的距離，但我們選擇了歐式距離（dist）管毙。我們做出這個決定是因?yàn)樗捎玫娜四樧R別模型是使用余弦相似度 [12] 進(jìn)行訓(xùn)練的腿椎，并且對于歸一化向量，它與歐幾里得距離成反比：
利用 GPU 架構(gòu)的功能并行計算距離夭咬。這樣啃炸，我們減少了集群數(shù)量對處理時間的影響。因此卓舵，歸一化的質(zhì)心直接存儲在 GPU 內(nèi)存中南用。
一旦計算出距離，它們就會被復(fù)制到 RAM 內(nèi)存中，并使用 CPU 選擇最小距離裹虫。如果此距離小于 thrf 肿嘲，則將樣本與所選集群融合。否則筑公，它用于創(chuàng)建一個新的集群雳窟。如果創(chuàng)建了一個新集群，該算法會檢查它是否可以連接到最小距離集群匣屡。如果所選集群是健壯的并且距離不高于 thrwc封救，則會發(fā)生此連接。如果有連接捣作，算法會檢查魯棒集群的連接數(shù)是否超過了允許的最大值（ncr）誉结，如果有必要，刪除最弱的連接券躁。
如果新樣本 Si 用于更新現(xiàn)有集群惩坑，則會啟動集群重新集群階段（參見圖 7）。此階段由迭代 EM 算法組成也拜，其中更新后的集群嘗試與數(shù)據(jù)庫中的其余集群融合或連接以舒，使用參數(shù) thrf 、 thrwc 搪泳、 thrsc 和 nsr 以及第 III-節(jié)中定義的連接規(guī)則C稀轨。
以與前一階段相同的方式計算最小距離的選擇。如果更新的集群與另一個集群融合岸军，則再次計算新的更新集群的距離并重復(fù)該過程。如果更新的集群連接到另一個集群并且更新的集群是穩(wěn)健的瓦侮，則算法搜索下一個最小距離并重復(fù)最大化步驟艰赞。
在集群重新聚類階段結(jié)束之前，算法會檢查更新后的集群的連接是否仍然有效肚吏，因?yàn)榧旱馁|(zhì)心可能由于融合而發(fā)生了變化方妖。最后，它會檢查更新后的集群和連接的集群的連接數(shù)是否不超過允許的最大連接數(shù)罚攀。
每次迭代后党觅，使用一個簡單的遞歸函數(shù)和變量 sI dx 和 cI dx 提取聚類過程的結(jié)果，以合并所有連接聚類的樣本斋泄。
四杯瞻。實(shí)驗(yàn)
已經(jīng)進(jìn)行了一系列實(shí)驗(yàn)來證明所提出的聚類算法 OGMC 的潛力。實(shí)驗(yàn)分為兩組炫掐。第一組旨在衡量 OGMC 在準(zhǔn)確性和處理時間方面的性能魁莉，并將其與其他傳統(tǒng)和最先進(jìn)的離線聚類方法進(jìn)行比較。
第二組專注于測試它的可擴(kuò)展性，測量隨著數(shù)據(jù)樣本數(shù)量的增加而導(dǎo)致的準(zhǔn)確性下降和處理時間的增加旗唁。
此外畦浓，為了驗(yàn)證設(shè)計決策，比較算法不同部分的貢獻(xiàn)并測量模型參數(shù)對人臉識別網(wǎng)絡(luò)以及訓(xùn)練和測試數(shù)據(jù)集的依賴程度检疫，提出了一項消融研究讶请。
最后，為了證明 OGMC 在人臉識別之外的有效性屎媳，我們使用 DeepFashion [40] 進(jìn)行了一項額外的實(shí)驗(yàn)秽梅，該數(shù)據(jù)集是用于衣服檢索的著名數(shù)據(jù)集。
用于進(jìn)行實(shí)驗(yàn)的服務(wù)器配備了 NVIDIA Tesla V100 GPU 和 Intel Xeon Gold 6230 CPU剿牺。
A. 參數(shù)調(diào)優(yōu)
如第三節(jié)所述企垦，OGMC 僅取決于 5 個參數(shù)：三個距離閾值（thrf、thrwc晒来、thrsc）钞诡、將集群分類為穩(wěn)健的最小樣本數(shù)（nsr）和穩(wěn)健集群允許的最大連接數(shù)(ncr)∨缺溃考慮到它是一種在線方法荧降，無論其大小如何，它都可以與數(shù)據(jù)庫一起操作攒读，并且與其他最先進(jìn)的聚類方法（例如朵诫，GCN [14]）相比，這個參數(shù)數(shù)量相對較低薄扁。除了三個參數(shù)之外剪返，還需要訓(xùn)練一個 DNN。此外邓梅，它們的值在一定范圍內(nèi)脱盲，并且易于調(diào)整，如下所述日缨。
距離閾值是介于 0.0 和 2.0 之間的浮點(diǎn)數(shù)钱反，因?yàn)樗鼈儽硎緝蓚€歸一化向量之間的歐幾里德距離。這些是迄今為止算法中最敏感的參數(shù)匣距，因?yàn)樗鼈兊闹档奈⑿⌒薷臅敵霎a(chǎn)生重大影響面哥。
將一個集群分類為魯棒的最小樣本數(shù)（nsr）是一個等于或大于 1 的整數(shù)。一方面毅待，它的值越低尚卫，魯棒集群的數(shù)量就越高，這可能是不可取的恩静，因?yàn)檫B接中的錯誤不同身份的外層之間以及由于循環(huán)連接而增加的處理時間焕毫。另一方面蹲坷，如果 nsr 太高，魯棒集群的數(shù)量可能不足以將所有非魯棒集群連接在一起邑飒。我們憑經(jīng)驗(yàn)發(fā)現(xiàn) 3 到 6 之間的范圍使算法處于平衡狀態(tài)循签，因此建議最佳值為 4，因此算法的用戶實(shí)際上不需要更改它疙咸。
一個健壯簇（ncr）允許的最大連接數(shù)也是一個等于或大于1的整數(shù)县匠。它需要與nsr一起調(diào)整，因?yàn)槿绻鹡sr減小撒轮，健壯簇的數(shù)量也會減少乞旦，從而增加數(shù)量每個健壯集群所需的連接數(shù)。如果距離閾值設(shè)置正確题山，則增加允許的連接數(shù)不會影響準(zhǔn)確性兰粉。但是，通過限制相同身份的集群之間的循環(huán)連接數(shù)顶瞳，此參數(shù)可能會對處理時間產(chǎn)生很小的影響玖姑。我們根據(jù)經(jīng)驗(yàn)確定該參數(shù)的適當(dāng)值范圍在 5 到 25 之間，并且可以調(diào)整為 5 的靈敏度慨菱。
這些參數(shù)焰络，尤其是距離閾值，主要取決于人臉識別模型符喝，所以只有在更換模型時才需要重新調(diào)整闪彼。正如我們在隨后的消融研究中報告的那樣，盡管它們也可能對所使用的數(shù)據(jù)集有很小的依賴性协饲，但它對結(jié)果的影響有限畏腕。
微調(diào)參數(shù)的步驟如下：
? 用于調(diào)整三個距離閾值的迭代網(wǎng)格搜索。網(wǎng)格大小從 0.1 開始囱稽，每次迭代減半郊尝，直到分辨率達(dá)到 0.0125（4 次迭代）。測試的總數(shù)根據(jù)限制條件來限制：thrwc 必須小于 thrf 并且 thrf 必須小于 thrsc战惊。在這一步中，nsr 和 ncr 取固定值 4 和 10
分別扎即。
? 用于調(diào)整nsr 和ncr 的單一網(wǎng)格搜索吞获。對于 nsr 使用 agridsizeof1between3and6andforncr agrid size of 5 在 5 和 25 之間（總共 20 個單元格）。在這一步中谚鄙，距離閾值是固定的各拷，并采用上一步中計算的值。
使用建議的方法探索參數(shù)空間并針對訓(xùn)練數(shù)據(jù)集測試算法在準(zhǔn)確性和處理時間方面的響應(yīng)闷营，用戶可以根據(jù)應(yīng)用需求輕松配置算法烤黍。此外知市，我們并行化每個網(wǎng)格搜索以減少調(diào)整時間。
最后速蕊，在每個實(shí)驗(yàn)的描述中報告了為調(diào)整參數(shù)而選擇的數(shù)據(jù)集嫂丙。
B. 人臉聚類性能
對于第一個實(shí)驗(yàn)，我們使用 IJB-B 數(shù)據(jù)集 [41]规哲，這是一個眾所周知的無約束的野外人臉圖像數(shù)據(jù)集跟啤。該數(shù)據(jù)集包括一個由七個子任務(wù)組成的聚類協(xié)議，這些子任務(wù)的身份數(shù)量和面孔數(shù)量各不相同唉锌。我們選擇最后一個子任務(wù)隅肥，因?yàn)樗亲罹咛魬?zhàn)性的子任務(wù)，具有最多的身份 (1,845) 和面孔 (68,195)袄简。
為了與其他方法進(jìn)行公平比較腥放，并證明 OGMC 算法獨(dú)立于識別模型，我們使用與 [14] 中相同的向量進(jìn)行實(shí)驗(yàn)绿语。這些向量有 512 個維度秃症。為了調(diào)整 OGMC 的參數(shù)，我們使用 CASIA 數(shù)據(jù)集 [42] 中提供的特征和標(biāo)簽：thrf = 1.01汞舱，thrwc = 1.12伍纫，thrsc = 0.99，nsr=5昂芜，ncr=5莹规。
根據(jù) [43] 中的建議測量性能，選擇以下指標(biāo)：
? BCubed F-Measure F：表示聚類系統(tǒng)的有效性泌神，考慮到bcubed 精度P 和召回R良漱，其計算如[43] 中所述。
F=2P?R (10) P+R
? 歸一化互信息（NMI）：該度量代表集群的同質(zhì)性欢际。使用地面實(shí)況聚類 (G) 和預(yù)測聚類 (C)母市，可以使用以下等式計算：
我(G,C)
NMI(G, C) = ??H(G)H(C) (11)
其中 H 代表熵，I 是互
信息损趋。
? 總處理時間：因?yàn)槲覀冋诒容^我們的
在線算法與其他離線方法患久，我們依次處理所有樣本以模擬離線行為，并計算整個過程的時間浑槽。
實(shí)驗(yàn)結(jié)果如表 I 所示蒋失。可以觀察到桐玻，所提出的方法在 F 度量和處理時間方面優(yōu)于其他方法篙挽，同時在集群同質(zhì)性度量方面取得了有競爭力的結(jié)果。與第二好的方法（GCN-A [14]）相比镊靴，OGMC 實(shí)現(xiàn)了更好的 F-Measure铣卡，同時使用相同的硬件將處理時間減少了 6 倍以上链韭。
在第二個實(shí)驗(yàn)中，我們使用不同的人臉識別模型和不同的人臉數(shù)據(jù)集來測試我們的方法的性能煮落。所采用的人臉識別模型使用 ArcFace loss [12] 進(jìn)行訓(xùn)練敞峭，以 ResNet100 [46]、[47] 作為嵌入網(wǎng)絡(luò)州邢，輸入分辨率為 112 × 112儡陨。我們選擇 MS1MV2 [12] 作為訓(xùn)練數(shù)據(jù)集，這是一個MS-Celeb-1M [48] 的改進(jìn)量淌。
本實(shí)驗(yàn)選擇的數(shù)據(jù)集是 IJB-C [35]骗村，這是另一個著名的無約束的野外人臉圖像數(shù)據(jù)集，具有更多的身份和人臉呀枢。該數(shù)據(jù)集還包括一個包含 8 個子任務(wù)的聚類協(xié)議胚股。同樣，我們選擇了最具挑戰(zhàn)性的協(xié)議（IJB-C-3531）裙秋，有 3,531 個身份和 140,623 個面孔琅拌。我們使用 RetinaFace [49] 進(jìn)行面部和面部標(biāo)志檢測。為了獲得更好質(zhì)量的特征向量摘刑，我們過濾每邊少于 45 個像素的人臉进宝，并按照 [50] 中的建議，使用參考人臉地標(biāo)應(yīng)用仿射變換對人臉塊進(jìn)行歸一化枷恕。過濾后党晋，提取了屬于 3,529 個身份的 120,661 個向量。我們將我們的算法與兩個最佳狀態(tài)進(jìn)行比較
最先進(jìn)的方法：GCN [14]徐块，它在第一個實(shí)驗(yàn)中達(dá)到了最高的準(zhǔn)確度（不考慮我們的）未玻，以及 ARO [15]，它實(shí)現(xiàn)了準(zhǔn)確度和速度之間的最佳權(quán)衡（不考慮我們的）胡控。我們調(diào)整這兩種方法的參數(shù)以達(dá)到最佳性能扳剿。此外，對于 GCN昼激，我們使用 VGG2 數(shù)據(jù)集 [51] 的子集重新訓(xùn)練網(wǎng)絡(luò)庇绽，在 4 個時期內(nèi)包含超過 300k 圖像和 8500 個身份（遵循 [14] 中的建議）。最后橙困，我們重新調(diào)整算法的參數(shù)敛劝，因?yàn)槲覀兪褂玫氖遣煌娜四樧R別模型，使用用于重新訓(xùn)練 GCN 的相同 VGG2 子集：thrf = 1.07, thrwc = 1.15, thrsc = 1.05, nsr = 5, ncr = 10 .
該實(shí)驗(yàn)的結(jié)果如表 II 所示纷宇，表明我們的方法在 F-Measure 和處理時間方面優(yōu)于其他方法。 OGMC 運(yùn)行速度比 GCN 快 7 倍蛾方，比 ARO 快 6 倍以上像捶。這些處理時間的比率表明，與其他方法相比拓春，我們的方法也更適合放大。
我們還展示了在實(shí)驗(yàn)期間由所提出的方法生成的幾個示例集群。在圖 8 中，每一行代表一個由相互連接的不同集群組成的身份褐捻。這些身份包含光照條件痪宰、部分遮擋、透視和面部屬性的變化套像，因此它們由復(fù)雜的數(shù)據(jù)分布表示终息。通過我們提出的方法夺巩，我們能夠使用可變數(shù)量的連接集群準(zhǔn)確地近似這些分布。每個魯棒集群都會生成一個質(zhì)心（代表 f 向量）周崭，它代表特定條件范圍內(nèi)的身份。例如续镇，在圖 8 的第二行中，第二個聚類質(zhì)心表示昏暗照明條件下的身份人柿。如果我們試圖將這個身份的所有面孔分組在一個集群中忙厌，則可能會由于過于寬松的閾值和較差的質(zhì)量質(zhì)心而導(dǎo)致錯誤。在該圖中可以觀察到 OGMC 的另一個好處是逢净，身份異常值包含在與穩(wěn)健集群相連的非穩(wěn)健集群中。這樣甥雕，這些異常值不會損害穩(wěn)健聚類質(zhì)心的質(zhì)量胀茵，并減少匹配錯誤的數(shù)量。
圖 8 的最后一行展示了這種行為的一個明顯示例峭弟，其中第二個和第三個集群是由不合適的條件（照明、模糊瞒瘸、遮擋......）組合產(chǎn)生的異常值。
在本節(jié)的最后一個實(shí)驗(yàn)中省撑，我們測試了 OGMC 在極端條件下的準(zhǔn)確性：使用提取特征較少的向量的人臉識別模型和使用身份數(shù)量多得多的數(shù)據(jù)庫俯在。同樣，由于我們希望與其他方法進(jìn)行公平比較鸿摇，我們決定復(fù)制 [52] 中提出的實(shí)驗(yàn)劈猿。在這個實(shí)驗(yàn)中，他們選擇了數(shù)據(jù)庫 MS-Celeb-1M [48] 的一個子集筷黔，其中包含來自 86K 個身份的 580 萬張圖像仗颈，并將其隨機(jī)分成 10 個具有幾乎相等數(shù)量的身份的部分佛舱。然后挨决，他們隨機(jī)選擇 1 個部分作為標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練，另外 9 個部分作為未標(biāo)記數(shù)據(jù)肆捕。使用未標(biāo)記的數(shù)據(jù)，他們創(chuàng)建了 5 個具有越來越多的向量和身份的測試盖高。最后一個測試有 5.2M 個向量和 77K 個身份。此外喻奥，與之前使用的 512 個相比，提供的向量只有 256 個特征撞蚕。
因此，正如他們對其余方法所做的那樣，我們使用提供的訓(xùn)練數(shù)據(jù)調(diào)整 OGMC 的參數(shù)：thrf = 0.85, thrwc = 1.02, thrsc = 0.72, nsr = 4, ncr = 25抒和。然后彤蔽，我們評估算法使用 5 個測試子集庙洼，向量和身份的規(guī)模越來越大。實(shí)驗(yàn)結(jié)果列于表III中蚁袭∈В可以觀察到，OGMC 在每個測試子集中始終優(yōu)于其他方法删性。
通過這個實(shí)驗(yàn)焕窝，我們也證明了如果數(shù)據(jù)集的規(guī)模增加，OGMC的參數(shù)不需要重新調(diào)整它掂，所以如果人臉識別模型發(fā)生變化虐秋，用戶只需要調(diào)整參數(shù)，如上所述客给。當(dāng)然，與任何其他方法一樣只恨，我們必須確保訓(xùn)練數(shù)據(jù)足夠大且變化多端抬虽，以便從模型中提取必要的信息以正確調(diào)整參數(shù)。
C. 集群可擴(kuò)展性
我們還想證明我們的方法是可擴(kuò)展的休涤，并且適用于大規(guī)模的實(shí)時應(yīng)用。為此序苏，我們進(jìn)行了以下兩個實(shí)驗(yàn)捷凄。在第一個中，我們測試了我們的方法的可擴(kuò)展性匈睁，將 1桶错、2 和 3 百萬個干擾項添加到之前實(shí)驗(yàn)中使用的 IJB-C 向量中。因此糯钙，我們可以觀察到準(zhǔn)確性和處理時間如何隨著數(shù)據(jù)庫的大小而變化退腥。我們從 VGG2 人臉數(shù)據(jù)集 [51] 中生成干擾項，該數(shù)據(jù)集包含 330 萬張人臉演闭，屬于 9000 多個身份颓帝，在姿勢、年齡吕座、光照瘪板、種族和職業(yè)方面存在很大差異。使用與之前IJB-C實(shí)驗(yàn)相同的人臉識別模型锣枝，所以我們使用相同的參數(shù)值：thrf = 1.04, thrwc = 1.13, thrsc = 1.03, nsr = 5, ncr = 5兰英。
測試執(zhí)行 10 次，將所有向量隨機(jī)洗牌并計算所有測試的平均 F-Measure 和處理時間陨闹。對于 F-Measure 的計算，干擾項被忽略寨闹。表 IV 所示的結(jié)果表明君账，OGMC 具有極高的可擴(kuò)展性，添加 100 萬個干擾項時精度下降 0.1%帖蔓，添加 300 萬個時精度下降 0.5%瞳脓。此外澈侠，OGMC 能夠在不到 25 分鐘的時間內(nèi)處理超過 110 萬張人臉哨啃，在 2 小時 13 分鐘內(nèi)處理超過 310 萬張人臉。本實(shí)驗(yàn)中生成的集群和連接的一些示例如圖 11 所示拳球。
最后一個實(shí)驗(yàn)旨在證明 OGMC 適用于實(shí)時應(yīng)用祝峻。它包括使用具有 300 萬個干擾器的 IJB-C 向量重復(fù)之前的測試，并測量每個樣本的處理時間如何隨著處理的樣本數(shù)量和數(shù)據(jù)庫中的集群數(shù)量而變化（請注意酬姆，集群的數(shù)量不等于身份的數(shù)量奥溺，因?yàn)槲覀儧]有考慮連接）。
與之前的實(shí)驗(yàn)一樣相满，重復(fù)測試 10
次桦卒，將所有向量混洗隨機(jī)次數(shù)并將結(jié)果計算為所有測試的平均值。圖 9 顯示悯辙，在處理了 300 萬個樣本和 8 萬個集群的數(shù)據(jù)庫后，每個樣本的處理時間仍然是 5 毫秒针贬，這仍然允許 OGMC 每秒實(shí)時處理 200 個樣本拢蛋。該結(jié)果表明，即使在處理大量數(shù)據(jù)時快压，所提出的方法也適用于實(shí)時應(yīng)用垃瞧。
D. 消融研究
我們提出了一項消融研究來討論設(shè)計選擇對 OGMC 性能的影響。首先脉幢，我們展示了算法重新聚類階段的貢獻(xiàn)嗦锐。為此，我們僅應(yīng)用 OGMC 的第一階段運(yùn)行帶有 VGG2 干擾物的 IJB-C 實(shí)驗(yàn)萎羔，并將結(jié)果與應(yīng)用完整方法獲得的結(jié)果進(jìn)行比較碳默。表V顯示了實(shí)驗(yàn)結(jié)果。比較處理時間昵宇，我們可以看到去除重新聚類階段顯著降低了算法的復(fù)雜度儿子。然而柔逼，它也會導(dǎo)致準(zhǔn)確率的顯著下降（≈4%）。此外愉适，去除第二階段也顯著增加了準(zhǔn)確性對輸入數(shù)據(jù)順序的依賴性维咸。這是因?yàn)樵诟录簳r不會重新評估連接惠爽。
我們還想分析 GPU 并行化增加的速度瞬哼。我們用 CPU 重新實(shí)現(xiàn)了距離計算模塊坐慰，并在兩個版本的 OGMC 上重復(fù)了 IJB-C 實(shí)驗(yàn)，以測量處理時間如何隨著每種情況下的聚類樣本數(shù)而演變结胀。圖 10 中的比較結(jié)果表明糟港，使用 GPU 進(jìn)行距離計算并行化可以顯著減少每個樣本的計算時間，并顯著提高可擴(kuò)展性崔赌。然而耸别，與其他基于神經(jīng)網(wǎng)絡(luò)的方法（如 GCN [14] 或 GCN-V [52]）相比县钥，這個簡單的任務(wù)僅消耗一小部分 GPU 利用率若贮。此外，集群質(zhì)心所需的 GPU 內(nèi)存非常有限（100 萬個 512 維向量需要 2.4GB）谴麦，并且可以隨著數(shù)據(jù)庫的增長動態(tài)分配匾效，這使得 OGMC 適合與其他基于 GPU 的算法一起運(yùn)行（例如基于 DNN 的人臉識別模型）。
最后野宜，我們想證明 OGMC 的參數(shù)對訓(xùn)練數(shù)據(jù)集沒有顯著的依賴性魔策，只要它足夠大且變化多端，可以從人臉識別模型中提取必要的信息虎敦。為了證明這一點(diǎn)，我們使用相同的人臉識別模型重復(fù)了 IJB-C 實(shí)驗(yàn)胚迫，但我們沒有使用 VGG2 子集擂橘，而是使用 IJB-C 向量調(diào)整參數(shù)，以便我們在此測試中獲得最佳結(jié)果.因此朗若，我們獲得以下參數(shù)值：thrf = 1.04, thrwc = 1.13, thrsc = 1.03, nsr = 5, ncr = 5昌罩。通過這些值茎用，OGMC 實(shí)現(xiàn)了 0.952 的 BCubed F-Measure，僅提高了 0.4%超過原來的測試旭斥。因此古涧，該實(shí)驗(yàn)表明我們的假設(shè)是正確的，OGMC 參數(shù)幾乎完全取決于人臉識別模型菇爪，并且只有在更換此類模型時才需要重新調(diào)整它們柒昏。
E. 超越人臉識別
為了結(jié)束實(shí)驗(yàn)部分职祷，我們評估了 OGMC 在人臉識別之外的任務(wù)的有效性。
為此削葱，我們使用 DeepFashion 數(shù)據(jù)集 [40] 重現(xiàn)了 [52] 中提出的實(shí)驗(yàn)淳梦，該數(shù)據(jù)集是用于衣服檢索的著名數(shù)據(jù)集。在這個實(shí)驗(yàn)中首繁，他們混合了原始分割中的訓(xùn)練和測試特征，并從 3,997 個類別中隨機(jī)抽取 25,752 張圖像進(jìn)行訓(xùn)練夹攒，并從 3,984 個類別中隨機(jī)抽取 26,960 張圖像進(jìn)行測試胁塞。為了公平比較，我們使用了官方存儲庫中提供的相同的 256 維向量编检。因此扰才，我們使用訓(xùn)練集調(diào)整 OGMC 的參數(shù)：thrf = 0.51衩匣，thrwc = 0.58，thrsc = 0.49生百，nsr = 4柄延，ncr = 10。實(shí)驗(yàn)結(jié)果如表 VI 所示。在所有測試的方法中赎败，OGMC 取得了最好的 F-Measure蠢甲，證明了它對人臉識別以外的任務(wù)的適用性。
五搞糕、結(jié)論
在這項工作中曼追，我們解決了大規(guī)模在線人臉聚類的問題礼殊。我們提出了一種基于EM算法和高斯混合的方法针史。我們引入了集群連接的概念碟狞，其中一個身份可以由多個集群表示族沃。通過這種方法，我們減少了聚類過程對輸入數(shù)據(jù)的順序和大小的依賴常空，并且我們能夠處理復(fù)雜的數(shù)據(jù)分布未辆。進(jìn)行的實(shí)驗(yàn)及其衍生結(jié)果表明，無論是在線還是離線兼蜈，我們的方法在準(zhǔn)確性拙友、處理時間和可擴(kuò)展性方面都優(yōu)于最先進(jìn)的聚類方法遗契。
未來的工作將集中在通過使用 GPU 的計算能力并行化最小距離搜索來進(jìn)一步減少所提出方法的處理時間。此外漾根，鑒于 Covid-19 的當(dāng)前情況鲫竞，我們將研究使用外科口罩對聚類過程的影響。我們相信寄疏，對于一個身份僵井，所提出的方法會將帶有和不帶有掩碼的人臉分組在不同的集群中批什，但相互連接，因?yàn)槲覀円呀?jīng)證明該算法適用于部分遮擋朋蔫。最后，由于我們相信開源社區(qū)荷并，我們將很快發(fā)布 OGMC 的完整代碼以及用于實(shí)驗(yàn)的所有補(bǔ)充材料青扔，因此任何人都可以復(fù)制它們并為改進(jìn)方法做出貢獻(xiàn)微猖。
