ClustTR: Clustering Training for Robustness
Motasem Alfarra, Juan C. Pérez, Adel Bibi, Ali Thabet, Pablo Arbeláez, Bernard Ghanem
arXiv preprint arXiv:2006.07682.
作者提出聚類訓練(ClusTR)衡查,將聚類的思想應用于模型的輸出空間领斥,并設計出相應的clustering loss芹务,通過反向傳播學習出魯棒的模型屎暇。
-
首先定義基于聚類的分類器
給定輸入-標簽對,
廉油,標簽總共有
個類別
DNN定義為
考慮最簡單的二分類情況规哲,即诡蜓,每個類別的簇數(shù)
被分類為簇1,當且僅當
(
是簇1的中心猎塞,
是簇2的中心)
假設是Lipschitz連續(xù)试读,即
添加擾動
后,即
依然被分類正確荠耽,則有
其中钩骇,滿足
-
推廣到多類多簇
類別數(shù),每個類別的簇數(shù)為
其它類別同理 -
聚類損失Clustering Loss
設計聚類損失的核心思想在于铝量,使同類特征距離中心越近倘屹,不同類距離中心越遠
給定衡量同類距離的函數(shù),衡量不同類距離的函數(shù)
慢叨,綜合考慮
和
的穩(wěn)定損失
唐瀑,則有一般形式的聚類損失