一扮匠、Adversarial Label Flips Attack on Support Vector Machines
Xiao, H., Xiao, H., In: ECAI. (2012)
尋找翻轉(zhuǎn)標(biāo)簽后可以最大化分類誤差的數(shù)據(jù)點(diǎn)熏纯，將它們翻轉(zhuǎn)標(biāo)簽后加入訓(xùn)練數(shù)據(jù)集中，使模型性能降低证逻，完成Label Flips Attack（可以看作是實(shí)現(xiàn)Poisoning Attack的一種方式涛碑，詳見另一篇Poisoning Attack）朴爬，該篇主要針對(duì)SVM算法進(jìn)行攻擊丰歌。
在文章中對(duì)兩種攻擊方式有不同的命名：
- Exploratory attack：攻擊者偽造看似正常實(shí)則異常的對(duì)抗樣本來欺騙逃過分類算法，例如在垃圾郵件中加入不相關(guān)的單詞以逃過垃圾郵件過濾器
- Causative attack（poisoning attack）：給訓(xùn)練集加入對(duì)抗樣本（可以使用標(biāo)簽翻轉(zhuǎn)等方法）使模型本身出現(xiàn)偏差报辱，例如將垃圾郵件標(biāo)記為合法郵件給模型進(jìn)行訓(xùn)練与殃，可能使模型將垃圾郵件分類為正常，將合法郵件過濾
相比較而言causative attack因?yàn)闀?huì)對(duì)模型造成長(zhǎng)期且持續(xù)的影響而備受關(guān)注碍现，causative attack可以通過對(duì)訓(xùn)練集引入特征噪聲或標(biāo)簽噪聲來實(shí)現(xiàn)幅疼，之前的研究大多都假設(shè)標(biāo)簽是隨機(jī)刪除的，或者將標(biāo)簽噪聲的分布限定在某些類別中鸵赫，而沒有真正從攻擊者的攻擊策略去考慮衣屏。最近提出了針對(duì)SVM的啟發(fā)式標(biāo)簽翻轉(zhuǎn)策略。
文中公式先略
主要問題是兩個(gè)主要公式是相互沖突的：
- 一個(gè)公式的好的結(jié)果與另一個(gè)的壞的結(jié)果相關(guān)聯(lián)（防御者希望學(xué)習(xí)一個(gè)具有最小經(jīng)驗(yàn)損失和好的泛化能力的分類器辩棒，而攻擊者希望得到一個(gè)具有最大損失和差的泛化能力的分類器）狼忱。
- 單個(gè)標(biāo)簽翻轉(zhuǎn)數(shù)據(jù)都有可能改變分類器膨疏，所以僅僅基于當(dāng)前分類器的貪婪策略是無效的，攻擊者需要評(píng)估每個(gè)標(biāo)簽翻轉(zhuǎn)的數(shù)據(jù)點(diǎn)的組合钻弄，以找到最能惡化分類器性能的組合佃却。
由于這兩點(diǎn)，本文假設(shè)攻擊者僅在原始數(shù)據(jù)集上最大化經(jīng)驗(yàn)損失窘俺，防御者僅最大化泛化能力
實(shí)驗(yàn)
分別在線性核的SVM和RBF核的SVM上進(jìn)行了兩組實(shí)驗(yàn)饲帅。首先使用一些二維合成數(shù)據(jù)來可視化標(biāo)簽翻轉(zhuǎn)下SVM的決策邊界。 第二組實(shí)驗(yàn)是在十個(gè)真實(shí)世界的數(shù)據(jù)集上進(jìn)行的瘤泪，在這些數(shù)據(jù)集中灶泵，我們將標(biāo)簽翻轉(zhuǎn)對(duì)SVM的影響集中在不同的預(yù)算上。
