最近主要在看對(duì)抗樣本惫谤，對(duì)抗訓(xùn)練相關(guān)的論文顽腾，在此寫(xiě)一下個(gè)人的一些理解近零，有些想法不是很成熟，歡迎交流抄肖。
什么是對(duì)抗樣本
簡(jiǎn)單的說(shuō)久信，就是會(huì)使得機(jī)器學(xué)習(xí)的算法產(chǎn)生誤判的樣本。比如下圖
2014年漓摩，Anh Nguyen裙士，Jason Yosinki，Jeff Clune發(fā)表論文Deep Neural Networks are Easily Fooled管毙，構(gòu)造了一類“對(duì)抗樣本”腿椎。機(jī)器視覺(jué)在這些樣本上會(huì)產(chǎn)生戲劇性的錯(cuò)誤。如圖夭咬，深度神經(jīng)網(wǎng)絡(luò)把左圖看成狗啃炸，右圖看成鴕鳥(niǎo)。
為什么會(huì)產(chǎn)生對(duì)抗樣本
- 訓(xùn)練樣本集不可能覆蓋所有的可能性卓舵，并且很可能只能覆蓋一小部分肮帐，所以不可能從中訓(xùn)練出一個(gè)覆蓋所有樣本特征的模型
-
用模型訓(xùn)練分類問(wèn)題的時(shí)候，目標(biāo)是如何更好的分類边器，所以模型會(huì)盡量擴(kuò)大樣本和boundary之間的距離训枢，擴(kuò)大每一個(gè)class區(qū)域的空間。這樣做的好處是讓分類更容易忘巧，但壞處是也在每一個(gè)區(qū)域里包括了很多并不屬于這個(gè)class的空間恒界。
image.png
如上圖，藍(lán)色為數(shù)據(jù)的真實(shí)決策邊界（real decision boundary）,紅色為模型的決策邊界（model decision boundary）砚嘴∈ǎ可以發(fā)現(xiàn)涩拙，基于圖中已有的數(shù)據(jù)集，紅線已經(jīng)是一條最后的決策邊界了耸采，但是離真實(shí)的決策邊界依然有很多差別的地方兴泥，當(dāng)維數(shù)增加，這樣的差別會(huì)變得更加的大虾宇，也就是說(shuō)會(huì)有許多的對(duì)抗樣本存在搓彻。
模型的魯棒性
因?yàn)閷?duì)抗樣本的存在，我們有必要對(duì)機(jī)器模型的評(píng)判提供一個(gè)新的評(píng)判標(biāo)準(zhǔn)嘱朽，用于分析模型對(duì)于微小擾動(dòng)的抵抗能力旭贬。使得模型誤判需要的擾動(dòng)幅度越大，那么說(shuō)明模型的魯棒性越好搪泳。
生成對(duì)抗樣本的方法簡(jiǎn)介
在一個(gè)黑盒攻擊中稀轨，我們能夠得知模型對(duì)應(yīng)的輸入輸出，由于對(duì)抗樣本存在的必然性岸军，理論上奋刽，我們只需要在原樣本中隨機(jī)的添加擾動(dòng)，然后不斷暴力嘗試艰赞，測(cè)試是否攻擊成功即可佣谐。
但是實(shí)際上，這樣的搜索是及其耗時(shí)的猖毫，并且隨著特征緯度增加，幾乎是不可實(shí)現(xiàn)的须喂，想要通過(guò)隨機(jī)的干擾構(gòu)造出對(duì)抗樣本的可行性是很小的吁断。
基于此，現(xiàn)在已有很多生成對(duì)抗樣本相關(guān)的算法出現(xiàn)坞生，下面僅做一些簡(jiǎn)單的介紹
Fast Gradient Sign Method（FGSM）
這個(gè)算法在Good Fellow的論文EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES中提出仔役，主要是基于對(duì)抗樣本的線性解釋。之前很多人認(rèn)為是由于模型非線性的特征導(dǎo)致了對(duì)抗樣本的產(chǎn)生是己，而論文提出恰恰是模型本身的線性（或者說(shuō)是通過(guò)點(diǎn)乘得到score的方式）引發(fā)了對(duì)抗樣本又兵。一個(gè)形象的解釋如下圖：
Targeted FGSM
與FGSM主要的區(qū)別是，F(xiàn)GSM將樣本沿著梯度下降的反方向構(gòu)造樣本卒废，而targeted FGSM沿著希望模型誤判的class的方向構(gòu)造沛厨。
Iterative FGSM(I-FGSM)
上面兩個(gè)FGSM的算法在構(gòu)造對(duì)抗樣本的時(shí)候都只進(jìn)行了一部構(gòu)造，也就是沿著特定的方向在一定閾值的限制下摔认，移動(dòng)一步逆皮。而I-FGSM則通過(guò)多步更小的移動(dòng)，使得能夠構(gòu)造出更加精準(zhǔn)的對(duì)抗樣本参袱，但同時(shí)也提升了構(gòu)造的計(jì)算量电谣，減慢了構(gòu)造的速度秽梅。
RAND-FGSM
該算法在論文Ensemble Adversarial Training Attacks and Defenses中提出，提出的原因主要是認(rèn)為：在數(shù)據(jù)點(diǎn)附近的損失函數(shù)會(huì)有很大的曲率剿牺，也就是不夠平滑企垦，從而導(dǎo)致生成的對(duì)抗樣本會(huì)對(duì)自身的模型有特異性，這也解釋了為什么經(jīng)過(guò)對(duì)抗訓(xùn)練的模型對(duì)于白盒攻擊的魯棒性比黑盒攻擊的魯棒性更好這個(gè)奇怪的現(xiàn)象晒来。
JSMA
暫時(shí)還沒(méi)有進(jìn)行了解
算法提出自論文The Limitations of Deep Learning in Adversarial Settings
對(duì)抗訓(xùn)練
通過(guò)在原有的模型訓(xùn)練過(guò)程中注入對(duì)抗樣本钞诡，從而提升模型對(duì)于微小擾動(dòng)的魯棒性。如FGSM的做法就是直接修改損失函數(shù)如下：
黑盒攻擊和白盒攻擊
很容易理解潜索，黑盒攻擊就是已知輸入輸出的對(duì)應(yīng)關(guān)系臭增，攻擊者去尋找對(duì)抗樣本來(lái)實(shí)現(xiàn)對(duì)模型的攻擊。而白盒攻擊就是已知模型的所有結(jié)構(gòu)和知識(shí)竹习，來(lái)實(shí)現(xiàn)對(duì)模型的攻擊誊抛。在論文Practical Black-Box Attacks against Machine Learning中，提出對(duì)于模型的黑盒攻擊可以通過(guò)觀察其輸入輸出的對(duì)應(yīng)關(guān)系整陌，構(gòu)造一個(gè)相似的機(jī)器學(xué)習(xí)模型拗窃，然后對(duì)其進(jìn)行白盒攻擊，得到的對(duì)抗樣本通常也具有遷移性泌辫，能夠?qū)π枰舻暮诤羞_(dá)到很高的成功率随夸。
總結(jié)
對(duì)抗樣本對(duì)抗訓(xùn)練這一塊依然還有許多要研究的地方，有許多地方依然還沒(méi)有得到很好的結(jié)論震放。比如宾毒，
對(duì)抗樣本的遷移性產(chǎn)生的原因到底是什么？為什么使用FGSM等一步的算法生成的對(duì)抗樣本有很優(yōu)秀的遷移性殿遂，而使用多步迭代的算法卻無(wú)法很好的遷移诈铛？
如何去正確評(píng)判一個(gè)模型針對(duì)擾動(dòng)的抵抗性？在論文Ensemble Adversarial Training Attacks and Defenses做了一下闡述墨礁，提到了包括同時(shí)進(jìn)行黑盒和白盒攻擊檢測(cè)的重要性幢竹。不同的對(duì)抗樣本生成算法會(huì)有不同的特性，因此恩静，模型的不同的生成算法的抵抗性也不同焕毫。
