3. 程序化噪聲方法
該文章提出一種利用程序化噪聲來生成對(duì)抗樣本的方法, 所提出的方法和那些通過梯度不斷修改以至于到達(dá)分類器的邊界的方法不一樣, 上述方法需要對(duì)目標(biāo)的模型有一定的了解.
使用一類現(xiàn)實(shí)和自然紋理來生成對(duì)抗樣本, 利用擾動(dòng)對(duì)機(jī)器學(xué)習(xí)算法最終的結(jié)果產(chǎn)生不同. 程序化噪聲廣泛應(yīng)用于計(jì)算機(jī)圖形學(xué), 并且在電影和視頻游戲中有大量的應(yīng)用, 用來生成仿真的紋理來細(xì)化自然的細(xì)節(jié), 進(jìn)而增強(qiáng)圖像, 特別地, 比如玻璃, 樹木, 大理石和動(dòng)畫(比如云, 火焰和波紋)的紋理. 由于這些特征, 假設(shè)程序化的噪聲可以容易地騙過圖片的分類算法, 并且給出的擾動(dòng)和圖片的背景和前景都有著相似的地方.
這樣的噪聲方法被設(shè)計(jì)為可以擴(kuò)展到大圖片數(shù)據(jù)集上, 能夠很快進(jìn)行分析并且實(shí)現(xiàn)低的內(nèi)存使用. 這樣的方法是參數(shù)化的, 使用相同的函數(shù)可以生成不同的噪聲模式, 這樣的性質(zhì)使得可以被用做實(shí)際的黑盒攻擊.
如果想要對(duì)程序化噪聲有更深刻的了解, 可以細(xì)看
A. Lagae, S. Lefebvre, R. Cook, T. DeRose, G. Drettakis, D. S. Ebert, J. P. Lewis, K. Perlin, and M. Zwicker, “A Survey of Procedural Noise Functions,” in Computer Graphics Forum, vol. 29, no. 8, 2010, pp. 2579– 2600.
A. 躲避分類器
作為一種生成對(duì)抗樣本的方法, 需要解釋程序性噪聲是如何欺騙現(xiàn)存的圖片分類器的.
可以寬松地定義"自然紋理"來作為圖片的擾動(dòng), 該擾動(dòng)為真實(shí)圖片的復(fù)制或者和自然模式有一些隱藏的結(jié)構(gòu)相似性. 直覺是通過自然紋理對(duì)圖片進(jìn)行覆蓋, 圖片分類器會(huì)對(duì)這些加上去的形狀和模式進(jìn)行解釋并作為特征, 這些特征將會(huì)影響最后的結(jié)果.
在合適的小的擾動(dòng)之下, 生成的紋理將不會(huì)破壞原有的圖片, 并且欺騙分類器.
傳統(tǒng)的隨機(jī)噪聲, 比如高斯噪聲或者椒鹽噪聲, 都是像素級(jí)別的, 對(duì)于像素級(jí)別的噪聲對(duì)于神經(jīng)網(wǎng)絡(luò)是沒有作用的, 原因是有卷積層和dropout來進(jìn)行過濾, 另一方面, 復(fù)制自然圖片的基于特征的噪聲幾何屬性和其他圖像是相似的. 由于現(xiàn)有的圖像分類器被訓(xùn)練用于區(qū)分自然圖片, 基于特征的噪聲更有可能去影響最后的預(yù)測(cè)效果.
許多基于梯度的方法都是尋找一些分類器決策邊界的幾何相關(guān)性, 假定通過紋理或者模式在圖片中也可以使用這種幾何相關(guān)性, 并實(shí)現(xiàn)有效的攻擊.
文章觀察到在UAP中的攻擊具有一些模式或者結(jié)構(gòu), 如下圖所示
這些模式或者結(jié)構(gòu)對(duì)于人類是無法識(shí)別的. UAP吸引人的地方在于, 大量的圖片只使用同一個(gè)對(duì)抗擾動(dòng)即可. 對(duì)于程序化的噪聲, 如同下圖的第三行
即生成一些和UAP相似的噪聲模式, 可以期望令程序化噪聲的模式和UAP有相似的屬性, 實(shí)現(xiàn)給定圖片集合中的一大部分的錯(cuò)分類.
使用Perlin噪聲作為程序化噪聲是由于其易于使用, 流行并且簡(jiǎn)單, 雖然Perlin噪聲不是最有效或者無偽影的噪聲函數(shù), 其簡(jiǎn)單的實(shí)現(xiàn)對(duì)于低成本的黑盒攻擊而言十分有效.
Perlin噪聲是一種梯度噪聲, 梯度噪聲是利用一個(gè)偽隨機(jī)梯度的方格來生成的噪聲, 對(duì)這些點(diǎn)積然后插值得到噪聲.
Perlin噪聲的實(shí)現(xiàn)可以歸結(jié)為三個(gè)步驟:
- 偽隨機(jī)梯度向量的方格定義
- 對(duì)距離-梯度向量進(jìn)行點(diǎn)乘操作
- 在這些值之間進(jìn)行插值
對(duì)于一個(gè)給定的點(diǎn), perlin噪聲的值通過在方格上的最鄰近的個(gè)點(diǎn)的偽隨機(jī)的梯度上進(jìn)行樣條插值, 其中
是圖像的維度. 樣條插值使用其平滑變化可以構(gòu)造自然外觀的圖像, 因此區(qū)別于線性插值.
對(duì)于二維的圖像(), 在點(diǎn)
上的噪聲通過以下方法進(jìn)行推導(dǎo):
令為方格的四個(gè)點(diǎn), 其中
以及
, 那么可以得到四個(gè)梯度
, 預(yù)計(jì)算的數(shù)組
是偽隨機(jī)的數(shù)組,
包含一個(gè)偽隨機(jī)的排列和相應(yīng)的偽隨機(jī)的單位梯度, 四個(gè)線性函數(shù)
, 然后通過利用
和
雙線性插值, 其中
, 所得的結(jié)果就是Perlin噪聲值
,
在該文章中, 規(guī)定了其中的參數(shù), 頻率, 倍頻的數(shù)目
, 缺項(xiàng)
, 頻率對(duì)應(yīng)著臨近像素值的改變的速率, 它影響了圖片的視覺平滑性. 倍頻的數(shù)目則是與外加噪聲的多少有關(guān), 缺項(xiàng)則是倍頻之間的頻率乘子, 如果該項(xiàng)越大則細(xì)節(jié)越多.
因此Perlin噪聲就變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=P(a%2Cb%3B%5Cnu%2C%20%5Comega%2C%20k)%3D%5Csum_%7Bn%3D1%7D%5E%7B%5Comega%7D%7BP(a%2Cb%3B%5Cnu%2C%20%5Comega%2C%20k)%7D" alt="P(a,b;\nu, \omega, k)=\sum_{n=1}^{\omega}{P(a,b;\nu, \omega, k)}" mathimg="1">, 為了便于記憶, 我們寫成
顏色映射(Colour Map)
顏色映射通常被用來在圖片的顏色和模式上來創(chuàng)造額外的變化, 顏色圖如何影響視覺外觀的一個(gè)例子可見上圖, 在本文中, 使用一個(gè)正弦函數(shù)和一個(gè)頻率參數(shù)來映射顏色, 使用一個(gè)灰度顏色映射, 三通道的RGB也是一樣的, 犧牲噪聲的復(fù)雜性使得可以針對(duì)優(yōu)化問題在一個(gè)更小的解空間里面去搜索, 所需要優(yōu)化的參數(shù)也變小了
我們用噪聲值定義它, 函數(shù)
. 正弦函數(shù)的周期性在圖像中產(chǎn)生不同的帶, 以實(shí)現(xiàn)類似于圖2中的對(duì)抗性擾動(dòng)的外觀.
雖然這減少了我們可以探索的各種模式, 但是增加額外的復(fù)雜性需要更多的查詢才能使黑盒攻擊成功. 圖5示出了使用灰度正弦彩色圖足以用極少量的查詢來制作成功的攻擊. 同樣的推理適用于我們選擇的Perlin噪聲函數(shù).
擴(kuò)展性:
我們定義我們的生成函數(shù), 它由Perlin噪聲和灰度正弦彩色映射組合而成, 在點(diǎn)
的噪聲為:
現(xiàn)在, 我們的參數(shù)為
我們的噪聲函數(shù)的這種可參數(shù)化特性極大地減少了對(duì)抗擾動(dòng)的搜索空間. 我們不是在ImageNet上搜索整個(gè)圖像空間(最大可達(dá)268,203像素), 而是針對(duì)較小的搜索空間優(yōu)化算法, 在我們的例子中是4個(gè)特征. 功能數(shù)量的大幅減少極大地提高了攻擊的可擴(kuò)展性和速度.
在限制性設(shè)置中, 可以應(yīng)用像貝葉斯優(yōu)化這樣的黑盒優(yōu)化技術(shù)來進(jìn)一步減少對(duì)目標(biāo)模型的查詢數(shù)量. 在攻擊者旨在避免檢測(cè)的對(duì)抗設(shè)置中, 這是非常理想的.
4. 攻擊實(shí)現(xiàn)
在本節(jié)中, 我們定義了威脅模型并描述了Perlin噪聲攻擊. 威脅模型允許我們將黑盒攻擊置于上下文中, 并正式定義目標(biāo), 功能和約束. 盡管攻擊的形式與所考慮的數(shù)據(jù)類型或分類問題無關(guān), 但產(chǎn)生的擾動(dòng)旨在欺騙計(jì)算機(jī)視覺任務(wù)中的機(jī)器學(xué)習(xí)系統(tǒng).
我們提出的攻擊是一種基于查詢的黑盒算法, 它利用了程序噪聲的屬性. 在選擇了具有參數(shù)的程序噪聲函數(shù)
之后, 我們首先創(chuàng)建圖像擾動(dòng)以添加到原始“干凈”圖像. 然后將使用此更改的圖像查詢目標(biāo)模型. 如果攻擊不成功, 我們將使用貝葉斯優(yōu)化更新我們后續(xù)的查詢
, 旨在優(yōu)化攻擊者的目標(biāo)函數(shù).
A. 威脅模型
為了使對(duì)抗能力和目標(biāo)形式化, 我們還有一些額外的符號(hào). 給定類和分類器
的多分類問題, 讓
為輸入
的輸出概率分?jǐn)?shù). 因此,
是
維概率向量, 其中
,
中的第
個(gè)元素, 表示
屬于類
的概率.
當(dāng)存在大量類時(shí)(例如, ImageNet數(shù)據(jù)集具有1,000個(gè)類標(biāo)簽), 分類器的性能通常以“前個(gè)”精度來衡量, 即, 當(dāng)正確的標(biāo)簽在
個(gè)最高概率分?jǐn)?shù)中時(shí). 設(shè)
為給定輸入
的第
個(gè)最高概率分?jǐn)?shù). 在
的情況下, 我們有
, 它是分類器對(duì)
的預(yù)測(cè)標(biāo)簽. 設(shè)
表示對(duì)象
的真實(shí)標(biāo)簽. 當(dāng)
時(shí), 出現(xiàn)前n個(gè)逃避, 其中“逃避”指的是目標(biāo)分類器無法預(yù)測(cè)n個(gè)最高概率分?jǐn)?shù)內(nèi)的真實(shí)標(biāo)簽的情況.
設(shè)是對(duì)抗者選擇的生成噪聲函數(shù),
是其參數(shù). 我們將
定義為所得的對(duì)抗擾動(dòng), 即應(yīng)用于每個(gè)像素坐標(biāo)以生成整個(gè)圖像的函數(shù)
. 我們將對(duì)側(cè)示例
表示為輸入
和生成的對(duì)抗擾動(dòng)
之和, 即
.
對(duì)手知識(shí)
目標(biāo)模型是一個(gè)已經(jīng)完成學(xué)習(xí)的黑盒分類器. 我們假設(shè)攻擊者沒有目標(biāo)分類器的內(nèi)幕知識(shí), 例如其學(xué)習(xí)算法, 訓(xùn)練數(shù)據(jù)和模型設(shè)置. 雖然對(duì)手知道分類器的輸入, 輸出和類標(biāo)簽的數(shù)據(jù)類型.
對(duì)手能力
攻擊者可以使用任何輸入x查詢目標(biāo)分類器F, 并且知道這些輸入的真實(shí)類標(biāo)簽τ(x). 在某些情況下, 圖像分類器提供概率向量作為輸出, 以顯示分類器的置信度和替代預(yù)測(cè). 因此, 對(duì)手可以觀察輸出類概率F(x)是合理的. 我們還考慮了這種概率輸出向量不可用的情況.
對(duì)手目標(biāo)
在給定合法輸入的情況下, 對(duì)手希望在目標(biāo)分類器中產(chǎn)生Top n evasion, 因?yàn)橛邢薜念A(yù)算會(huì)增加原始輸入的擾動(dòng). 對(duì)手的主要目標(biāo)是通過降低具有對(duì)抗性示例的真實(shí)類別標(biāo)簽
的概率來實(shí)現(xiàn)錯(cuò)誤分類. 當(dāng)真正的輸入
已經(jīng)錯(cuò)誤分類時(shí), 這是微不足道的. 與[21]類似, 我們專注于不分青紅皂白而非目標(biāo)錯(cuò)誤分類, 盡管我們的攻擊方法可以應(yīng)用于兩者.
攻擊者在最大限度地減少用于制造攻擊的擾動(dòng)的約束是根據(jù)原始輸入x和頭部對(duì)側(cè)輸入之間的一些距離度量
來定義的. 這相當(dāng)于限制擾動(dòng)
的范數(shù), 其中
. 這種擾動(dòng)幅度的上限允許我們?yōu)楣粽呓？蓹z測(cè)性約束. 我們還通過限制攻擊者的查詢數(shù)量來強(qiáng)加進(jìn)一步的可檢測(cè)性限制. 這是因?yàn)樵趯?shí)際情況下, 大量類似的請(qǐng)求會(huì)引起懷疑并且可以檢測(cè)到攻擊者. 盡管在一些有關(guān)黑盒攻擊的相關(guān)工作[23], [25], [44]中已經(jīng)提到了對(duì)查詢數(shù)量的限制, 但在大多數(shù)情況下并未考慮這種限制.
B. 目標(biāo)函數(shù)
我們現(xiàn)在可以定義用于生成對(duì)抗性示例的約束優(yōu)化問題. 給定具有k類的學(xué)習(xí)分類F, 對(duì)手具有他們想要改變的輸入x, 使得新輸入x0 = x +δ被F的前n個(gè)誤分類, 對(duì)距離||δ||<ε和數(shù)量的約束, 查詢q <qmax.
與相關(guān)工作一致, 我們假設(shè)我們的擾動(dòng)預(yù)算ε足夠小, 因此它不會(huì)以顯著的方式在視覺上修改圖像, 并且對(duì)于任何生成的x0, 原始標(biāo)簽都保留. 該算法的目標(biāo)是在參數(shù)θ上優(yōu)化我們選擇的生成函數(shù)G, 因此我們?cè)谀繕?biāo)函數(shù)中用δ(θ)代替δ. 當(dāng)
時(shí)發(fā)生前n個(gè)逃避, 因此優(yōu)化問題的形式如下：
對(duì)于所考慮的圖像分類數(shù)據(jù)集, 我們將像素值標(biāo)準(zhǔn)化為[0,1]. G(θ)和x + G(θ)的分量分別被剪切為[-ε, ε]和[0,1]以滿足這些約束. 對(duì)于前n個(gè)逃避, 我們的目標(biāo)函數(shù)小于0是足夠的. 因此, 我們的算法的停止條件是
C. 貝葉斯優(yōu)化
貝葉斯優(yōu)化是一種基于序列模型的優(yōu)化算法, 主要用于在黑盒設(shè)置中有效地找到最優(yōu)參數(shù)θ[27], [28]. 事實(shí)證明, 該技術(shù)可以有效地解決各種問題, 如超參數(shù)調(diào)整, 強(qiáng)化學(xué)習(xí), 機(jī)器人和組合優(yōu)化[50].
貝葉斯優(yōu)化由兩部分組成, 首先是概率代理模型, 通常是高斯過程（GP）, 第二是指導(dǎo)其查詢的獲取函數(shù). 該算法使用此獲取功能來選擇輸入以查詢目標(biāo)分類器并觀察輸出. 然后更新統(tǒng)計(jì)模型的先驗(yàn)信念以產(chǎn)生函數(shù)的后驗(yàn)分布, 其在給定觀察數(shù)據(jù)的情況下更具代表性. 一旦最佳目標(biāo)函數(shù)值停止改進(jìn)或算法達(dá)到最大迭代次數(shù)（查詢）[50], 算法就會(huì)停止. 該算法具有查詢效率, 因?yàn)樗谄涓碌暮篁?yàn)中使用過去查詢提供的所有信息, 同時(shí)還考慮了關(guān)于目標(biāo)函數(shù)的模型的不確定性.
高斯過程
貝葉斯優(yōu)化的第一個(gè)組成部分是我們目標(biāo)函數(shù)的概率替代模型. GP是對(duì)函數(shù)分布的高斯分布的推廣, 通常用作貝葉斯優(yōu)化的替代模型[51]. 我們使用GPs, 因?yàn)樗鼈円鹆藢?duì)分析易處理的目標(biāo)函數(shù)的后驗(yàn)分布. 這使我們能夠在每次迭代后更新我們對(duì)目標(biāo)函數(shù)的看法[28].
GP是一個(gè)非參數(shù)模型, 完全由先驗(yàn)均值和正定的核函數(shù)來描述[50]. 正式地, GP是隨機(jī)變量的集合, 其中任何有限數(shù)量形成高斯分布. 非正式地, 它可以被認(rèn)為是具有無限長(zhǎng)矢量的隱藏（未知）函數(shù), 并且GP描述其分布, 類似于如何通過n維高斯分布來描述一組n維矢量.
GP對(duì)豐富的函數(shù)分布進(jìn)行建模的能力取決于其核函數(shù), 該函數(shù)控制函數(shù)分布的重要屬性, 如平滑度, 可微分性, 周期性和幅度[50], [51]. 目標(biāo)函數(shù)的任何先驗(yàn)知識(shí)都在內(nèi)核的超參數(shù)中編碼. 但是, 由于對(duì)手幾乎不了解目標(biāo)模型, 因此對(duì)手必須采用更通用的核函數(shù)[28].
內(nèi)核函數(shù)的常見選擇包括自動(dòng)相關(guān)性確定（ARD）平方指數(shù)和Mat'ern內(nèi)核. 對(duì)于我們的實(shí)驗(yàn), 我們遵循Snoek等人的觀點(diǎn). [28]在選擇Mat'ern 5/2內(nèi)核時(shí), 他們聲稱像ARD這樣的其他常見選擇對(duì)于實(shí)際優(yōu)化問題是不切實(shí)際的平滑[28]. Mat'ern 5/2內(nèi)核產(chǎn)生兩次可微分函數(shù), 這一假設(shè)與流行的黑盒優(yōu)化算法（如準(zhǔn)牛頓方法, 不需要ARD的平滑性）相對(duì)應(yīng).
獲取函數(shù)
貝葉斯優(yōu)化中的第二個(gè)組件是一個(gè)獲取函數(shù), 它描述了查詢的最佳性. 直觀地, 采集函數(shù)評(píng)估候選點(diǎn)在下一次評(píng)估中的效用, 并且通常將其定義為使得高采集對(duì)應(yīng)于目標(biāo)函數(shù)的潛在最優(yōu)值[52].
獲取函數(shù)必須平衡探索和利用之間的權(quán)衡. 探索尋求高方差區(qū)域, 即目標(biāo)函數(shù)值不確定性較高的區(qū)域. 剝削尋找目標(biāo)函數(shù)的不確定性和估計(jì)平均值較低的地方[50], 即模型與目標(biāo)函數(shù)的估計(jì)值相關(guān). 太少的探索可能會(huì)使其陷入局部極值, 而太多的探索并未充分利用所做的觀察.
考慮到黑盒設(shè)置, 我們選擇通用的采集功能. 兩種最受歡迎的選擇是優(yōu)化預(yù)期改進(jìn)（EI）或高斯過程上限（UCB）. EI和UCB都被證明在真正的黑盒優(yōu)化問題中是有效的和數(shù)據(jù)有效的[28]. 然而, 大多數(shù)工作已經(jīng)發(fā)現(xiàn)EI收斂接近最優(yōu), 不需要調(diào)整自己的參數(shù), 并且在一般情況下比UCB表現(xiàn)更好[28], [50], [52]. 這使得EI成為我們收購功能的最佳候選人.
D. 參數(shù)選擇
在本節(jié)的其余部分, 我們將討論如何選擇參數(shù)（θ）, 邊界（ε, qmax）和度量（||·||）. 我們還概述了參數(shù)優(yōu)化策略, 同時(shí)考慮了我們的威脅模型.
參數(shù)邊界
如前面部分所述, G的參數(shù)是θ= {ν, ω, κ, νsine}, 即：Perlin噪聲函數(shù)的頻率, 倍頻的數(shù)量, 缺項(xiàng)和正弦顏色映射函數(shù)的頻率. 優(yōu)化這些參數(shù)需要我們首先確定它們的邊界, 超出這些邊界的變化不會(huì)影響所得圖像的外觀.
網(wǎng)格搜索標(biāo)識(shí)當(dāng)參數(shù)值被擾動(dòng)時(shí)所生成的噪聲繼續(xù)具有顯著變化的范圍. 這些范圍將是參數(shù)的搜索邊界. “明顯的變化”是通過視覺檢查和“2下降范圍”來衡量的. 我們松散確定的邊界是ν∈[20,80], ω∈{1,2,3,4}, κ∈[1.7,2.2]和νsine∈[2,32].
參數(shù)優(yōu)化
- 隨機(jī). 我們隨機(jī)選擇噪聲函數(shù)的參數(shù). 這用作基線性能并且對(duì)應(yīng)于非自適應(yīng)攻擊, 其中對(duì)手不接收反饋或者不能訪問目標(biāo)模型的輸出概率. 更多查詢導(dǎo)致發(fā)現(xiàn)一組實(shí)現(xiàn)逃避的參數(shù)的可能性更高. 在這種情況下, 攻擊者不需要訪問F（x）中每個(gè)標(biāo)簽的概率, 而只需要訪問前n個(gè)類的標(biāo)簽.
- 貝葉斯優(yōu)化. 我們使用具有Mat'ern 5/2內(nèi)核的高斯過程來選擇參數(shù), 以對(duì)可能的目標(biāo)函數(shù)放置先驗(yàn)信息, 然后通過在每次查詢之后更新后驗(yàn)來依次重新確定參數(shù)的選擇. 我們使用預(yù)期改進(jìn)（EI）獲取功能來指導(dǎo)下一個(gè)查詢. 后驗(yàn)代表了觀察到的數(shù)據(jù)點(diǎn)的更新信念[50].
由于對(duì)查詢數(shù)量的限制, 諸如網(wǎng)格搜索和基于梯度的優(yōu)化之類的詳盡且查詢密集的超參數(shù)搜索方法是不可行的. 我們只選擇貝葉斯優(yōu)化作為查詢效率參數(shù)選擇策略.
最大查詢數(shù)
通過我們的生成函數(shù)可以實(shí)現(xiàn)對(duì)逃避的實(shí)現(xiàn), 因此我們?cè)O(shè)置最大預(yù)算qmax以將查詢數(shù)量保持在合理的范圍內(nèi). 對(duì)于貝葉斯優(yōu)化, 高斯過程回歸中的精確推斷是O（q3）, 其中q是觀察或查詢的數(shù)量. 該成本是由于在更新后驗(yàn)時(shí)協(xié)方差矩陣的反演. 由于這個(gè)限制, 并且基于我們的初步實(shí)驗(yàn), 我們?cè)O(shè)置qmax = 100.這個(gè)上限被證明是足夠的, 因?yàn)閷?shí)驗(yàn)表明攻擊者在q接近這個(gè)qmax之前的性能平穩(wěn). 我們可以通過稀疏GP來降低計(jì)算復(fù)雜度[53], [54], 這提供了估計(jì)精度和可擴(kuò)展性之間的權(quán)衡. 然而, 鑒于攻擊的有效性, 標(biāo)準(zhǔn)GP對(duì)我們來說是一個(gè)非常合適的選擇.
距離度量
距離度量是用于量化圖像之間的相似性的有用啟發(fā)法. 通常的度量標(biāo)準(zhǔn)是“p”范數(shù), 因?yàn)槿绻麍D像的差異r滿足||r|| <ε, 那么圖像在視覺上是相似的, 以獲得足夠小的ε. 對(duì)于∞范數(shù), 任何坐標(biāo)之間的最大可能差異是由ε限制的, 因此我們對(duì)所有點(diǎn)都有||ri|| <εi. 由于其像素方式構(gòu)造, 我們的噪聲函數(shù)最好用∞范數(shù)測(cè)量. 對(duì)于ImageNet數(shù)據(jù)集, 我們遵循先前研究[20]和[21]中的∞≤16/256的∞范數(shù)上界
5. 實(shí)驗(yàn)和結(jié)果
A. 實(shí)驗(yàn)設(shè)置
我們進(jìn)行了兩次實(shí)驗(yàn)來測(cè)量Perlin噪聲攻擊的性能. 在第一個(gè)實(shí)驗(yàn)中, 我們一次攻擊一個(gè)圖像, 目的是盡可能多地規(guī)避. 在第二個(gè)實(shí)驗(yàn)中, 我們的目標(biāo)是找到一組“強(qiáng)大的”Perlin噪聲設(shè)置（擾動(dòng)）, 可以在盡可能多的圖像中欺騙分類器. 在本節(jié)中, 我們將詳細(xì)介紹模型體系結(jié)構(gòu), 訓(xùn)練方法, 我們使用的攻擊以及我們?nèi)绾卧u(píng)估攻擊性能.
模型
我們使用經(jīng)過預(yù)先訓(xùn)練的ImageNet模型[19], 它們具有Inception v3 [55]和Inception ResNet v2 [56]架構(gòu). 這些模型實(shí)現(xiàn)了最先進(jìn)的性能, 在標(biāo)準(zhǔn)數(shù)據(jù)集上訓(xùn)練時(shí), 前5個(gè)損失精度分別為6.1％和4.8％. 這些網(wǎng)絡(luò)將尺寸為299×299×3的圖像作為輸入.
我們還采用了更強(qiáng)大的Inception ResNet v2的對(duì)抗訓(xùn)練版本：Tramer等. [21]按照[20]的方法對(duì)抗Inception ResNet v2, 該網(wǎng)絡(luò)將被稱為IRv2adv. 然后他們使用整體對(duì)抗訓(xùn)練來進(jìn)一步開發(fā)他們自己的模型, 我們將其稱為IRv2adv-ens. 有關(guān)對(duì)抗和整體對(duì)抗訓(xùn)練過程的完整細(xì)節(jié), 我們請(qǐng)讀者參考[20]和[21]. 從[21]中獲取模型使我們能夠更好地與使用現(xiàn)有針對(duì)ImageNet分類器的快速攻擊的結(jié)果進(jìn)行比較：FGSM, Step-LL和Iter-LL.
個(gè)體攻擊
在我們的第一個(gè)實(shí)驗(yàn)中, 我們對(duì)來自驗(yàn)證集的1,000個(gè)隨機(jī)圖像進(jìn)行每個(gè)圖像的攻擊, 每個(gè)圖像的預(yù)算最多為100個(gè)查詢.
我們測(cè)試三種不同的攻擊方法. 首先是逐像素隨機(jī)噪聲擾動(dòng)來設(shè)置生成對(duì)抗性示例的基線, 我們將其稱為隨機(jī). 在∞范數(shù)約束內(nèi)隨機(jī)均勻地選擇像素的圖像噪聲值. 如果我們的攻擊性能并不比這個(gè)隨機(jī)噪聲好, 那么我們不認(rèn)為它是一種有效的攻擊.
我們接下來的兩次攻擊使用Perlin噪聲, 如上一節(jié)所述. 兩種變化之間的差異在于參數(shù)選擇算法. 第一次攻擊將使用隨機(jī)選擇的參數(shù)生成函數(shù), 我們稱之為Perlin-R. 給定單個(gè)圖像, 我們迭代隨機(jī)參數(shù)設(shè)置, 直到該圖像被規(guī)避.
第二次攻擊利用貝葉斯優(yōu)化來選擇生成函數(shù)的參數(shù), 我們將其稱為Perlin-BO. 給定單個(gè)圖像, 我們使用貝葉斯優(yōu)化更新我們的參數(shù)選擇, 直到該圖像被回避. 這種攻擊是自適應(yīng)的, 允許更有效的查詢.
通用攻擊
在我們的第二個(gè)實(shí)驗(yàn)中, 我們的目標(biāo)是找到強(qiáng)大的對(duì)抗性Perlin噪聲設(shè)置, 這些設(shè)置可以在整個(gè)驗(yàn)證集中進(jìn)行推廣. 這些攻擊在來自驗(yàn)證集的8,000個(gè)隨機(jī)圖像上進(jìn)行評(píng)估.
我們測(cè)試了兩個(gè)Perlin噪聲攻擊, Perlin-R和PerlinBO. 參數(shù)選擇算法與第一個(gè)實(shí)驗(yàn)類似, 但每個(gè)攻擊的性能都是在所有驗(yàn)證圖像上測(cè)量的. 對(duì)于Perlin-R, 我們迭代1000個(gè)隨機(jī)Perlin噪聲設(shè)置, 并測(cè)量所有驗(yàn)證圖像上每個(gè)設(shè)置的錯(cuò)誤率. 由于Perlin-R不使用其他信息, 因此攻擊無需更改.
對(duì)于Perlin-BO, 我們使用貝葉斯優(yōu)化來發(fā)現(xiàn)強(qiáng)烈的Perlin噪聲擾動(dòng), 從而最大化錯(cuò)誤分類的驗(yàn)證圖像的數(shù)量. 我們將圖像數(shù)據(jù)集分成兩個(gè)獨(dú)立的部分, 用于培訓(xùn)和評(píng)估階段. 實(shí)際上, 這對(duì)應(yīng)于校準(zhǔn)和攻擊階段. 訓(xùn)練集將針對(duì)不同大小進(jìn)行測(cè)試, 范圍從10到2,000個(gè)圖像, 預(yù)算為50次迭代, 用于貝葉斯優(yōu)化. 貝葉斯優(yōu)化的目標(biāo)函數(shù)將是最大化訓(xùn)練集中錯(cuò)誤分類的圖像數(shù)量. 在評(píng)估階段, 我們測(cè)量驗(yàn)證圖像上產(chǎn)生的“最佳”Perlin噪聲設(shè)置的錯(cuò)誤率.
評(píng)價(jià)標(biāo)準(zhǔn)
攻擊性能使用前1和前5錯(cuò)誤率來衡量. 這些被評(píng)估為小于或等于的∞范數(shù)擾動(dòng)約束. 相應(yīng)Clean數(shù)據(jù)集上的分類器的錯(cuò)誤率被用作參考. 對(duì)于單個(gè)攻擊, 我們?cè)趲讉€(gè)ε和qmax設(shè)置中比較此錯(cuò)誤率. 我們后來將我們的結(jié)果與[21]及其對(duì)這些分類的FGSM和Step-LL攻擊進(jìn)行了比較.
B. 個(gè)體的Perlin噪聲攻擊
我們得到的結(jié)果已經(jīng)報(bào)告在表I中. 盡管自然圖像的誤差很小, 并且對(duì)隨機(jī)擾動(dòng)具有合理的性能, 但是對(duì)于我們的Perlin噪聲對(duì)抗性示例, 分類器具有顯著更高的誤差.
最脆弱的目標(biāo)模型在所有圖像上成功回避. 在最壞的情況下, Inception v3在清潔圖像上的前1錯(cuò)誤為21.8％, 對(duì)PerlinBO有100％的錯(cuò)誤. 在模型中, IRv2adv-ens中最強(qiáng)大的, 在清晰圖像上的前1個(gè)誤差為20.6％, 對(duì)Perlin-BO為89.5％, 效果不是很好. Perlin噪聲對(duì)抗性的例子.
對(duì)于前5個(gè)錯(cuò)誤, 分類更好, 因?yàn)楦菀鬃龀稣_的前5個(gè)預(yù)測(cè). 然而, 對(duì)于所有類別的圖像幾乎一半的對(duì)抗性示例仍然會(huì)出現(xiàn)錯(cuò)誤分類. 在最糟糕的情況下, Inception v3在清潔圖像上的前5個(gè)誤差為7.5％, 對(duì)Perlin-BO的前5個(gè)誤差為71.2％. 最強(qiáng)大的分類器IRv2adv-ens在干凈圖像上有5％的前5個(gè)誤差, 對(duì)Perlin-BO有45.2％的誤差.
分類器的比較
Inception ResNet v2神經(jīng)網(wǎng)絡(luò)比Inception v3神經(jīng)網(wǎng)絡(luò)更具彈性, 與[21]的結(jié)果一致. 這可以歸因于具有更多參數(shù)和層的網(wǎng)絡(luò). 在Inception ResNet v2網(wǎng)絡(luò)中, 對(duì)抗和整體訓(xùn)練略微提高了其對(duì)抗Perlin噪聲攻擊的穩(wěn)健性. 這種邊際改進(jìn)可以歸因于在增強(qiáng)數(shù)據(jù)集上訓(xùn)練的分類器, 其中圖像包含結(jié)構(gòu)化的對(duì)抗性噪聲. 但是, 我們注意到這些改進(jìn)僅為Perlin噪音攻擊提供了邊際防御.
攻擊性的比較
Perlin噪聲攻擊都大大優(yōu)于像素隨機(jī)攻擊. 最強(qiáng)大的攻擊是Perlin-BO, 但Perlin的兩次噪聲攻擊都會(huì)對(duì)分類器造成嚴(yán)重的錯(cuò)誤率.
對(duì)于整體性能, Perlin-BO優(yōu)于Perlin-R. 這是合理的, 因?yàn)榍罢呤蛊洳樵冞m應(yīng)輸出而后者不適應(yīng). 然而, Perlin-BO優(yōu)于Perlin-R的優(yōu)勢(shì)在于前1個(gè)錯(cuò)誤比前5個(gè)錯(cuò)誤更大. 他們的前5個(gè)錯(cuò)誤之間的差距非常小, 所有結(jié)果的差距不到5個(gè)百分點(diǎn). 這表明我們使用的程序性噪聲函數(shù)受限于它能夠以多大的精度逃避目標(biāo)分類器的程度. 我們假設(shè)可以通過為生成函數(shù)添加更多復(fù)雜性來改進(jìn)這一點(diǎn).
從理論上講, Perlin-BO優(yōu)于Perlin-R的主要優(yōu)點(diǎn)是它可以使用較少的查詢來實(shí)現(xiàn)規(guī)避. 但是, 在比較前5個(gè)錯(cuò)誤與查詢數(shù)量時(shí), 這一點(diǎn)并不明顯. 如圖2中的第二個(gè)圖所示, 對(duì)于前5個(gè)誤差, Perlin噪聲攻擊的性能沒有太大分離. 這個(gè)結(jié)果可能歸因于增加前5個(gè)誤差的困難以及我們選擇的程序噪聲函數(shù)的簡(jiǎn)單性. 我們假設(shè)我們當(dāng)前的Perlin噪聲攻擊已經(jīng)達(dá)到了這個(gè)設(shè)置中前5個(gè)誤差的最佳可能性能.
當(dāng)控制ε時(shí), 攻擊在較低的擾動(dòng)預(yù)算中自然不太有效, 如圖4所示. 這阻礙了我們的攻擊, 因?yàn)樗拗屏宋覀儺a(chǎn)生的Perlin噪聲的空間. 對(duì)于ε= 4/256, 我們的Perlin噪聲攻擊幾乎不會(huì)對(duì)隨機(jī)噪聲產(chǎn)生影響, 特別是對(duì)于前5個(gè)誤差. 這種性能差距并不顯著, 這意味著我們的攻擊在這種極其嚴(yán)格的限制環(huán)境中無效. 之后, Perlin噪聲攻擊得到改善, Perlin-BO的性能從ε≥8/256處起飛. 實(shí)際上, 較小的ε擾動(dòng)預(yù)算導(dǎo)致更具說服力的對(duì)抗性示例, 因?yàn)閷?duì)原始圖像的篡改并不明顯. 即使有更嚴(yán)格的ε, Perlin攻擊也會(huì)導(dǎo)致50％或更多的前1個(gè)錯(cuò)誤.
查詢次數(shù)的比較
在圖5中, 我們觀察到分類錯(cuò)誤在第一個(gè)5到10個(gè)查詢中顯著增加, 并且改進(jìn)開始在大約20個(gè)查詢時(shí)減慢. 前者顯示了分類的脆弱性, 因?yàn)閷?duì)抗性的Perlin噪聲攻擊的初始查詢足以導(dǎo)致錯(cuò)誤分類.
隨著查詢數(shù)量的增加, 性能有一個(gè)穩(wěn)定的基礎(chǔ), 這表明我們基本的Perlin噪聲攻擊的有效性的理論上限, 考慮到它的設(shè)置和約束. 以Perlin-BO為100個(gè)查詢作為我們的上限, 我們觀察到Perlin-R和Perlin-BO在他們的前幾個(gè)查詢（20以下）中接近這個(gè)上限. 注意Perlin-BO如何比PerlinR更均勻或更差, 但是在超過10個(gè)查詢時(shí)它會(huì)超過它. 由于攻擊在100次查詢之前的性能水平很高, 因此不需要更大的查詢預(yù)算.
我們的初步結(jié)果表明神經(jīng)網(wǎng)絡(luò)對(duì)Perlin噪聲攻擊非常脆弱. 這很明顯, 對(duì)于大部分圖像, 我們成功的對(duì)抗性示例僅使用少量查詢（少于20個(gè)）生成. 相比之下, 其他不可轉(zhuǎn)移的黑盒攻擊, 如[12], [22], [23], 需要數(shù)千個(gè)查詢來逃避ImageNet中的單個(gè)圖像. 即使使用隨機(jī)非自適應(yīng)Perlin-R攻擊, 我們也可以在幾個(gè)查詢中達(dá)到上限. 這進(jìn)一步證明了測(cè)試分類器對(duì)Perlin噪聲對(duì)抗性實(shí)例的不穩(wěn)定性.
這些結(jié)果提出了單個(gè)Perlin噪聲攻擊在多個(gè)圖像中作為對(duì)抗擾動(dòng)的概括性的問題. 給定一組固定的參數(shù)θ, 我們想要知道所有圖像中所得到的對(duì)抗擾動(dòng)G（θ）的逃逸率. 另外, 我們想知道這種情況發(fā)生的程度, 以及我們是否可以找到一組最佳參數(shù)來逃避給定分類器的最大數(shù)量的圖像.
C. 通用的Perlin噪聲攻擊
Perlin-R
我們測(cè)試了1,000個(gè)隨機(jī)選擇的Perlin噪聲設(shè)置并在我們的驗(yàn)證集上評(píng)估了它們的性能. 清潔圖像上分類器的前1和5錯(cuò)誤分別約為20％和6％.
對(duì)于前1個(gè)錯(cuò)誤, 圖6顯示Perlin噪聲在所有分類器中達(dá)到至少26％的誤差. 因此, 分類器非常脆弱, 因?yàn)槊總€(gè)隨機(jī)選擇的Perlin噪聲設(shè)置本身就是對(duì)大部分圖像的有效對(duì)抗擾動(dòng). 對(duì)于對(duì)側(cè)訓(xùn)練的模型IRv2adv和IRv2adv-ens, 至少有一半的Perlin噪聲設(shè)置達(dá)到最小40％的誤差. 同樣, 至少有一半的Perlin噪聲攻擊分別對(duì)IRv2和v3分類器至少有50％和60％的誤差.
應(yīng)該強(qiáng)調(diào)的是, 單一擾動(dòng)會(huì)導(dǎo)致這種規(guī)模的錯(cuò)誤分類. 對(duì)于IRv2adv和IRv2adv-ens, 實(shí)驗(yàn)中最佳單個(gè)Perlin噪聲擾動(dòng)所達(dá)到的最大誤差為約52％, 而對(duì)于IRv2和v3, 該數(shù)值分別為約62％和76％. 這些對(duì)抗性擾動(dòng)的普遍性是顯著的, 特別是隨著這些Perlin噪聲設(shè)置的隨機(jī)選擇.
對(duì)于前5個(gè)錯(cuò)誤, 結(jié)果并不像通常情況下的結(jié)果那樣明顯. 盡管如此, 結(jié)果仍然認(rèn)為至少有一半的Perlin噪聲設(shè)置將導(dǎo)致所有分類圖像的至少一個(gè)圖像的錯(cuò)誤分類, 如圖6所示.
Perlin-BO
在這里, 訓(xùn)練或驗(yàn)證階段使用貝葉斯優(yōu)化來進(jìn)行單一的Perinnoise擾動(dòng), 從而最大化從訓(xùn)練數(shù)據(jù)集中逃避的圖像數(shù)量. 我們最初認(rèn)為擁有更大的訓(xùn)練集會(huì)使驗(yàn)證集上的性能顯著提高. 但是, 我們的結(jié)果表明, 相對(duì)于訓(xùn)練集大小, 改進(jìn)是遞增的. 這具有顯著的意義, 因?yàn)楹诤袑?duì)手可以通過較小的訓(xùn)練集實(shí)現(xiàn)類似的攻擊性能, 這意味著校準(zhǔn)攻擊所需的數(shù)據(jù)和查詢更少
我們?cè)诒鞩I中顯示了IRv2分類器的所有訓(xùn)練集大小的完整結(jié)果. 其他分類的尺寸差異很大, 因此我們不在此處加以說明.
與不同訓(xùn)練集合大小相關(guān)的差異最多為7個(gè)絕對(duì)百分點(diǎn). 這與訓(xùn)練集之間的差異形成鮮明對(duì)比, 訓(xùn)練集之間的差異是彼此相比的2到200倍. 結(jié)果的差異可歸因于Perlin-BO對(duì)訓(xùn)練數(shù)據(jù)的過度擬合, 對(duì)于較小的訓(xùn)練集, 這一點(diǎn)更為明顯. 盡管有這樣的解釋, 結(jié)果仍然在一個(gè)狹窄的范圍內(nèi). 我們的驗(yàn)證集中的圖像和標(biāo)簽分布非常均勻, 因此結(jié)果的相似性表明, 除了可能導(dǎo)致逃避的常見Perlin噪聲模式之外, 所有類別的共同點(diǎn)都存在.
在表III中, 我們關(guān)注的是100個(gè)樣本的中等訓(xùn)練集. 此設(shè)置可平衡攻擊性能和查詢數(shù)量. 我們看到Perlin噪聲設(shè)置的一小部分實(shí)現(xiàn)了類似于我們廣義Perlin-BO攻擊的性能. 例如, Perlin-BO在分類器v3上實(shí)現(xiàn)了59.1％的前5個(gè)逃避, 而圖6中的Perlin-R結(jié)果表明, 在相同的分類器中, 不到2％的Perlin噪聲設(shè)置達(dá)到至少58％的前1個(gè)逃避
由于Perlin-BO和Perlin-R的結(jié)果具有相似性, 因此可以合理地假設(shè)這是我們選擇的程序噪聲函數(shù)中最強(qiáng)的對(duì)抗性擾動(dòng). 然而, 這可以通過更復(fù)雜的生成函數(shù)來改進(jìn).
D. 相關(guān)工作的對(duì)比
對(duì)低維數(shù)據(jù)集（如MNIST和CIFAR）的攻擊在文獻(xiàn)中更為突出. 其中許多攻擊也是白盒, 或者不容易擴(kuò)展到大型圖像數(shù)據(jù)集. 此外, 這些攻擊通常需要每個(gè)圖像多達(dá)數(shù)千次迭代, 如[22]和[23]. 我們的工作處于不同的環(huán)境中, 具有更現(xiàn)實(shí)的約束.
現(xiàn)有的黑盒攻擊對(duì)查詢來說是無效的; 那些提高效率的人依賴于可轉(zhuǎn)移性, 這就是一個(gè)更強(qiáng)大的對(duì)手. 盡管這些攻擊在[20]和[25]中相對(duì)成功, 但它們?nèi)匀粫?huì)產(chǎn)生構(gòu)建和訓(xùn)練替代模型的額外開銷. 它不僅成本高昂, 特別是對(duì)于大型數(shù)據(jù)集, 而且還需要訪問類似的數(shù)據(jù)集和與目標(biāo)模型相當(dāng)?shù)哪Ｐ?
可轉(zhuǎn)移性攻擊使用快速梯度方法快速生成對(duì)抗性示例. 通常, 在通過重試執(zhí)行可轉(zhuǎn)移性時(shí), 每個(gè)樣本需要一些查詢. 我們考慮的攻擊是FGSM, Step-LL, R + StepLL, 以及[20]和[21]中所示的兩步Iter-LL. 作為參考, 我們還將我們的結(jié)果與這些快速梯度攻擊的白盒版本進(jìn)行比較. 我們將這些攻擊組稱為“快速漸變攻擊”（FGA）, 并在用作白盒（FGA-W）和黑盒（FGA-B）攻擊時(shí)進(jìn)行區(qū)分.
為了比較, 我們?cè)贔GA的相同分類中使用[21]的結(jié)果. 為了補(bǔ)償測(cè)試數(shù)據(jù)集的變化, 我們比較了干凈圖像錯(cuò)誤率與攻擊產(chǎn)生的錯(cuò)誤率之間的差異. 由于網(wǎng)絡(luò)具有相同的權(quán)重并且測(cè)試圖像來自相似的分布, 因此在95％的置信區(qū)間內(nèi)結(jié)果的差異應(yīng)該可以忽略不計(jì).
我們將現(xiàn)有方法與我們個(gè)別的Perlin噪聲攻擊進(jìn)行比較, 因?yàn)樗鼈冎荚谧畲蠡總€(gè)圖像的規(guī)避, 而廣義版本的目的是找到避開許多圖像的單個(gè)擾動(dòng). 表IV中報(bào)告的結(jié)果表明, Perlin噪聲攻擊均顯著優(yōu)于基于可轉(zhuǎn)移性的黑盒攻擊FGAB. 應(yīng)該注意的是, 對(duì)抗性和整體對(duì)抗性訓(xùn)練被設(shè)計(jì)為對(duì)抗FGAB的防御, 因此IRv2adv和IRv2adv-ens的這個(gè)結(jié)果應(yīng)該不足為奇. 如前所述, 對(duì)抗性訓(xùn)練使得這些分類訓(xùn)練略微好一點(diǎn), 但對(duì)于Perlin噪音攻擊并沒有那么明顯.
兩種Perlin噪聲攻擊都比快速白盒攻擊更好. 對(duì)于FGA-W, 應(yīng)該注意的是, IRv2adv經(jīng)過對(duì)抗訓(xùn)練可以直接抵御白盒攻擊, 并且IRv2adv-ens上的整體訓(xùn)練并沒有使他們的模型對(duì)FGA-W具有魯棒性[21]. 特別是Perlin-BO攻擊, 即使我們考慮90％的置信區(qū)間, 也能通過顯著的邊緣獲得更好的結(jié)果. 同樣有趣的是, Perlin-R實(shí)現(xiàn)了與白盒攻擊相當(dāng)或更好的結(jié)果, 因?yàn)樗膮?shù)選擇完全是隨機(jī)的.
關(guān)于查詢效率, FGA-B消除了我們的Perlin噪聲攻擊, 因?yàn)榇砟Ｐ驮试S他們?cè)诓樵兡繕?biāo)模型之前重新確定其對(duì)抗性示例. 然而, Perlin噪聲攻擊能夠在每個(gè)圖像的前10個(gè)查詢中導(dǎo)致其 大部分逃逸, 這對(duì)于黑盒攻擊來說是相當(dāng)?shù)偷? 通過使用Perlin-BO的通用版本創(chuàng)建可轉(zhuǎn)移性攻擊, 還可以將查詢數(shù)量大大減少到類似于FGA-B的級(jí)別.
我們假設(shè)我們的Perlin噪聲攻擊利用了學(xué)習(xí)算法中的固有弱點(diǎn)以及它們對(duì)圖像中模式的解釋. 相比之下, 諸如FGA的現(xiàn)有方法主要關(guān)注基于梯度的優(yōu)化以解決目標(biāo)函數(shù). 由于高維度, 基于梯度的算法變得難以解決, 計(jì)算成本昂貴, 并且可能陷入局部最優(yōu)的口袋中.
