Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Athalye A, Carlini N, Wagner D, et al. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples[J]. arXiv: Learning, 2018.

@article{athalye2018obfuscated,
title={Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples},
author={Athalye, Anish and Carlini, Nicholas and Wagner, David},
journal={arXiv: Learning},
year={2018}}

概

由于有很多defense方法都是基于破壞梯度(不能有效計算梯度, 梯度爆炸, 消失), 但是作者提出一種算法能夠攻破這一類方法, 并提議以后的defense方法不要以破壞梯度為前提.

主要內(nèi)容

$f(\cdot)$ : 模型;
$f(x)_i$ : 樣本 $x$ 為類別 $i$ 的概率;
$f^j(\cdot)$ : 第 $j$ 層;
$f^{1..j}(\cdot)$ : 第 $1$ 到 $j$ 層;
$c(x)$ : $\arg \max_i f(x)_i$ ;
$c^*(x)$ : 真實標簽.

Obfuscated Gradients

Shattered Gradients: 一些不可微的defense, 或者一些令導(dǎo)數(shù)不存在的defense造成;
Stochastic Gradients: 一些隨機化的defense造成;
Exploding & Vanishing Gradients: 通常由一些包括多次評估的defense造成.

BPDA

特例

有很多方法, 會構(gòu)建一個不可微(或者其導(dǎo)數(shù)"不好用")的函數(shù) $g$ , 然后用模型 $f(g(x))$ 替代 $f(x)$ , 從而防御一些基于梯度的攻擊方法, 而且這類方法往往要求 $g(x) \approx x$ .

這類防御方法, 可以很簡單地用
$\nabla_x f(g(x))|_{x=\hat{x}} \leftarrow \nabla_x f(x)|_{x=g(\hat{x})},$
替代, 從而被攻破(如果我們把 $g(x)$ 視為模型的第1層, 那我們實際上就是攻擊第二層).

一般情形

假設(shè) $f^i(x)$ (即第i層)是不可微, 或者導(dǎo)數(shù)“不好用", 則我們首先構(gòu)造一個可微函數(shù) $g(x)$ , 使得 $g(x) \approx f^i(x)$ , 在反向傳遞導(dǎo)數(shù)的時候(注意只在反向用到 $g$ ), 用 $\nabla_x g$ 替代 $\nabla f^i(x)$ .

注: 作者說在前向也用 $g(x)$ 是低效的.

EOT

這類方法使用于攻破那些隨機化的defense的, 這類方法往往會從一個變換集合 $T$ 中采樣 $t$ , 并建立模型 $f(t(x))$ , 如果單純用 $\nabla f(t(x))$ 來攻擊效果不好, 可以轉(zhuǎn)而用 $\nabla \mathbb{E}_{t \sim T} f(t(x)) = \mathbb{E}_{t \sim T} \nabla f(t(x))$ 替代.

Reparameterization

重參用于針對梯度爆炸或者消失的情況, 因為這種情況往往出現(xiàn)于 $f(g(x))$ , 而 $g(x)$ 是對 $x$ 的一個多次評估(所以 $f(g(x))$ 可以理解為一個很深的網(wǎng)絡(luò)).

策略是利用構(gòu)建 $x=h(z)$ , 并且滿足 $g(h(z))=h(z)$ (咋看起來很奇怪, 看了下面的DefenseGAN就明白了).

利用 $f(h(z))$ , 我們找到對應(yīng)的對抗樣本 $h(z_{adv})$ .

具體的案例

Thermometer encoding

這里的 $\tau$ 是針對樣本每一個元素 $x_{i,j,c}$ 的, $\tau:x_{i,j,c} \rightarrow \mathbb{R}^l$ :
$\tau(x_{i, j, c})_k= \left \{ \begin{array}{ll} 1 & x_{i,j,c}>k/l \\ 0 & else. \end{array} \right.$

只需令
$g(x_{i,j,c})_k= \min (\max (x_{i, j, c} - k/l, 0),1).$

Input transformations

包括:
image cropping, rescaling, bit-depth reduction, JPEG compression, image quilting

既包括隨機化又包括了不可微, 所以既要用EPDA, 也要用EOT.

LID

LID能夠防御
$\min \quad \| x-x'\|_2^2 + \alpha(\ell(x')+\mathrm{LID_{loss}} (x')),$
的攻擊的主要原因是由于該函數(shù)陷入了局部最優(yōu). 因為LID高的樣本不都是對抗樣本, 也有很多普通樣本.
忽視LID, 用原始的L2attack就能夠有效攻破LID.

Stochastic Activation Pruning

SAP實際上是dropout的一個變種, SAP會隨機將某層的 $f^i$ 的某些元素突變?yōu)?(其概率正比于元素的絕對值大小).

這個方法可以用EOT攻破, 即用 $\sum_{i=1}^k \nabla_xf(x)$ 來代替 $\nabla_x f(x)$ .

Mitigating through randomization

這個方法的輸入是 $229\times 229$ 的圖片, 他會被隨機變換到 $r\times r$ 大小, $r\in[229, 331)$ , 并隨機補零使得其大小為 $331\times 331$ .

同樣, 用EOT可以攻破.

PixelDefend

pass

DenfenseGAN

對于每一個樣本, 首先初始化 $R$ 個隨機種子 $z_0^{(1)}, \ldots, z_0^{(R)}$ , 對每一個種子, 利用梯度下降( $L$ 步)以求最小化
$\tag{DGAN} \min \quad \|G(z)-x\|_2^2,$
其中 $G(z)$ 為利用訓(xùn)練樣本訓(xùn)練的生成器.

得到 $R$ 個點 $z_*^{(1)},\ldots, z_*^{(R)}$ , 設(shè)使得(DGAN)最小的為 $z^*$ , 以及 $\hat{x} = G(z^*)$ , 則 $\hat{x}$ 就是我們要的, 樣本 $x$ 在普通樣本數(shù)據(jù)中的投影. 將 $\hat{x}$ 喂入網(wǎng)絡(luò), 判斷其類別.

在這里插入圖片描述

這個方法, 利用梯度方法更新的難處在于, $x \rightarrow \hat{x}$ 這一過程, 包含了 $L$ 步的內(nèi)循環(huán), 如果直接反向傳梯度會造成梯度爆炸或者消失.

所以攻擊的策略是:

$\min \quad \|G(z)-x\|_2^2 + c \cdot \ell (G(z))$
找到 $z_{adv}$ , 于是 $x_{adv}=G(z_{adv})$ .

注意, 通過這個式子能找到對抗樣本說明, 由訓(xùn)練樣本訓(xùn)練生成器, 生成器的分布 $p_G$ , 實際上并不能能夠撇去對抗樣本.