姓名：張鈺??學(xué)號：21011210154??學(xué)院：通信工程學(xué)院
【嵌牛導(dǎo)讀】MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes論文閱讀筆記
【嵌牛鼻子】一種能夠消除對抗樣本對 Deepfake 干擾攻擊的方法，該方法對防止深度偽造能力濫用提出了新思考
【嵌牛提問】Deepfake主動性防御的方法（Deepfake 對抗擾動）不再可靠，還需要找到更佳的 Deepfake 防御方案以及檢測方案
【嵌牛正文】
轉(zhuǎn)自：https://mp.weixin.qq.com/s/sA28INF4StZ09Q558ZAjOA#rd
論文信息
題目：MagDR: Mask-guided Detection and Reconstruction for Defending Deepfakes
-
作者團隊：
會議：CVPR 2021
前言
近年來椅挣，“AI 變臉”特效風(fēng)靡全球，近期爆紅的 “螞蟻呀嘿” 再次掀起體驗和討論的熱潮田盈，這種源自人工智能生成對抗網(wǎng)絡(luò)（GAN）的新技術(shù)，能夠利用深度學(xué)習(xí)技術(shù)識別并替換圖片或視頻中的原始人像缴阎，不僅制作過程簡單允瞧，而且逼真度驚人，幾乎能達(dá)到以假亂真的效果蛮拔。
Deepfake 作為一項技術(shù)工具述暂，有廣泛的應(yīng)用空間。語音合成能讓計算機用人類的聲音說出上百種語言建炫，視頻合成能讓《速度與激情》里的 Paul Walker 復(fù)生畦韭，但若被濫用，也將帶來巨大的風(fēng)險肛跌，給身份識別和社會信任帶來挑戰(zhàn)艺配，虛假視覺信息的應(yīng)用與傳播還會給人們造成隱私安全等多方面的困擾察郁。
為此拒课，一些研究致力于防止濫用 Deepfake素征，有研究者通過在源數(shù)據(jù)中添加對抗性干擾來破壞 Deepfake 的可能性暑劝，但是這種方法尚未完全消除威脅我碟。來自騰訊 Blade Team 的研究者提出了一種 mask-guided 檢測和重建方法 MagDR（Mask-guided Detection and Reconstruction），該方法能夠讓 Deepfake 免受對抗攻 擊勋功，這為破環(huán) Deepfake 帶來了新的思考方向怜庸。同時馏鹤，該方法也能用于提升 AI 圖像處理的安全性砖织。
MagDR 首先提出了一種檢測模塊款侵，該模塊定義了一些標(biāo)準(zhǔn)來判斷 Deepfake 的輸出是否異常，然后使用該模塊指導(dǎo)一個可學(xué)習(xí)的重建過程侧纯。提取自適應(yīng) mask 是為了捕獲局部面部區(qū)域的變化新锈。在實驗中，MagDR 保護了 Deepfake 的三項主要任務(wù)眶熬，并且學(xué)得的重建 pipeline 能夠遷移到輸入數(shù)據(jù)上壕鹉。這表明 MagDR 在防御黑盒和白盒攻擊方面都具有很好的性能
方法
MagDR 框架代表 mask-guided 檢測和重建。如圖 2(a)所示聋涨，它包含兩個主要組件，一個檢測器和一個重建器负乡，二者均由在自適應(yīng) mask 上計算出的一組預(yù)定義標(biāo)準(zhǔn)指導(dǎo)牍白。總體思路是從輸出圖像中感知對抗性攻擊的存在（通常會受到嚴(yán)重干擾）抖棘，并執(zhí)行可調(diào)算法將所有預(yù)定義標(biāo)準(zhǔn)轉(zhuǎn)換為可接受的值茂腥，之后輸出被認(rèn)為已重構(gòu)。在該設(shè)計框架下切省，可以自由更改每個模塊的實現(xiàn)最岗。
MagDR 二階段框架的核心思想在于使用一些非監(jiān)督性指標(biāo)，對對抗樣本在 Deepfake 中所生成的結(jié)果進行敏感性的評估朝捆，并且利用人臉屬性區(qū)域作為輔助信息以及通過對最優(yōu)的防御方法進行搜索組合的方式對圖片進行檢測和重建般渡，以期望能夠達(dá)到凈化原圖并保持 Deepfake 輸出真實性的目的。
實驗
該研究選取了 Deepfake 中較為重要的三個任務(wù)進行攻防實驗芙盘，分別為換臉驯用、人臉屬性修改以及表情變換。給原圖增加噪聲后儒老，所產(chǎn)生的對抗樣本盡管對原圖進行了修改蝴乔，但修改的程度明顯低于人眼可察覺的水平，而 Deepfake 模型產(chǎn)生的深度偽造視頻卻已經(jīng)崩壞驮樊，無法以假亂真薇正，其對 Deepfake 帶來的影響是災(zāi)難性的片酝。
但當(dāng)改為通過 MagDR 框架進行處理時，情況發(fā)生了變化挖腰。該模型首先對視頻中的對抗攻擊擾動進行檢測雕沿，提醒 Deepfake 的使用者，所用的圖片或視頻大概率是存在對抗攻擊的曙聂，然后通過重建視頻模型晦炊，能夠有效地將攻擊者注入的對抗擾動進行消除，從而實現(xiàn)了 Deepfake 模型相關(guān)系統(tǒng)的正常使用宁脊。
這一發(fā)現(xiàn)表明断国，目前業(yè)界主流的主動性防御的方法（Deepfake 對抗擾動）不再可靠，為了避免社交網(wǎng)絡(luò)上人臉照片被惡意使用榆苞，還需要找到更佳的 Deepfake 防御方案稳衬。
