姓名：張鈺??學(xué)號(hào)：21011210154??學(xué)院：通信工程學(xué)院
【嵌牛導(dǎo)讀】Representative Forgery Mining for Fake Face Detection論文閱讀筆記
【嵌牛鼻子】北郵提出的RFM 框架，可以在沒有精心設(shè)計(jì)的監(jiān)督情況下將顯著的偽造行為可視化悯衬，并使基于通用CNN 的檢測器在DFFD 和 Celeb-DF 上實(shí)現(xiàn) SOTA 性能量九。
【嵌牛提問】如何實(shí)現(xiàn)偽造檢測寓盗，有何創(chuàng)新點(diǎn)
【嵌牛正文】
轉(zhuǎn)自：https://blog.csdn.net/Agirlmop/article/details/121479490
論文信息
題目：Representative Forgery Mining for Fake Face Detection
-
作者團(tuán)隊(duì)：
會(huì)議：CVPR-2021
前言
本文提出了一個(gè)基于注意力的數(shù)據(jù)增強(qiáng)框架來指導(dǎo)檢測器細(xì)化和擴(kuò)大其注意力晒杈。本文的方法跟蹤和遮擋面部Top-N敏感區(qū)域煤率，鼓勵(lì)檢測器深入挖掘之前忽略的區(qū)域猪杭，以獲得更有代表性的偽造結(jié)果病袄。
-
本文貢獻(xiàn)：
- 我們提出了一種稱為 FAM 的示蹤方法來精確地定位檢測器敏感的面部區(qū)域洁闰，以及進(jìn)一步將其用作數(shù)據(jù)增強(qiáng)的指導(dǎo)歉甚。
- 我們提出了一種基于注意力的數(shù)據(jù)增強(qiáng)稱為 SFE 的方法來幫助檢測器分配更多注意力在FAM的指導(dǎo)下進(jìn)行代表偽造。
- 我們最終提供了一個(gè)名為 RFM 的框架扑眉，它在沒有精心設(shè)計(jì)的 su 監(jiān)督的情況下可視化具有代表性的偽造纸泄，并使基于 CNN 的普通檢測器能夠在 DFFD 和 Celeb-DF 上實(shí)現(xiàn) SOTA 性能。
方法
- 基于注意力的數(shù)據(jù)增強(qiáng)方法：代表偽造挖掘(RFM)腰素，通過在訓(xùn)練過程中精煉訓(xùn)練數(shù)據(jù)來解決有限注意力問題聘裁。
包括兩個(gè)步驟:- 利用檢測器的梯度生成圖像級的偽造注意圖(FAM)，可以精確定位面部的敏感區(qū)域;
- 利用可疑偽造消除(Suspicious Forgery erase, SFE)有意遮擋面部的Top-N敏感區(qū)域弓千。
該方法通過將檢測器的注意力從過度敏感的面部區(qū)域解耦衡便，實(shí)現(xiàn)了具有先進(jìn)水平的檢測性能，并顯著保持了對僅包含少量技術(shù)偽造的人臉的檢測性能洋访。
-
RFM過程：
分為三個(gè)部分镣陕。首先(在步驟1、2中)姻政，我們?yōu)閱蝹€(gè)小批的每個(gè)原始圖像生成FAM呆抑。然后(在步驟3和步驟4中)，我們利用SFE在之前生成的FAMs的指導(dǎo)下對原始圖像進(jìn)行擦除汁展。最后(在步驟5和步驟6中)鹊碍，我們使用被擦除的圖像作為輸入來訓(xùn)練檢測器厌殉。
FAM
找到最敏感的區(qū)域，將最敏感的區(qū)域定義為擾動(dòng)對檢測結(jié)果影響最大的區(qū)域侈咕。
正向傳播年枕，檢測器輸入一張人臉圖像I，輸出兩個(gè)對數(shù)Oreal和Ofake衡量圖片真假乎完。結(jié)果由兩個(gè)對數(shù)的相對大小決定熏兄。
代表微小的噪聲對輸出的影響，兩者之間的最大差值視為FAM树姨。代表擾動(dòng)對檢測結(jié)果的影響摩桶。
FAM Map:
函數(shù)max(·)計(jì)算沿通道軸的最大值，函數(shù)abs(·)得到每個(gè)像素的絕對值FAM和CAM的區(qū)別
FAM定位檢測器敏感的區(qū)域帽揪，而Class Activation Mapping突出顯示檢測器用于決策的區(qū)域硝清。另一方面，F(xiàn)AM在圖像級生成map转晰，而Class Activation Mapping基于網(wǎng)絡(luò)最后的卷積層計(jì)算map可疑偽造擦除
擦除方法SFE芦拿，遮擋FAM計(jì)算的Top-N敏感區(qū)域。
1查邢、首先以小批量的方式為每張圖像生成FAM蔗崎，F(xiàn)AM和輸入圖像的大小都可以假設(shè)為H×W。
2扰藕、對于每張圖像缓苛，我們根據(jù)之前生成的對應(yīng)FAM中的值降序排序坐標(biāo)。接下來邓深，按照上面計(jì)算的順序?qū)⒚總€(gè)像素視為錨點(diǎn)未桥。
3、對每個(gè)錨點(diǎn)芥备，使用隨機(jī)整數(shù)來形成一個(gè)矩形塊冬耿，尺寸小于對之前未被遮擋的錨點(diǎn)進(jìn)行遮擋。
4萌壳、重復(fù)遮擋過程亦镶，直到每個(gè)圖像被n個(gè)塊遮擋。
優(yōu)點(diǎn)：
- 在FAM的指導(dǎo)下精確遮擋面部敏感區(qū)域讶凉；
- 利用多個(gè)塊靈活擦除不同位置的偽造區(qū)域染乌，盡可能多地保留面部區(qū)域山孔；
- 不泄露額外信息給檢測器懂讯，防止檢測器對擦除塊的形狀或位置過擬合。
實(shí)驗(yàn)
