【論文閱讀】“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

論文閱讀：“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

論文地址：https://ieeexplore.ieee.org/document/8737949

2020 期刊TIFS發(fā)的論文

本文針對的問題：對不同拍攝設(shè)備、光照下的數(shù)據(jù)集几于，face anti-spoofing的性能差距較大

目的：提出一個CNN出牧，能適應(yīng)不同環(huán)境的光照即一個光照不變的face anti-spoofing method

本文的創(chuàng)新點：

1序矩、提出了一個two-stream CNN（TSCNN）二通道的CNN網(wǎng)絡(luò)絮爷，其中兩種互補(bǔ)的信息 RGB和MSR 作為輸入

2、為了有效的融合這兩種信息趁尼，提出用 attention-based的融合方式

3剩蟀、在3個流行的數(shù)據(jù)集上進(jìn)行了實驗，并做了跨數(shù)據(jù)集的實驗苦酱，并得到了很好的實驗結(jié)果

II RELATED WORKS

A.活體檢測

簡要介紹近幾年face anti-spoofing 的一些方法

1）基于紋理的方法：紋理主要是尋找不同的紋理信息特征這些特征分為傳統(tǒng)的手工特征和深度學(xué)習(xí)的特征

2）基于圖像質(zhì)量的方法：

3）基于動作的方法：如眨眼售貌、嘴唇動、頭晃動等

4）基于反射

5）基于多特征融合的方法：[29]提出融合視頻動態(tài)信息和紋理疫萤，[9]提出一個三個的多尺度濾波方式颂跨，并對其融合

6）其它：3d深度信息[30]-[32]

以上這些方法對統(tǒng)一數(shù)據(jù)庫內(nèi)都能獲得較好的性能，但是在不同數(shù)據(jù)集間性能降低很大

由于不同數(shù)據(jù)庫：不同的獲取設(shè)備扯饶、不同的圖片環(huán)境恒削、不同的光照池颈、不同的人臉姿態(tài)等

對此，本文提出一種對光照魯棒的钓丰，對強(qiáng)光照環(huán)境和沒有光照環(huán)境都泛化性強(qiáng)的face anti-spoofing的方法躯砰，并在幾個數(shù)據(jù)集上獲得很好的性能

B.Multi-Scale Retinex (MSR)

一種在圖像增強(qiáng)領(lǐng)域常用的方法

本文應(yīng)用MSR是因為：1）MSR能夠?qū)D片的光照成分和反射成分分離，將光照成分去除利用反射信息做活體檢測携丁；2）MSR可以作為一個高通濾波琢歇，保留 real和fake faces 之間有分辨力的高頻信息

附MSR參考鏈接：

https://blog.csdn.net/bluecol/article/details/45675615

https://blog.csdn.net/ajianyingxiaoqinghan/article/details/71435098

D.?Visual Attention Model （AM）

一種常用在文本處理自然語言處理的AM模型

用這個方法對RGB和MSR進(jìn)行特征融合

https://blog.csdn.net/cicisensy/article/details/82670191

III. METHODOLOGY 本文的方法

RGB對光照很敏感但是擁有詳細(xì)的臉部紋理信息，MSR與關(guān)照無關(guān)但是缺少微小的臉部紋理

因此本文提出一個二通道的CNN则北，將RGB圖像和MSR圖像各自單獨輸入矿微，再進(jìn)行AM融合

A.The Retinex Theory

B.?Two Stream Convolutional Neural Network (TSCNN)

如圖是整個網(wǎng)絡(luò)框架一個二通道輸入網(wǎng)絡(luò)

TSCNN包含兩個單獨的輸入 RGB圖片和MSR圖片，并從兩個子網(wǎng)絡(luò)的最后一層卷積層獲取特征尚揣，

給定一張輸入的照片或是一幀視頻涌矢，先用MTCNN對人臉進(jìn)行和關(guān)鍵點進(jìn)行檢測，利用放射變換對檢測到的人臉進(jìn)行對齊

對RGB通道：從視頻序列獲取一幀幀RGB圖

對MSR通道：對每一幀RGB圖像先預(yù)處理成灰度圖快骗，然后想 fig2.B那樣處理

作者用了兩個網(wǎng)絡(luò) MobileNet 和 ResNet-18 并在 ImageNet 上預(yù)處理

最后為了有效的融合特征如圖fig2.C 用attention model進(jìn)行融合

公式化：

F函數(shù)將RGB特征和MSR特征融合

TSCNN的優(yōu)化函數(shù)如下：

其中C是分類器娜庇，l是損失還是，N是樣本數(shù)量方篮，y是標(biāo)簽

骨干深度網(wǎng)絡(luò)

為了防止數(shù)據(jù)不足帶來的過擬合名秀，將?MobileNet 和 ResNet-18 并在 ImageNet 上預(yù)訓(xùn)練，在face spoofing database上微調(diào)藕溅，二分類函數(shù)cross-entropy loss 用來處理（real vs fake）