[TOC]

Your Face Your Heart:Secure Mobile Face Authentication with Photoplethysmograms

題目：采用光電血容體積描記實(shí)現(xiàn)的安全的臉部認(rèn)證

作者：Yimin Chen, Jingchao Sun, Xiaocong Jin, Tao Li, Rui Zhang, and Yanchao Zhang

出處：IEEE INFOCOM 2017 - IEEE Conference on Computer Communications

方向：網(wǎng)絡(luò)安全

主題：圖像認(rèn)證

參考文獻(xiàn)清單如下

• photoplethysmogram, https://en.wikipedia.org/wiki/Photoplethysmogram
• 光電容積脈搏波（Photoplethysmography，PPG）矢劲，Photoplethysmography Signal Acquisition Based on Finger Video炮捧。http://d.wanfangdata.com.cn/Periodical/ylsbxx201611009

內(nèi)容大綱

什么問題

面部認(rèn)證作為一種常用的移動(dòng)設(shè)備的訪問認(rèn)證方式，很容易受到偽造照片攻擊（PFA）和偽造視頻攻擊（VFA）唬血。

為什么研究該問題

目前已有的針對(duì)PFA和VFA的防護(hù)手段主要是需要合法用戶認(rèn)證時(shí)同時(shí)捕獲一個(gè)能證明該照片或視頻是實(shí)時(shí)捕獲的在線指示器。不夠靈活的同時(shí)還是存在被偽造攻擊的可能性唤崭。

本文方法

提出一種稱為FaceHeart的方法拷恨，同時(shí)使用前置攝像頭拍攝面部和后置攝像頭拍攝指端，然后從兩個(gè)圖片或視頻中提取血容體積做對(duì)比谢肾，以認(rèn)證用戶訪問腕侄。

為什么這么做

因?yàn)檠蒹w積與人的實(shí)時(shí)心臟活動(dòng)密切相關(guān)，不可能偽造或受到特定控制芦疏，利用FaceHeart能有效抵抗PFA和VFA冕杠。

實(shí)驗(yàn)結(jié)果

在Samsung Glalaxy S5上的實(shí)驗(yàn)證明了FaceHeart具有很高的效果和效率。兩個(gè)方面的實(shí)驗(yàn)酸茴，F(xiàn)aceHeart的性能測(cè)試分预，F(xiàn)aceHeart的健壯性測(cè)試。

對(duì)我的啟發(fā)

xxx

Introduction

1.背景

• 移動(dòng)設(shè)備丟失率很高
• malware infection rate 呈上升態(tài)勢(shì)

故出現(xiàn)了訪問認(rèn)證的需求

2.認(rèn)證的用途

• 解鎖設(shè)備
• 金融或機(jī)密應(yīng)用使用權(quán)限（如支付弊决，密碼管理APPs）

3.認(rèn)證方式

• 傳統(tǒng)的有PIN
• 新型的噪舀，根據(jù)行為學(xué)、生物學(xué)飘诗、統(tǒng)計(jì)學(xué)融合的認(rèn)證技術(shù)与倡，如根據(jù)輸入習(xí)慣、指紋等

4.本文目標(biāo)

提高面部認(rèn)證的安全可靠性昆稿。面部認(rèn)證通過從數(shù)字圖像或視頻幀中提取用戶的面部特征進(jìn)行驗(yàn)證纺座，由于人的面部特征的獨(dú)特性，不易偽造溉潭，所以面部認(rèn)證方式很流行净响。

問題：但是很容易通過網(wǎng)絡(luò)或偷拍等途徑獲取個(gè)人圖像或視頻，發(fā)起PFA喳瓣、VFA攻擊馋贤，通過認(rèn)證系統(tǒng)。

5.已有的針對(duì)PFA和VFA的方法

• 傳統(tǒng)的非COTS方法（商用現(xiàn)成品或技術(shù)畏陕，即無需附加額外技術(shù)或部件）配乓。1）liveness detection，活體檢測(cè)，有效犹芹，但對(duì)VFA效果不好崎页。2）同時(shí)針對(duì)VFA和PFA的方法，如紅外攝像機(jī)檢測(cè)thermogram（溫譜圖）腰埂，texture analysis飒焦，紋理分析檢測(cè)打印的照片。

  這些方式計(jì)算復(fù)雜度高屿笼，需要附加額外設(shè)備牺荠，如傳感器，攝像頭之類的刁卜。

• COTS方法志电。不增加設(shè)備曙咽，直接用現(xiàn)有的內(nèi)部器件——accelerometer蛔趴，加速器。通過人物微小移動(dòng)例朱，檢測(cè)加速器記錄和圖像孝情、視頻的表現(xiàn)值是否一致來檢測(cè)。

  缺點(diǎn)：可能收到場(chǎng)合的限制洒嗤，入侵者可以模擬實(shí)現(xiàn)偽裝箫荡。

6.本文方案：FaceHeart，一種活體檢測(cè)方案

使用前后攝像頭分別拍攝面部和指尖視頻渔隶，提取光電容積脈搏波羔挡，對(duì)比其含有的生物信息，若一致间唉，則認(rèn)為是可靠的绞灼，該認(rèn)證請(qǐng)求來自于活體。

利用了生物信息：光電容積脈搏波呈野，與心臟活動(dòng)密切相關(guān)低矮，包含很多生物數(shù)據(jù)，無法偽造和控制被冒。

Background of Camera-based PPG

光電容積脈搏波描記法（Photoplethysmography军掂，PPG），是一種用來檢測(cè)組織微血管中的血容量變化的光學(xué)測(cè)量技術(shù) 昨悼。其原理是用一定波長(zhǎng)的光照射皮膚表面蝗锥，通過透射或反射方式傳送到光電接收器，由于血液容積在心臟作用下呈搏動(dòng)性變化率触，使得光電接收器接收到的光強(qiáng)度也隨之
呈脈動(dòng)性變化终议，從而得到血液容積脈搏的變化信息 。光電容積脈搏波包含著血液流動(dòng)、心臟跳動(dòng)等重要信息痊剖，并可以進(jìn)一步得到人體血氧韩玩、血壓、血管微循環(huán)陆馁、心率找颓、呼吸率等生理參數(shù)，對(duì)人體健康的監(jiān)護(hù)具有重大的意義叮贩。

FaceHeart

整個(gè)FaceHeart分為4個(gè)模塊

• signal processing module
• feature extraction module
• classifier training module
• liveness detection module

工作流程為：

• cameras record face and fingertip videos simultaneously击狮。
• extract and compare two photothysmograms（liveness detection）
• face frames sent to face conventional authentication module，檢查是否為合法用戶益老。
• liveness detection and face authentication同時(shí)通過認(rèn)為認(rèn)證成功彪蓬。

1.signal processing module

信號(hào)處理模塊分為4個(gè)子模塊。

• Face Detection and Tracking捺萌。面部檢測(cè)和跟蹤档冬。

  method：1）Viola-Jones detection algorithm，檢測(cè)第一幀中的人臉桃纯。2）KLT目標(biāo)跟蹤算法追蹤后續(xù)幀中的人臉酷誓。（該算法是跟蹤算法，要求目標(biāo)不能大幅運(yùn)動(dòng)态坦，所以本文要求認(rèn)證人盡可能保持still stable）

  output：coordinates of face in each frame

• ROI Selection：對(duì)比三種ROI盐数，選用了第三種。目標(biāo)區(qū)域選取伞梯。

  ROS的兩個(gè)問題直接影響到photoplethysmogram信息玫氢，1）where ROI is。2）ROI‘s size谜诫。

  選用了論文例舉的第三種ROI方式漾峡。1）復(fù)雜度低，計(jì)算效率高猜绣。2）性能滿足需求灰殴，在該使用場(chǎng)合下與其他兩種方式相近。3）可能的改進(jìn)掰邢，多種ROI方式加權(quán)組合牺陶，但是需要進(jìn)一步考慮降低算法開銷（可做進(jìn)一步研究）。

• Photoplethysmogram extraction

  average all pixel values in ROI辣之，采用目標(biāo)區(qū)域內(nèi)所有像素的平均值掰伸。

  事實(shí)上，三個(gè)顏色通道都含有該生物信息怀估，其中g(shù)reen通道最強(qiáng)狮鸭，根據(jù)相關(guān)研究證明合搅，本文選用綠色通道值作為計(jì)算值。

• Filter

  采用兩種過濾算法歧蕉，分兩步過濾灾部。

  • Normalized Least Mean Square，NLMS惯退，最小均方誤差濾波器赌髓。alleviate the illumination interference。視頻目標(biāo)微小的移動(dòng)或相機(jī)的抖動(dòng)都會(huì)造成環(huán)境的光照強(qiáng)度變化催跪，從而產(chǎn)生測(cè)量干擾锁蠕。
  • Bandpass FIR filter，減少out-of-band noise interference懊蒸。帶通濾波器荣倾，F(xiàn)IR，F(xiàn)inite Impulse Response骑丸，有限長(zhǎng)單位沖激響應(yīng)濾波器舌仍，又稱為非遞歸型濾波器。

  output：final photoplethysmogram

fingertip video 不用track者娱，不用ROI抡笼，沒有illumination interference苏揣，相應(yīng)的不用NLMS濾波黄鳍。簡(jiǎn)化后三步動(dòng)作即可。

2.Feature extraction

in：filtered photoplethysmogram平匈，step1中最終得到的過濾過的生物信號(hào)

out：a feature vector框沟，從信號(hào)中提取的一個(gè)特征向量

計(jì)算的特征有：Heart rate difference，Maximum cross correlation（互相關(guān)）增炭，mean忍燥，max，min隙姿，standard deviation（標(biāo)準(zhǔn)差）

3.classifier training

• training set：feature vectors梅垄，v={2中的6個(gè)特征值}，樣本來自兩組输玷，一組為合格的活體檢測(cè)队丝，一組為不匹配的face與fingertip
• 通過三種ML算法進(jìn)行訓(xùn)練，這里用了欲鹏，BN机久、LR、Multilayer Perception（MLP赔嚎，即多層感知器膘盖，是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)）三種算法胧弛。
• out：訓(xùn)練得到一個(gè)classifier

安裝FaceHeart的設(shè)備都可以加載使用這個(gè)classifier，并持續(xù)使用改善侠畔。

4.liveness detection

in：a new pair of face and fingertip video

out：comput corresponding feature vector and apply the trained classifier, get class label结缚。

Performance Evaluation

攻擊者模型：擁有受攻擊者的手機(jī)、包含其清晰正臉的視頻软棺。但沒有fingertip video掺冠，因?yàn)檫@實(shí)際中也很難被攻擊中獲取，故攻擊者只能用其他人的fingertip video作為替代码党，采用VFA進(jìn)行入侵德崭。

兩類實(shí)驗(yàn)

• 壓力測(cè)試，測(cè)試性能揖盘，相同環(huán)境下分類準(zhǔn)確性
• 健壯性測(cè)試眉厨，測(cè)試不同條件下分類準(zhǔn)確性。

1.性能標(biāo)準(zhǔn)

• ROC曲線兽狭。
• Acceptance Rate憾股，正確分類的合法用戶占所有合法用戶的比例，表現(xiàn)對(duì)合法用戶的劃分程度箕慧。
• Detection Rate服球，正確劃分的攻擊者占所有攻擊者的比例，表現(xiàn)系統(tǒng)有效防御VFA的能力颠焦。
• Computation time斩熊，計(jì)算時(shí)間。

2.實(shí)驗(yàn)結(jié)果

性能測(cè)試結(jié)果

• video length影響：2到4秒以內(nèi)伐庭，心率信息準(zhǔn)確度隨視頻長(zhǎng)度增加而增加粉渠，超過4秒后無變化。三種分類算法得到的分類結(jié)果也同樣圾另，2到4秒內(nèi)錯(cuò)誤率減少霸株，之后不變。

  實(shí)驗(yàn)證明集乔，認(rèn)證的視頻可以足夠短去件，默認(rèn)長(zhǎng)度設(shè)為為4秒

• ROI影響：證明了三種ROI方式，本文選用的ROI方式具有最小的錯(cuò)誤率（總體都相近扰路，但本文選用的方式同時(shí)運(yùn)算最快）尤溜。

• ROC圖統(tǒng)計(jì)性能，同時(shí)滿足很高的TPR和很低的FPR幼衰。

• 不同用戶狀態(tài)下的ERR測(cè)試靴跛，結(jié)果顯示不同的心臟活動(dòng)狀態(tài)下，錯(cuò)誤率都很低渡嚣。三種分類算法都是6%左右的錯(cuò)誤率梢睛。

健壯性測(cè)試結(jié)果

• Head pose肥印，頭的姿勢(shì)對(duì)接受率的影響，證明認(rèn)證者錄像時(shí)小范圍（小于10度）的上下或左右轉(zhuǎn)動(dòng)頭绝葡，并不會(huì)降低接受率深碱。
• Illumination。證明FaceHeart受環(huán)境光照影響藏畅，低光照（暗環(huán)境）降低接受率敷硅。
• Location，實(shí)驗(yàn)環(huán)境影響愉阎，辦公室绞蹦、公寓、圖書館和戶外測(cè)試證明環(huán)境不影響FaceHeart的接受率榜旦。

計(jì)算時(shí)間

時(shí)間消耗的不同主要是選用不同的ROI算法導(dǎo)致的幽七，R1和R2的ROI方式的時(shí)間遠(yuǎn)大于R3的方式，故選用R3方式（18倍差距）溅呢。（給定了視頻長(zhǎng)度為4秒情況下做測(cè)試）

Discussion

討論局限性及可能的改進(jìn)FaceHeart的方法

1.Camera-based PPG

• 要求用戶不能移動(dòng)以及光照環(huán)境對(duì)PPG結(jié)果有影響澡屡。
• 很少情況下，面部表情咐旧、面部阻塞驶鹉、膚色會(huì)影響PPG結(jié)果

2.認(rèn)證時(shí)間

目前的認(rèn)證時(shí)間包括4秒的視頻長(zhǎng)度+0.96的ROI處理（R3方式），大約4.9秒算是優(yōu)秀的铣墨∈衣瘢可以縮短視頻長(zhǎng)度，但面臨錯(cuò)誤率增高的問題踏兜。一種縮短視頻的方式是換一種特征词顾，比如心率變化程度。有待進(jìn)一步研究碱妆。