人臉識別概述：人臉識別，是基于人的臉部特征信息進行身份識別的一種生物識別技術(shù)掀抹。人臉識別區(qū)別于其他生物特征識別方法的五項優(yōu)勢虐拓，有非侵?jǐn)_性、便捷性傲武、友好性蓉驹、非接觸性、可擴展性揪利。

人臉識別技術(shù)原理：人臉識別的五大技術(shù)流程态兴，包括人臉圖像的采集與預(yù)處理、人臉檢測疟位、人臉特征提取瞻润、人臉識別和活體鑒別；目前人臉識別的主要方法甜刻，包括基于特征臉的方法绍撞、基于幾何特征的方法、基于深度學(xué)習(xí)的方法得院、基于支持向量機的方法和其他綜合方法傻铣。

2013 年，微軟亞洲研究院的研究者首度嘗試了 10 萬規(guī)模的大訓(xùn)練數(shù)據(jù)祥绞，并基于高維 LBP 特征和 Joint Bayesian 方法在 LFW 上獲得了 95.17%的精度非洲。這一結(jié)果表明：大訓(xùn)練數(shù)據(jù)集對于有效提升非受限環(huán)境下的人臉識別很重要。然而蜕径，經(jīng)典方法都難以處理大規(guī)模數(shù)據(jù)集的訓(xùn)練場景两踏。

2014 年前后，隨著大數(shù)據(jù)和深度學(xué)習(xí)的發(fā)展兜喻，神經(jīng)網(wǎng)絡(luò)重受矚目梦染，并在圖像分類、手寫 體識別虹统、語音識別等應(yīng)用中獲得了遠超經(jīng)典方法的結(jié)果弓坞。香港中文大學(xué)的 Sun Yi 等人提出 將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到人臉識別上隧甚，采用 20 萬訓(xùn)練數(shù)據(jù)车荔，在 LFW 上第一次得到超過人類 水平的識別精度，這是人臉識別發(fā)展歷史上的一座里程碑戚扳。 自此之后忧便，研究者們不斷改進網(wǎng)絡(luò)結(jié)構(gòu)，同時擴大訓(xùn)練樣本規(guī)模，將 LFW 上的識別精 度推到 99.5%以上珠增。人臉識別發(fā)展過程中一些經(jīng)典的方法及其在 LFW 上的精度超歌，都有一個 基本的趨勢：訓(xùn)練數(shù)據(jù)規(guī)模越來越大，識別精度越來越高蒂教。

人臉識別流程

（1）人臉圖像的采集

采集人臉圖像通常情況下有兩種途徑巍举，分別是既有人臉圖像的批量導(dǎo)入和人臉圖像的實時采集。一些比較先進的人臉識別系統(tǒng)甚至可以支持有條件的過濾掉不符合人臉識別質(zhì)量要求或者是清晰度質(zhì)量較低的人臉圖像凝垛，盡可能的做到清晰精準(zhǔn)的采集懊悯。

既有人臉圖像的批量導(dǎo)入：即將通過各種方式采集好的人臉圖像批量導(dǎo)入至人臉識別系統(tǒng)，系統(tǒng)會自動完成逐個人臉圖像的采集工作梦皮。

人臉圖像的實時采集：即調(diào)用攝像機或攝像頭在設(shè)備的可拍攝范圍內(nèi)自動實時抓取人臉圖像并完成采集工作炭分。

（2）人臉圖像的預(yù)處理

人臉圖像的預(yù)處理的目的是在系統(tǒng)對人臉圖像的檢測基礎(chǔ)之上，對人臉圖像做出進一步的處理以利于人臉圖像的特征提取剑肯。

人臉圖像的預(yù)處理具體而言是指對系統(tǒng)采集到的人臉圖像進行光線捧毛、旋轉(zhuǎn)、切割让网、過濾呀忧、降噪、放大縮小等一系列的復(fù)雜處理過程來使得該人臉圖像無論是從光線寂祥、角度荐虐、距離、大小等任何方面來看均能夠符合人臉圖像的特征提取的標(biāo)準(zhǔn)要求丸凭。

在現(xiàn)實環(huán)境下采集圖像福扬，由于圖像受到光線明暗不同、臉部表情變化惜犀、陰影遮擋等眾多外在因素的干擾铛碑，導(dǎo)致采集圖像質(zhì)量不理想，那就需要先對采集到的圖像預(yù)處理虽界，如果圖像預(yù)處理不好汽烦，將會嚴(yán)重影響后續(xù)的人臉檢測與識別。

（3）人臉檢測

一張包含人臉圖像的圖片通常情況下可能還會包含其他內(nèi)容莉御，這時候就需要進行必要的人臉檢測撇吞。也就是在一張人臉圖像之中，系統(tǒng)會精準(zhǔn)的定位出人臉的位置和大小礁叔，在挑選出有用的圖像信息的同時自動剔除掉其他多余的圖像信息來進一步的保證人臉圖像的精準(zhǔn)采集牍颈。

人臉檢測是人臉識別中的重要組成部分。人臉檢測是指應(yīng)用一定的策略對給出的圖片或者視頻來進行檢索琅关，判斷是否存在著人臉煮岁，如果存在則定位出每張人臉的位置、大小與姿態(tài)的過程。人臉檢測是一個具有挑戰(zhàn)性的目標(biāo)檢測問題画机，主要體現(xiàn)在兩方面：

人臉目標(biāo)內(nèi)在的變化引起：（1）人臉具有相當(dāng)復(fù)雜的細節(jié)變化和不同的表情(眼冶伞、嘴的 開與閉等)，不同的人臉具有不同的外貌步氏，如臉形响禽、膚色等；（2）人臉的遮擋荚醒，如眼鏡金抡、頭發(fā)和頭部飾物等。

外在條件變化引起：（1）由于成像角度的不同造成人臉的多姿態(tài)腌且，如平面內(nèi)旋轉(zhuǎn)梗肝、深度旋轉(zhuǎn)以及上下旋轉(zhuǎn)等，其中深度旋轉(zhuǎn)影響較大铺董；（2）光照的影響巫击，如圖像中的亮度、對比度的變化和陰影等精续；（3）圖像的成像條件坝锰，如攝像設(shè)備的焦距、成像距離等重付。

人臉檢測的作用顷级，便是在一張人臉圖像之中，系統(tǒng)會精準(zhǔn)的定位出人臉的位置和大小确垫，在挑選出有用的圖像信息的同時自動剔除掉其他多余的圖像信息來進一步的保證人臉圖像的精準(zhǔn)采集弓颈。人臉檢測重點關(guān)注以下指標(biāo)：

檢測率：識別正確的人臉/圖中所有的人臉。檢測率越高删掀，檢測模型效果越好翔冀；

誤檢率：識別錯誤的人臉/識別出來的人臉。誤檢率越低披泪，檢測模型效果越好纤子；

漏檢率：未識別出來的人臉/圖中所有的人臉。漏檢率越低款票，檢測模型效果越好控硼；

速度：從采集圖像完成到人臉檢測完成的時間。時間越短艾少，檢測模型效果越好卡乾。

（4）人臉特征提取

目前主流的人臉識別系統(tǒng)可支持使用的特征通常可分為人臉視覺特征姆钉、人臉圖像像素統(tǒng)計特征等说订，而人臉圖像的特征提取就是針對人臉上的一些具體特征來提取的。特征簡單潮瓶，匹配算法則簡單陶冷，適用于大規(guī)模的建庫；反之毯辅，則適用于小規(guī)模庫埂伦。特征提取的方法一般包括基于知識的提取方法或者基于代數(shù)特征的提取方法。以基于知識的人臉識別提取方法中的一種為例思恐，因為人臉主要是由眼睛沾谜、額頭、鼻子胀莹、耳朵基跑、下巴、嘴巴等部位組成描焰，對這些部位以及它們之間的結(jié)構(gòu)關(guān)系都是可以用幾何形狀特征來進行描述的媳否，也就是說每一個人的人臉圖像都可以有一個對應(yīng)的幾何形狀特征，它可以幫助我們作為識別人臉的重要差異特征荆秦，這也是基于知識的提取方法中的一種篱竭。

（5）人臉識別

我們可以在人臉識別系統(tǒng)中設(shè)定一個人臉相似程度的數(shù)值，再將對應(yīng)的人臉圖像與系統(tǒng)數(shù)據(jù)庫中的所有人臉圖像進行比對步绸，若超過了預(yù)設(shè)的相似數(shù)值掺逼，那么系統(tǒng)將會把超過的人臉圖像逐個輸出，此時我們就需要根據(jù)人臉圖像的相似程度高低和人臉本身的身份信息來進行精確篩選瓤介，這一精確篩選的過程又可以分為兩類：其一是一對一的篩選吕喘，即對人臉身份進行確認過程；其二是一對多的篩選刑桑，即根據(jù)人臉相似程度進行匹配比對的過程兽泄。

（6）活體鑒別

生物特征識別的共同問題之一就是要區(qū)別該信號是否來自于真正的生物體，比如漾月，指紋識別系統(tǒng)需要區(qū)別帶識別的指紋是來自于人的手指還是指紋手套病梢，人臉識別系統(tǒng)所采集到的人臉圖像，是來自于真實的人臉還是含有人臉的照片梁肿。因此蜓陌，實際的人臉識別系統(tǒng)一般需要增加活體鑒別環(huán)節(jié)，例如吩蔑，要求人左右轉(zhuǎn)頭钮热，眨眼睛，開開口說句話等烛芬。

人臉識別方法：

這里主要介紹基于深度學(xué)習(xí)的識別方法：

深度學(xué)習(xí)的出現(xiàn)使人臉識別技術(shù)取得了突破性進展隧期。人臉識別的最新研究成果表明飒责，深度學(xué)習(xí)得到的人臉特征表達具有手工特征表達所不具備的重要特性，例如它是中度稀疏的仆潮、對人臉身份和人臉屬性有很強的選擇性宏蛉、對局部遮擋具有良好的魯棒性。這些特性是通過大數(shù)據(jù)訓(xùn)練自然得到的性置，并未對模型加入顯式約束或后期處理店诗，這也是深度學(xué)習(xí)能成功應(yīng)用在人臉識別中的主要原因繁疤。

深度學(xué)習(xí)在人臉識別上有 7 個方面的典型應(yīng)用：基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的人臉識別方法樟蠕，深度非線性人臉形狀提取方法钳宪，基于深度學(xué)習(xí)的人臉姿態(tài)魯棒性建模，有約束環(huán)境中的全自動人臉識別隐砸，基于深度學(xué)習(xí)的視頻監(jiān)控下的人臉識別之碗，基于深度學(xué)習(xí)的低分辨率人臉識別及其他基于深度學(xué)習(xí)的人臉相關(guān)信息的識別。

其中季希，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）是第一個真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法继控，基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型，能挖掘數(shù)據(jù)局部特征胖眷，提取全局訓(xùn)練特征和分類武通，其權(quán)值共享結(jié)構(gòu)網(wǎng)絡(luò)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，在模式識別各個領(lǐng)域都得到成功應(yīng)用珊搀。CNN 通過結(jié)合人臉圖像空間的局部感知區(qū)域冶忱、共享權(quán)重、在空間或時間上的降采樣來充分利用數(shù)據(jù)本身包含的局部性等特征境析，優(yōu)化模型結(jié)構(gòu)囚枪，保證一定的位移不變性。

基于深度學(xué)習(xí)的人臉識別技術(shù)的廣泛應(yīng)用 ：

目前主流的人臉識別技術(shù)大多都是針對輕量級的人臉圖像數(shù)據(jù)庫劳淆，對于未來完全可預(yù)見的億萬級的人臉圖像數(shù)據(jù)庫則還不太成熟链沼，因此需要重點研究基于深度學(xué)習(xí)的人臉識別技術(shù)。通俗意義上來講就是沛鸵，目前國內(nèi)人口有十三億之多括勺，由實力雄厚的人臉識別公司牽頭在不久的未來建立起一個覆蓋全國范圍的統(tǒng)一的人臉圖像數(shù)據(jù)庫也是可以預(yù)見的，那么該人臉圖像數(shù)據(jù)庫存儲的人臉圖像的容量可能會達到數(shù)十億甚至是數(shù)百億的級別曲掰，這時候可能就會存在大量表征相似疾捍、關(guān)鍵特征點相似的人臉，如果沒有基于深度學(xué)習(xí)的人臉識別技術(shù)栏妖，建立更為復(fù)雜的多樣化的人臉模型乱豆，那么在實現(xiàn)精準(zhǔn)和快速的人臉識別就會比較困難。

基于深度學(xué)習(xí)人臉識別方法的細分類：

人臉的表達模型分為2D人臉和3D人臉吊趾。2D人臉識別研究的時間相對較長宛裕，方法流程也相對成熟瑟啃，在多個領(lǐng)域都有使用，但由于2D信息存在深度數(shù)據(jù)丟失的局限性揩尸，無法完整的表達出真實人臉蛹屿，所以在實際應(yīng)用中存在著一些不足，例如識別準(zhǔn)確率不高疲酌、活體檢測準(zhǔn)確率不高等。

3D人臉模型比2D人臉模型有更強的描述能力了袁，能更好的表達出真實人臉朗恳，所以基于3D數(shù)據(jù)的人臉識別不管識別準(zhǔn)確率還是活體檢測準(zhǔn)確率都有很大的提高。

2D人臉識別模型比較有名的有FaceNet：

davidsandberg/facenet?github.com

這個是Facenet的官方github代碼地址载绿，里面人臉檢測使用的是MTCNN模型粥诫，具體的介紹可以稍微再參考下我的這篇文章：

天山老霸王：用Pyqt5開發(fā)的基于MTCNN、FaceNet人臉考勤系統(tǒng)

注意：此模型未包含活體檢測崭庸，人臉提取特征是一個神經(jīng)網(wǎng)絡(luò)怀浆，人臉檢測是一個神經(jīng)網(wǎng)絡(luò)。

3D人臉識別現(xiàn)狀：

目前3D人臉識別在市場上根據(jù)使用攝像頭成像原理主要分為：3D結(jié)構(gòu)光怕享、TOF执赡、雙目立體視覺。

3D結(jié)構(gòu)光

3D結(jié)構(gòu)光通過紅外光投射器函筋，將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上沙合，再由專門的紅外攝像頭進行采集。主要利用三角形相似的原理進行計算跌帐，從而得出圖像上每個點的深度信息首懈，最終得到三維數(shù)據(jù)。

基于3D結(jié)構(gòu)光的人臉識別已在一些智能手機上實際應(yīng)用谨敛，如國外使用了超過10億張圖像（IR和深度圖像）訓(xùn)練的FaceId究履；國內(nèi)自主研發(fā)手機廠商的人臉識別。

TOF

TOF簡單的說就是激光測距脸狸，照射光源一般采用方波脈沖調(diào)制最仑，根據(jù)脈沖發(fā)射和接收的時間差來測算距離。

采用TOF的方式獲取3D數(shù)據(jù)主要在Kinect上實現(xiàn)炊甲，Kinect在2009年推出盯仪，目的是作為跟機器的交互設(shè)備，用在游戲方面蜜葱。主要獲取并處理的是人體的姿態(tài)數(shù)據(jù)全景。

雙目立體視覺

雙目是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。由雙攝像機從不同角度同時獲得被測物的兩幅數(shù)字圖像牵囤，并基于視差原理恢復(fù)出物體的三維幾何信息爸黄，從而得出圖像上每個點的深度信息滞伟、最終得到三維數(shù)據(jù)。

由于雙目立體視覺成像原理對硬件要求比較高炕贵，特別是相機的焦距梆奈、兩個攝像頭的平面位置，應(yīng)用范圍相對3D結(jié)構(gòu)光TOF少称开。

相比2D人臉識別亩钟，可以簡單理解為在RGB基礎(chǔ)上添加了深度信息，人臉的深度鳖轰。

按深度信息使用的方法可以分為兩類：3D人臉識別清酥、2D+人臉識別。

3D人臉識別

3D人臉識別處理的是3D的數(shù)據(jù)蕴侣，如點云焰轻、體素等，這些數(shù)據(jù)是完整的昆雀，立體的辱志，能表達出物體各個角度的特征，不管一個人正臉還是側(cè)臉狞膘，理論上都是同一個人揩懒。但是因為點云等3D數(shù)據(jù)具有數(shù)據(jù)量大、而且點云數(shù)據(jù)具有無序性挽封、稀疏性等特點旭从，3D人臉識別開發(fā)難度比較大。

2D+人臉識別

由于3D人臉識別開發(fā)難度比較大场仲，于是有2D+人臉識別和悦，其處理方式比較簡單，只是將3D的人臉數(shù)據(jù)分為2D的RGB數(shù)據(jù)+深度數(shù)據(jù)渠缕。處理的方法為先采用2D的人臉識別方法處理2D的RGB數(shù)據(jù)鸽素，然后再處理深度數(shù)據(jù)。這樣的處理實現(xiàn)起來就相對較快亦鳞，因為目前的2D人臉識別有一套比較成熟的方法馍忽，特別是CNN出現(xiàn)后，2D的人臉識別在各挑戰(zhàn)賽燕差、數(shù)據(jù)集上識別的準(zhǔn)確率已經(jīng)達到甚至超過人類的識別精度遭笋。

2D+人臉識別的方法能比較好將2D人臉識別的方法遷移過來，但是這樣人為的將深度信息跟RGB信息分開處理不如3D人臉識別準(zhǔn)確率高徒探。2D+人臉識別相對2D人臉識別準(zhǔn)確率提高不會很大瓦呼，但是在活體檢測的準(zhǔn)確率上有一定的提高。

具體可以參考以下文章：

2D與3D人臉識別有什么本質(zhì)上的區(qū)別测暗？

作者：天山老霸王

鏈接：http://www.reibang.com/p/91e3f3cd6262

來源：簡書

簡書著作權(quán)歸作者所有央串，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處磨澡。