本篇論文主要是從事于微表情研究鳞滨，來(lái)自于傅小蘭團(tuán)隊(duì)奉瘤，傅小蘭研究組（即視覺(jué)與計(jì)算認(rèn)知實(shí)驗(yàn)室）從事認(rèn)知心理學(xué)的基礎(chǔ)研究以及人機(jī)交互中的心理與行為等應(yīng)用研究亲族。目前的研究興趣主要集中在情緒領(lǐng)域种呐，包括宏表情和微表情的識(shí)別和檢測(cè)狠半，以及可以應(yīng)用于謊言識(shí)別的線索等噩死；想要具體了解他們團(tuán)隊(duì)可以訪問(wèn)該鏈接：http://fu.psych.ac.cn/cn/index.php
論文題目：CASME II: An Improved Spontaneous Micro-Expression Database and the Baseline Evaluation
本次論文主要貢獻(xiàn)：（一）更加好的微表情數(shù)據(jù)集；（二）提供比較有參考價(jià)值識(shí)別方法
論文分為兩部分：
第一部分神年，介紹了CASME II的開(kāi)發(fā)過(guò)程已维，包括引發(fā)微表情的方法以及如何為數(shù)據(jù)庫(kù)選擇樣本。
第二部分已日，使用來(lái)自三個(gè)正交平面（LBP-TOP）的LocalBinary模式評(píng)估特征垛耳，并使用支持向量機(jī)（SVM）進(jìn)行分類(lèi)，評(píng)估該數(shù)據(jù)庫(kù)。
該 CASME II 數(shù)據(jù)集有五大特征：
（1）該數(shù)據(jù)集是自發(fā)的和動(dòng)態(tài)的微表達(dá)堂鲜；
（2）具有較高的時(shí)間分辨率（200 fps）和較高的面部分辨率（280*340像素）栈雳；
（3）微表達(dá)標(biāo)簽基于FACS研究手冊(cè)和Yan等人的探尋得到的；
（4）錄視頻時(shí)具有適當(dāng)?shù)恼彰鞯蘖娌可系母吖鈪^(qū)域減少哥纫，沒(méi)有多余的噪聲；
（5）不同分類(lèi)微表情數(shù)據(jù)量不均等痴奏，由于實(shí)驗(yàn)采集難度高蛀骇。
1. 數(shù)據(jù)庫(kù)選擇樣本（Sample selection and category labeling）
主要分為下面四個(gè)部分：
（1）去掉不相關(guān)的面部動(dòng)作
（2）預(yù)先有微表情的候選人，在相關(guān)面部情感動(dòng)作變化時(shí)間低于1s读拆，有這種表現(xiàn)的候選人被定為微表情候選者擅憔。
（3）選取微表情樣本，標(biāo)準(zhǔn)：整個(gè)表情視頻段要低于500ms或者整個(gè)視頻的起始時(shí)間到peak表情這段時(shí)間要低于250ms
（4）動(dòng)作單元（AU）和表情標(biāo)簽
動(dòng)作單元（AU）類(lèi)似于這種：
image.png
2. 提取特征方法：LBP-TOP
LBP算子定義為在 3 ? 3 的窗口內(nèi)檐晕，以窗口中心像素為閾值雕欺，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周?chē)袼刂荡笥诘扔谥行南袼刂得藿悖瑒t該像素點(diǎn)的位置被標(biāo)記為1屠列，否則為0。這樣伞矩， 3 ? 3 鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)（通常轉(zhuǎn)換為十進(jìn)制數(shù)即LBP碼笛洛，共256種），即得到該窗口中心像素點(diǎn)的LBP值乃坤，并用這個(gè)值來(lái)反映該區(qū)域的紋理信息苛让。需要注意的是，LBP值是按照順時(shí)針?lè)较蚪M成的二進(jìn)制數(shù)湿诊。
隨著LBP的改進(jìn)和優(yōu)化狱杰，衍生出許多其它的算子：
（1）圓形LBP算子：
基本的 LBP算子的最大缺陷在于它只覆蓋了一個(gè)固定半徑范圍內(nèi)的小區(qū)域，這顯然不能滿足不同尺寸和頻率紋理的需要厅须。為了適應(yīng)不同尺度的紋理特征仿畸，并達(dá)到灰度和旋轉(zhuǎn)不變性的要求，Ojala等對(duì) LBP算子進(jìn)行了改進(jìn)朗和，將 3×3鄰域擴(kuò)展到任意鄰域错沽，并用圓形鄰域代替了正方形鄰域，改進(jìn)后的 LBP算子允許在半徑為 R 的圓形鄰域內(nèi)有任意多個(gè)像素點(diǎn)眶拉。從而得到了諸如半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子千埃；圓形LBP算子（2）LBP旋轉(zhuǎn)不變模式
從 LBP 的定義可以看出，LBP 算子是灰度不變的忆植，但卻不是旋轉(zhuǎn)不變的放可。圖像的旋轉(zhuǎn)就會(huì)得到不同的 LBP值谒臼。Maenpaa等人又將 LBP算子進(jìn)行了擴(kuò)展，提出了具有旋轉(zhuǎn)不變性的 LBP算子耀里，即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的 LBP值蜈缤，取其最小值作為該鄰域的 LBP值。LBP旋轉(zhuǎn)不變模式（3）LBP等價(jià)模式
一個(gè)LBP算子可以產(chǎn)生不同的二進(jìn)制模式备韧，對(duì)于半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子將會(huì)產(chǎn)生P2種模式。很顯然痪枫，隨著鄰域集內(nèi)采樣點(diǎn)數(shù)的增加织堂，二進(jìn)制模式的種類(lèi)是急劇增加的。例如：5×5鄰域內(nèi)20個(gè)采樣點(diǎn)奶陈，有220＝1,048,576種二進(jìn)制模式易阳。如此多的二值模式無(wú)論對(duì)于紋理的提取還是對(duì)于紋理的識(shí)別、分類(lèi)及信息的存取都是不利的吃粒。同時(shí)潦俺，過(guò)多的模式種類(lèi)對(duì)于紋理的表達(dá)是不利的。例如徐勃，將LBP算子用于紋理分類(lèi)或人臉識(shí)別時(shí)事示，常采用LBP模式的統(tǒng)計(jì)直方圖來(lái)表達(dá)圖像的信息，而較多的模式種類(lèi)將使得數(shù)據(jù)量過(guò)大僻肖，且直方圖過(guò)于稀疏肖爵。因此，需要對(duì)原始的LBP模式進(jìn)行降維臀脏，使得數(shù)據(jù)量減少的情況下能最好的代表圖像的信息劝堪。
LBP等價(jià)模式
python實(shí)現(xiàn)LBP特征點(diǎn)計(jì)算
import cv2
import numpy as np
def olbp(src):
dst = np.zeros(src.shape,dtype=src.dtype)
for i in range(1,src.shape[0]-1):
for j in range(1,src.shape[1]-1):
pass
center = src[i][j]
code = 0;
code |= (src[i-1][j-1] >= center) << 7;
code |= (src[i-1][j ] >= center) << 6;
code |= (src[i-1][j+1] >= center) << 5;
code |= (src[i ][j+1] >= center) << 4;
code |= (src[i+1][j+1] >= center) << 3;
code |= (src[i+1][j ] >= center) << 2;
code |= (src[i+1][j-1] >= center) << 1;
code |= (src[i ][j-1] >= center) << 0;
dst[i-1][j-1]= code;
return dst
lena = cv2.imread('2.jpg')
cv2.namedWindow('lena')
cv2.imshow('lena', lena)
#cv2.waitKey(0)
gray = cv2.cvtColor(lena,cv2.COLOR_RGB2GRAY)
x = olbp(gray)
cv2.namedWindow('olbp')
cv2.imshow('olbp', x)
cv2.waitKey(0)
LBP圖片展示：
LBP可以有效地處理光照變化，在紋理分析揉稚，紋理識(shí)別方面被廣泛應(yīng)用秒啦。但是LBP 只能處理單張的二維圖像，對(duì)于視頻或者圖像序列搀玖，如何用LBP來(lái)提取特征余境，捕捉視頻序列的運(yùn)動(dòng)信息呢。就需要引出我們的LBP-TOP.
LBP-TOP 是 LBP 從二維空間到三維空間的拓展灌诅，LBP-TOP 的全稱(chēng)為: local binary patterns from three orthogonal planes, 這里的three orthogonal planes 指的就是三個(gè)正交平面葛超，我們知道，單張的圖像只有X, Y兩個(gè)方向延塑，而一個(gè)視頻或者圖像序列除了X,Y 方向之外绣张，還有一個(gè)沿著時(shí)間軸 T 的方向， 而 X-Y, X-T 和 Y-T 三個(gè)方向是相互正交的关带〗暮可以看看如下的圖：
與LBP 相比沼撕，LBP-TOP 不僅考慮了 X-Y 平面的紋理信息，還考慮了 X-T, Y-T的紋理信息芜飘，而X-T务豺，Y-T 的紋理信息，記錄著重要的動(dòng)態(tài)紋理嗦明。X-Y,X-T,Y-T的紋理信息笼沥，也就三張直方圖，最后將這三張圖連接到一起就是最終示意圖娶牌。
SVM被用作分類(lèi)器奔浅。 為了這基線評(píng)估，我們選擇了5種微表達(dá)類(lèi)別–幸福诗良，驚喜汹桦，厭惡，壓抑等–用于訓(xùn)練和
測(cè)試鉴裹。 考慮樣本中五個(gè)樣本分布不均類(lèi)舞骆，則采用留一法交叉驗(yàn)證(Leave One out CV)。 其中X-Y径荔，Y-T督禽，X-T對(duì)應(yīng)的值為1,1,4效果最好，其準(zhǔn)確率達(dá)到63.41%总处。
四種交叉驗(yàn)證方法：
- Holdout Method | 留出法
在機(jī)器學(xué)習(xí)任務(wù)中赂蠢，拿到數(shù)據(jù)后，我們首先會(huì)將原始數(shù)據(jù)集分為三部分：訓(xùn)練集辨泳、驗(yàn)證集和測(cè)試集虱岂。
訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于模型的參數(shù)選擇配置菠红，測(cè)試集對(duì)于模型來(lái)說(shuō)是未知數(shù)據(jù)第岖，用于評(píng)估模型的泛化能力。Holdout Method
- K-Fold CV | K-折交叉驗(yàn)證
k 一般取 10试溯，數(shù)據(jù)量小的時(shí)候蔑滓，k 可以設(shè)大一點(diǎn)，這樣訓(xùn)練集占整體比例就比較大遇绞，不過(guò)同時(shí)訓(xùn)練的模型個(gè)數(shù)也增多键袱。數(shù)據(jù)量大的時(shí)候，k 可以設(shè)小一點(diǎn)摹闽。K-Fold CV
Leave One out CV | 留一法
Leave One out CV顧名思義蹄咖，每次只使用一個(gè)作為測(cè)試集，剩下的全部作為訓(xùn)練集付鹿，這種方法得出的結(jié)果與訓(xùn)練整個(gè)測(cè)試集的期望值最為接近澜汤，但是成本過(guò)于龐大蚜迅。
- Bootstrap Methods
Bootstrap Methods通過(guò)自助采樣法,即在含有 m 個(gè)樣本的數(shù)據(jù)集中，進(jìn)行 m 次有放回地隨機(jī)抽樣俊抵，組成的新數(shù)據(jù)集作為訓(xùn)練集谁不。這種方法，有的樣本會(huì)被多次采樣徽诲，也會(huì)有一次都沒(méi)有被選擇過(guò)的樣本刹帕，原數(shù)據(jù)集中大概有 36.8% 的樣本不會(huì)出現(xiàn)在新組數(shù)據(jù)集中，這些沒(méi)有被選擇過(guò)的數(shù)據(jù)作為驗(yàn)證集谎替。
作者：不會(huì)停的蝸牛
鏈接：http://www.reibang.com/p/5b793f9b6481
來(lái)源：簡(jiǎn)書(shū)
未完待續(xù)......
