文章來源于微信公眾號(hào)（茗創(chuàng)科技）嘀略，歡迎有興趣的朋友搜索關(guān)注扁掸。

情感在我們的日常生活中扮演著重要的角色，不僅體現(xiàn)在人際交往中诺擅，在決策過程中市袖，也在我們對(duì)周圍世界的感知中。由于最近學(xué)術(shù)界非常關(guān)注人機(jī)交互尤其是情感交互的重要性烁涌，那么幫助計(jì)算機(jī)有效識(shí)別人類的情感是非常迫切的苍碟。一般來說情感識(shí)別可以通過多種方法實(shí)現(xiàn)，如主觀自我報(bào)告撮执、自主和神經(jīng)生理學(xué)測(cè)量微峰。近年來，腦電圖(EEG)技術(shù)因?yàn)樗?/b>的簡(jiǎn)單抒钱、廉價(jià)蜓肆、便攜、易于使用的情感識(shí)別解決方案等優(yōu)點(diǎn)继效，得到了研究人員的廣泛關(guān)注症杏。因此，本文回顧了2009 - 2016年的神經(jīng)生理學(xué)研究瑞信，并綜述了現(xiàn)有的基于EEG信號(hào)的情感識(shí)別文獻(xiàn)厉颤。通過比較前人文獻(xiàn)來分析情感識(shí)別過程中涉及的主要方面酒繁，例如被試槽棍、特征提取因俐、分類器化借。通過分析，研究者們提出了一套研究人員必須遵循的良好實(shí)踐建議帜乞，以實(shí)現(xiàn)可重復(fù)司抱、可復(fù)制、驗(yàn)證良好和高質(zhì)量的結(jié)果黎烈。希望本文能夠啟發(fā)同樣使用EEG技術(shù)來研究情感識(shí)別的團(tuán)隊(duì)习柠。

引? 言

情感在人類認(rèn)知中扮演著重要的角色，是人類日常生活的基礎(chǔ)照棋，尤其是在理性決策资溃、感知、人際交往和人類智力方面烈炭。然而情感卻在很大程度上被忽視了溶锭，尤其是在人機(jī)交互(HCI)領(lǐng)域。

情感計(jì)算通過將技術(shù)和情感融合到人機(jī)交互中來填補(bǔ)這一空白符隙。它的目標(biāo)是通過測(cè)量用戶的情緒狀態(tài)來模擬人與電腦之間的情感互動(dòng)趴捅。通過主觀體驗(yàn)(感覺)、內(nèi)在情感(生理信號(hào))霹疫、外在表情(聽覺拱绑、視覺信號(hào))等，可以看出內(nèi)心的情緒狀態(tài)更米。雖然主觀自我報(bào)告可以提供有價(jià)值的信息欺栗，但在有效性和確證方面存在問題。因?yàn)閰⑴c者可能不會(huì)準(zhǔn)確地回答他們的感受征峦，而是按照他們認(rèn)為其他人會(huì)回答的那樣回答迟几。

生理信號(hào)有助于更好地理解參與者表達(dá)的潛在情感反應(yīng)，這些與來自中央和自主神經(jīng)系統(tǒng)的多通道記錄相對(duì)應(yīng)栏笆。中樞神經(jīng)系統(tǒng)由大腦和脊髓組成类腮，自主神經(jīng)系統(tǒng)是無意識(shí)活動(dòng)的控制系統(tǒng)，調(diào)節(jié)心率蛉加、瞳孔反應(yīng)蚜枢、性喚起等身體功能。通常用來測(cè)量情緒的信號(hào)是皮膚電反應(yīng)(GSR)针饥，它隨著人的興奮程度線性增加厂抽；肌電圖(EMG)(肌肉緊張的頻率)，與負(fù)性情緒相關(guān)丁眼；心率(HR)筷凤，隨著恐懼等消極情緒的增加而增加；呼吸頻率(RR)(呼吸的深度和速度)，當(dāng)憤怒等情緒更強(qiáng)烈時(shí)藐守，呼吸頻率就會(huì)變得不規(guī)則挪丢。在大腦上記錄的測(cè)量數(shù)據(jù)也使我們能夠觀察到人們感受到的情緒。

功能神經(jīng)成像技術(shù)已被廣泛使用卢厂，如腦電圖(EEG)乾蓬，功能磁共振成像(fMRI)和正電子發(fā)射斷層掃描技術(shù)(PET)。盡管腦電圖的空間分辨率很低慎恒，而且需要在頭部的不同位置放置許多電極任内，但它提供了很高的時(shí)間分辨率，允許研究人員研究情緒刺激時(shí)的相位變化巧号。此外族奢，腦電圖因?yàn)槠錈o創(chuàng)、快速丹鸿、廉價(jià)等優(yōu)點(diǎn)，使其成為研究大腦對(duì)情緒刺激的反應(yīng)的首選方法棚品。如今靠欢，由于其可穿戴性、價(jià)格铜跑、便攜性和易用性门怪，新的無線腦電圖設(shè)備正在進(jìn)入市場(chǎng)。因此锅纺，現(xiàn)在可以在娛樂掷空、電子學(xué)習(xí)、虛擬世界或電子醫(yī)療應(yīng)用程序等不同領(lǐng)域使用基于腦電圖的情感識(shí)別技術(shù)囤锉。它可以用于許多目的坦弟，如即時(shí)通訊、在線游戲官地、協(xié)助治療師和心理學(xué)家工作酿傍。

本文綜述了基于腦電信號(hào)的情緒識(shí)別方法的研究進(jìn)展。研究分析是基于兩個(gè)不同的角度進(jìn)行的：一個(gè)比較籠統(tǒng)驱入，即研究者提出了一組建議赤炒，以警示在這一領(lǐng)域的研究中可能出現(xiàn)的常見問題；另一個(gè)更具體地涵蓋了從腦電圖信號(hào)識(shí)別情緒的不同步驟亏较。后者側(cè)重于參與者的數(shù)量和性別莺褒，識(shí)別的情緒集，用于誘發(fā)他們的刺激(圖像雪情、視頻等)遵岩，使用的腦電圖設(shè)備和電極的位置，腦電圖特征提取和提取這些特征的方法旺罢，最后使用的分類器等方面的具體建議旷余。

方? 法

研究者們?cè)贕oogleScholar绢记、Pubmed、和IEEE Xplore網(wǎng)站上進(jìn)行查詢正卧，收集調(diào)查所需的論文蠢熄，關(guān)鍵詞為EEG+Emotions+Recognition和EEG+Emotions+ Identification。然后炉旷，仔細(xì)地甄別了2009年至2016年發(fā)表的基于腦電圖的情緒識(shí)別文獻(xiàn)签孔。第一次篩選結(jié)果是155篇論文，按作者分組窘行，然后刪除那些增量貢獻(xiàn)的論文饥追。這就產(chǎn)生了一個(gè)新的142篇論文的列表。

在接下來的步驟中罐盔，通過被引次數(shù)多少來分析論文的質(zhì)量但绕。研究者們選擇被引次數(shù)大于該年被引次數(shù)中位數(shù)的論文。在142篇論文中惶看，只有88篇符合該標(biāo)準(zhǔn)捏顺。然而考慮到少量被引可能不足以判定一篇論文的好壞，因此分析了低于閾值的每一篇論文的內(nèi)容和新穎性纬黎。最終的論文名單由99篇論文組成幅骄。

本文從兩個(gè)角度進(jìn)行了進(jìn)一步的分析。首先本今，根據(jù)Brouwer等人(2015)定義的6個(gè)建議(14個(gè)關(guān)鍵點(diǎn))對(duì)所有的論文進(jìn)行了回顧拆座。其次，對(duì)99篇論文中的一個(gè)子集進(jìn)行了更具體的分析冠息。這個(gè)子集包含了至少符合14個(gè)關(guān)鍵點(diǎn)中的9個(gè)挪凑。

背景信息

3.1情緒

情緒是一種復(fù)雜的心理狀態(tài)，它包括三個(gè)不同的組成部分：主觀體驗(yàn)铐达、生理反應(yīng)和行為或表達(dá)反應(yīng)岖赋。情緒被描述為對(duì)機(jī)體有意義的事件(外部或內(nèi)部)的離散和一致的反應(yīng)。它們持續(xù)時(shí)間很短瓮孙，與一系列協(xié)調(diào)的反應(yīng)相對(duì)應(yīng)唐断，這些反應(yīng)可能包括語(yǔ)言、行為杭抠、生理和神經(jīng)機(jī)制脸甘。在情感神經(jīng)科學(xué)中，情感概念可以與類似的構(gòu)念如感覺偏灿、情緒和影響區(qū)分開來丹诀。感覺Feelings可以被看作是情緒的一種主觀表征。心境Moods是一種彌散的情感狀態(tài)，通常比情緒持續(xù)的時(shí)間長(zhǎng)得多铆遭，也通常沒有情緒那么強(qiáng)烈硝桩。?最后，情感是一個(gè)包羅萬象的術(shù)語(yǔ)枚荣，用來描述情緒碗脊、感覺和情緒等主題（不加以區(qū)分）。

情緒表征有兩種不同的觀點(diǎn)橄妆。第一種觀點(diǎn)認(rèn)為基本情緒是通過自然選擇進(jìn)化而來的衙伶。Plutchik提出了八種基本情緒：憤怒、恐懼害碾、悲傷矢劲、厭惡、驚訝慌随、好奇芬沉、接受和快樂。所有其他情緒都可以由這些基本情緒構(gòu)成(例如儒陨，失望是由驚訝和悲傷組成的)花嘶。?Ekman遵循達(dá)爾文的傳統(tǒng)，他的工作基于面部表情和情緒之間的關(guān)系蹦漠，這些情緒來自于許多普遍的基本情緒：憤怒、厭惡车海、恐懼笛园、快樂、悲傷和驚訝侍芝。第二種觀點(diǎn)是基于認(rèn)知研铆，認(rèn)為情緒可以被映射到到效價(jià)Valence、喚醒度Arousal和優(yōu)勢(shì)度Dominance?(VAD)三個(gè)維度州叠。效價(jià)從非常積極的感覺到非常消極的感覺(或從不快樂到快樂)棵红；喚醒度從困倦狀態(tài)變?yōu)榕d奮狀態(tài)；最后咧栗，優(yōu)勢(shì)度對(duì)應(yīng)于情緒強(qiáng)度逆甜。最常用的模型是情緒的Circumplex Model模型，它只考慮效價(jià)和喚醒度致板。

圖1.大腦皮層分為額葉交煞、顳葉、頂葉和枕葉斟或。

3.2?腦電圖(EEG)

人腦最大的部分是皮層素征，分為額葉、顳葉、頂葉和枕葉(見圖1)御毅。額葉負(fù)責(zé)意識(shí)思維根欧。顳葉負(fù)責(zé)嗅覺和聽覺，并處理復(fù)雜的刺激端蛆，如面孔和場(chǎng)景凤粗。頂葉負(fù)責(zé)整合來自不同感官的感覺信息，以及對(duì)物體的操作欺税。最后侈沪，枕葉負(fù)責(zé)視覺。腦電圖是一種醫(yī)學(xué)成像技術(shù)晚凿，讀取由大腦結(jié)構(gòu)產(chǎn)生的頭皮電活動(dòng)亭罪，也就是說，它測(cè)量大腦神經(jīng)元內(nèi)離子電流流動(dòng)造成的電壓波動(dòng)歼秽。一個(gè)典型的成人腦電圖信號(hào)应役，當(dāng)從頭皮測(cè)量時(shí)，約為10-100?uV燥筷。這些信號(hào)在頭皮分為特定范圍在某些加工狀態(tài)更加突出,即δ(1?–?4Hz)箩祥，θ(4 –?7Hz)，α(8-13 Hz)肆氓，β(13-30 Hz)和γ(＞30 Hz) (見圖2)袍祖。開始和結(jié)束的頻段在不同作者之間的會(huì)有差異。

?圖2.五種腦電波：δ谢揪，?θ蕉陋，?α，?β拨扶，和γ凳鬓。

Delta波與潛意識(shí)有關(guān)，在深度無夢(mèng)睡眠時(shí)發(fā)生患民。Delta波活動(dòng)都與潛意識(shí)有關(guān)缩举，例如與睡眠和做夢(mèng)等活動(dòng)。Alpha波通常與放松的精神狀態(tài)有關(guān)匹颤，但它是有意識(shí)的仅孩，在頂葉和枕葉上更明顯。高α激活與大腦失活有關(guān)惋嚎。Beta波與活躍的精神狀態(tài)有關(guān)杠氢，在額葉皮層和其他區(qū)域在激烈的集中精神活動(dòng)中更為突出。最后另伍，伽馬波與超腦活動(dòng)有關(guān)鼻百。

3.2.1 EEG電極位置

為了產(chǎn)生可復(fù)制的設(shè)置绞旅，顱骨上有標(biāo)準(zhǔn)化的電極位置集，如國(guó)際10/20系統(tǒng)(IS)(見圖3)温艇。這個(gè)系統(tǒng)是基于電極的位置和大腦皮層下方區(qū)域之間的關(guān)系因悲。數(shù)字10和20表示相鄰電極之間的距離(顱骨前后或左右總距離的10%或20%)∩装可以利用現(xiàn)有的空白處來增加額外的電極點(diǎn)晃琳。每個(gè)位置都有一個(gè)字母來標(biāo)識(shí)葉和一個(gè)數(shù)字來標(biāo)識(shí)半球的位置。F代表額葉琐鲁，T代表顳葉卫旱，C代表中央(雖然沒有中央葉，但C字母用于識(shí)別)围段，P代表頂葉顾翼，O代表枕葉。Z(零)是指置于中線上的電極奈泪。偶數(shù)表示右腦的電極位置适贸，而奇數(shù)表示左腦的電極位置。四個(gè)解剖標(biāo)志用于電極的正確位置：鼻點(diǎn)nasion (前額和鼻子之間的點(diǎn))涝桅，小點(diǎn)inion?(從頭部后部開始的頭骨最低點(diǎn)拜姿，由一個(gè)突出的腫塊表示)，和耳朵前面的耳前點(diǎn)pre?auricular points冯遂。

圖3.國(guó)際10/20系統(tǒng)蕊肥。

電極可以是單極的或雙極的。前一個(gè)記錄電位差蛤肌，與連接耳垂或乳突的中性電極相比較晴埂。后一個(gè)顯示了兩對(duì)電極之間的電位差。高密度電極的使用會(huì)產(chǎn)生多種干擾腦電圖記錄的噪聲源寻定，如活動(dòng)部位附近的肌肉活動(dòng)、眼球運(yùn)動(dòng)和眨眼精耐。眼動(dòng)偽影會(huì)對(duì)大腦額部產(chǎn)生嚴(yán)重的影響狼速，特別是常用于研究情緒反應(yīng)的額中部(F3?和F4)。

3.2.2 EEG范式

為了了解如何評(píng)估腦電活動(dòng)中的變化卦停，研究者們提出了最常用的范式：感覺誘發(fā)電位(SEP)向胡、事件相關(guān)電位(ERP)和事件相關(guān)去同步化/同步化(ERD/ERS)。

誘發(fā)電位對(duì)應(yīng)于刺激出現(xiàn)后所記錄的電位信號(hào)惊完〗┣郏基于不同的誘發(fā)方法，有三種類型：聽覺誘發(fā)電位(AEP)小槐、視覺誘發(fā)電位(VEP)和體感誘發(fā)電位(SsEP)拇派。AEP是由耳機(jī)發(fā)出的滴答聲或音調(diào)刺激引起的荷辕，VEP是由閃爍的光或監(jiān)視器上圖案的變化引起的(穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)，如果它是由周期性刺激引起的)件豌，而SsEP是由周圍神經(jīng)的電刺激引起的疮方。

ERP具有很高的時(shí)間分辨率，可以測(cè)量對(duì)短刺激的即時(shí)反應(yīng)茧彤。它們通常以刺激后特定毫秒間隔的正電位和負(fù)電位的潛伏期和振幅來測(cè)量骡显。ERP常見成分順序如下：P100、N100曾掂、N200惫谤、P200、P300和Slow Cortical Potential (SCP)珠洗。N100的特征是電壓負(fù)偏轉(zhuǎn)溜歪，刺激和反應(yīng)之間的延遲(潛伏期)在刺激后100毫秒，而P100是正偏轉(zhuǎn)险污。N200和P200類似于N100和P100痹愚，延遲約為200毫秒而不是100毫秒(在150到275毫秒之間變化)。P300被認(rèn)為反映了參與刺激評(píng)價(jià)或分類的過程蛔糯，其特征是電壓正向偏轉(zhuǎn)拯腮，潛伏期約為250-500毫秒。SCP的發(fā)生時(shí)間從300毫秒到幾秒不等蚁飒。

ERD/ERS分析是以高時(shí)間分辨率評(píng)估指定頻帶內(nèi)的功率變化动壤。通過在規(guī)定的頻帶范圍內(nèi)測(cè)量功率的快速變化，以評(píng)估在刺激呈現(xiàn)后的毫秒內(nèi)出現(xiàn)的反應(yīng)淮逻。ERS對(duì)應(yīng)的是在頻段內(nèi)的功率上升琼懊，ERD對(duì)應(yīng)的是在頻段內(nèi)的功率下降。該指標(biāo)適合策略情感交流發(fā)生時(shí)的神經(jīng)反應(yīng)爬早。

3.3大腦中的情緒

在過去的十年中哼丈，大量的神經(jīng)心理學(xué)研究報(bào)道了腦電圖信號(hào)與情緒之間的相關(guān)性。大腦中有兩個(gè)與情緒活動(dòng)相關(guān)的主要區(qū)域：杏仁核(靠近海馬體筛严，位于顳葉的額部)醉旦；前額葉皮層(覆蓋額葉的一部分)。雖然對(duì)杏仁核可能的偏側(cè)化還沒有共識(shí)桨啃，但它的激活似乎與消極情緒的關(guān)系更大车胡，而不是積極情緒。

α能量的變化和大腦半球之間的不對(duì)稱性與情緒有關(guān)照瘾。相對(duì)的右額葉激活與退縮刺激或負(fù)面情緒匈棘，如恐懼或厭惡有關(guān)。相對(duì)較大的左額葉激活與接近刺激或積極的情緒析命，如快樂或幸福有關(guān)主卫。因此逃默，額葉腦電活動(dòng)的不對(duì)稱可能反映了效價(jià)的變化。β頻帶也與效價(jià)有關(guān)队秩。效價(jià)識(shí)別表現(xiàn)為額葉和頂葉的α帶不對(duì)稱和γ帶的顳葉不對(duì)稱笑旺，喚醒識(shí)別表現(xiàn)為前額葉α帶不對(duì)稱和顳葉γ帶不對(duì)稱。γ帶的變化與情緒快樂和悲傷有關(guān)馍资，顳葉不同部位α波的減少也與此有關(guān)(左側(cè)減少為悲傷筒主，右側(cè)減少為快樂)。

最后鸟蟹，短潛伏期(N100和P100)到中潛伏期(N200和P200)的ERP成分已被證明與效價(jià)相關(guān)乌妙，而中潛伏期(P300和SCP)的成分已被證明與喚醒相關(guān)。

先前的研究表明建钥，男性和女性對(duì)情緒刺激的處理方式不同藤韵。他們認(rèn)為，男性依靠回憶過去的情緒經(jīng)歷來評(píng)估當(dāng)前的情緒經(jīng)歷熊经，而女性似乎更容易調(diào)動(dòng)情緒系統(tǒng)泽艘。也有一些證據(jù)表明，當(dāng)情緒被喚起時(shí)镐依，女性的腦電圖模式更相似匹涮，而男性的腦電圖模式有更多的個(gè)體差異。

總之槐壳，本研究認(rèn)為額葉和頂葉對(duì)情緒狀態(tài)的信息最為豐富然低，而α波、γ波和β波似乎具有最強(qiáng)的辨別能力务唐。與性別相關(guān)的研究結(jié)果與女性比男性更情緒化的普遍看法一致雳攘，這表明可能與性別相關(guān)的神經(jīng)對(duì)情緒刺激產(chǎn)生反應(yīng)。

Brouwer的建議

通過腦電圖(EEG)等神經(jīng)生理信號(hào)識(shí)別情緒枫笛，以及開發(fā)利用這些信息的應(yīng)用程序吨灭，需要來自不同領(lǐng)域的知識(shí)。例如刑巧，研究人員需要在工程沃于、實(shí)驗(yàn)設(shè)計(jì)、目標(biāo)用戶群體的知識(shí)海诲、數(shù)學(xué)建模、心理生理學(xué)檩互、傳感器技術(shù)特幔、信號(hào)處理和系統(tǒng)設(shè)計(jì)方面的專業(yè)知識(shí)。因此闸昨，這是一個(gè)高度跨學(xué)科的領(lǐng)域蚯斯，很難執(zhí)行薄风，也很難分析(無論是專家還是讀者)。事實(shí)上拍嵌，本節(jié)列舉的常見陷阱主要出現(xiàn)在連接實(shí)驗(yàn)心理學(xué)遭赂、人為因素、機(jī)器學(xué)習(xí)和神經(jīng)生理學(xué)的跨學(xué)科領(lǐng)域(見圖4)横辆。實(shí)驗(yàn)心理學(xué)提供了評(píng)估心理狀態(tài)的方法撇他。創(chuàng)建和測(cè)試應(yīng)用程序需要人為因素。機(jī)器學(xué)習(xí)提供了先進(jìn)的分類算法狈蚤。神經(jīng)生理學(xué)提供關(guān)于神經(jīng)系統(tǒng)功能和如何測(cè)量的知識(shí)困肩。

圖4.概述六項(xiàng)建議中的五項(xiàng)與其主要基礎(chǔ)領(lǐng)域有關(guān)的內(nèi)容。

Brouwer等人提出了六條建議(見表1)脆侮，以避免與反映認(rèn)知或情感狀態(tài)的神經(jīng)生理信號(hào)的使用相關(guān)的常見陷阱锌畸。這些建議與心理概念的定義、期望參與興趣狀態(tài)的神經(jīng)生理過程靖避、混雜因素潭枣、通過分類分析(盡管不是故意的)對(duì)結(jié)果進(jìn)行欺騙、對(duì)成功狀態(tài)估計(jì)原因的洞察幻捏，以及最后盆犁，神經(jīng)生理學(xué)測(cè)量在應(yīng)用環(huán)境中的附加價(jià)值。它們可能有助于改進(jìn)新研究的設(shè)計(jì)和執(zhí)行粘咖，也可以作為閱讀和評(píng)估研究的清單蚣抗。因此，研究者根據(jù)這些建議分析自2009年到2016年的文獻(xiàn)(見表1)瓮下，也詳細(xì)描述每一個(gè)建議和評(píng)判每個(gè)研究是否遵守該建議的關(guān)鍵點(diǎn)翰铡。

建議：在使用反映認(rèn)知或情感狀態(tài)的神經(jīng)生理信號(hào)時(shí)避免常見的陷阱

4.1 R1 -定義興趣心理狀態(tài)和背景真相信息

一個(gè)給定的概念可能在學(xué)界中有多種解釋(例如，有許多不同的情感子集讽坏，盡管它們都?xì)w屬于情感概念之下)锭魔。為了防止混淆，重要的是要澄清作者研究的心理狀態(tài)是什么路呜，以及討論它是如何在以前的研究中定義的迷捧。然而，用什么方法去研究的心理狀態(tài)也非常重要胀葱，這涉及到了心理狀態(tài)的量化考察?(例如漠秋，行為研究考慮按鍵準(zhǔn)確性、主觀測(cè)評(píng)考慮對(duì)量表的作答和個(gè)人真實(shí)情況的報(bào)告)?抵屿。

正如我們?cè)诒?中看到的庆锦，大約74%的工作滿足第一個(gè)建議，也就是說轧葛，它們滿足這個(gè)建議的兩個(gè)關(guān)鍵點(diǎn)搂抒⊥Р螅考慮到要點(diǎn)1.1，前人文獻(xiàn)通常會(huì)提出他們想要解決的問題(識(shí)別情緒)求晶，以及他們將如何獲得基本的真相數(shù)據(jù)：從用戶收集情緒評(píng)級(jí)或使用已知的標(biāo)準(zhǔn)化數(shù)據(jù)集(97%)焰雕。但是，只有少數(shù)作品符合1.2點(diǎn)(73.7%)芳杏。雖然作者通常同時(shí)收集EEG信號(hào)和受試者在刺激暴露期間的感受情緒評(píng)估矩屁。但有些作品只收集信號(hào)數(shù)據(jù)，假設(shè)刺激有效地引發(fā)了預(yù)期的情緒蚜锨。然而档插，情緒不能被成功激發(fā)，這意味著這種假設(shè)可能會(huì)影響識(shí)別者的質(zhì)量亚再，導(dǎo)致作者提出錯(cuò)誤或不充分的結(jié)論郭膛。

4.2 R2 -連接興趣心理狀態(tài)到神經(jīng)生理學(xué)

在基于神經(jīng)生理信號(hào)估計(jì)情感(或認(rèn)知)狀態(tài)時(shí)，一個(gè)關(guān)鍵方面是將給定的心理狀態(tài)與特定的生理信號(hào)聯(lián)系起來氛悬。因此则剃，在文獻(xiàn)中發(fā)現(xiàn)的結(jié)果應(yīng)該被用來形成關(guān)于神經(jīng)生理測(cè)量的方式預(yù)計(jì)會(huì)隨所研究心理狀態(tài)而變化(以及如何變化)的假設(shè)。這樣如捅，研究者就能夠識(shí)別出心理狀態(tài)估計(jì)分類模型訓(xùn)練步驟中有用的變量/特征棍现，并驗(yàn)證心理狀態(tài)估計(jì)模型是否如預(yù)期的那樣發(fā)揮作用。

建議2針對(duì)這些方面镜遣，然而根據(jù)本研究的分析己肮，只有34.3%的研究符合它。研究人員傾向于只展示他們用來提取腦電圖特征的方法悲关，以及特征本身谎僻，而不解釋他們想要識(shí)別的情緒和他們使用的特征之間的關(guān)系。

4.3?R3 -消除混雜因素

混雜因素尤其重要寓辱，因?yàn)樗鼈儠?huì)影響神經(jīng)生理學(xué)的研究艘绍。在腦電圖的特殊情況下，被試的不自主運(yùn)動(dòng)可能會(huì)在采集的數(shù)據(jù)中產(chǎn)生人工偽跡秫筏。避免這些問題的最好方法是適當(dāng)?shù)卦O(shè)計(jì)研究诱鞠。然而，混淆物的存在很難完全消除这敬。在這些情況下航夺，混淆是無法避免的，研究者們應(yīng)該檢查數(shù)據(jù)崔涂，以驗(yàn)證它們的存在敷存，更重要的是，檢查神經(jīng)生理學(xué)變量是否因目標(biāo)心理狀態(tài)或混淆因素而變化（即證明實(shí)驗(yàn)效應(yīng)的有效性，而不是混淆導(dǎo)致的結(jié)果）锚烦。

大部分的研究(87.9%)試圖使用適當(dāng)?shù)难芯吭O(shè)計(jì)來避免混雜因素(關(guān)鍵點(diǎn)3.1)。例如帝雇，為受試者提供適應(yīng)時(shí)間涮俄，使他們習(xí)慣該設(shè)備，以及一個(gè)輕松的環(huán)境尸闸，具有理想的溫度彻亲、光線和舒適度條件。不太常見的是對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證吮廉，以發(fā)現(xiàn)混淆并刪除它們(關(guān)鍵點(diǎn)3.2和3.3 - 67.7%)苞尝。一個(gè)潛在的原因是，研究腦電圖信號(hào)的研究人員應(yīng)用了偽跡去除技術(shù)宦芦。因此宙址，作者認(rèn)為沒有必要觀察數(shù)據(jù)和手動(dòng)刪除它們。這個(gè)原因也可以解釋為什么只有極少數(shù)作品符合要點(diǎn)3.4(5.1%)调卑。有關(guān)腦電圖偽跡去除的進(jìn)一步信息抡砂，請(qǐng)參見Uriguen等人(2015)的研究。

4.4 R4 -遵守良好分類規(guī)范

分類分析被用來估計(jì)心理狀態(tài)恬涧，特別是高維信號(hào)(如腦電圖)注益。通常，監(jiān)督分類模型是用收集的數(shù)據(jù)中的樣本進(jìn)行訓(xùn)練溯捆，并根據(jù)不同的心理狀態(tài)進(jìn)行標(biāo)記（訓(xùn)練集）丑搔。接下來，訓(xùn)練后的模型被用來標(biāo)記新的神經(jīng)生理學(xué)數(shù)據(jù)（測(cè)試集）提揍。然后啤月，通過對(duì)比測(cè)試集的分類標(biāo)簽和實(shí)際真實(shí)標(biāo)簽來確定分類器的性能。為保證分類精度不膨脹碳锈，應(yīng)仔細(xì)選擇訓(xùn)練集的預(yù)處理和參數(shù)設(shè)置顽冶，并獨(dú)立于測(cè)試集。

大約49%的研究滿足了推薦四的所有要點(diǎn)售碳。幾乎所有的作品(超過96%)都完成了關(guān)鍵點(diǎn)4.2和4.3强重，而關(guān)鍵點(diǎn)4.1只在49.5%的研究中完成。這主要是由于一些作者不提供任何有關(guān)這方面的信息贸人，或使用來自同一會(huì)議/主題的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試间景。由于收集的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)之間存在依賴關(guān)系，因此不能保證得到的結(jié)果不是由于依賴關(guān)系造成的艺智，可能會(huì)出現(xiàn)過于樂觀的結(jié)果倘要。在同一主題的數(shù)據(jù)中，作者往往不會(huì)概括收集到的結(jié)果。

4.5 R5 -洞察分類成功的原因

分類性能是關(guān)于訓(xùn)練的模型評(píng)估新的神經(jīng)生理學(xué)數(shù)據(jù)目標(biāo)心理狀態(tài)準(zhǔn)確性的主要依據(jù)封拧。然而除了展示分類結(jié)果志鹃，展示不同特征(和特征組合)背后的神經(jīng)生理過程的很重要（也就是解釋分類成功的原因）。

通常泽西，作者從腦電圖信號(hào)中提取各種特征曹铃，然后用這些特征或它們的組合訓(xùn)練分類器(關(guān)鍵點(diǎn)5.2- 68.7%)。然而捧杉，他們只報(bào)告獲得的結(jié)果陕见，沒有任何解釋或?qū)Y(jié)果或?yàn)槭裁匆恍┕δ芗绕渌玫囊娊?關(guān)鍵點(diǎn)5.1- 32.3%)。

4.6 R6 -使用神經(jīng)生理學(xué)的附加值

只有部分研究解釋了腦電圖信號(hào)比其他生理測(cè)量方法的優(yōu)勢(shì)味抖，后者也可以用來捕捉一個(gè)人的情緒(關(guān)鍵點(diǎn)6.1- 61.6%)评甜。大量的工作解釋了將從這類識(shí)別器中受益的應(yīng)用程序類型，以及它們可以為這些應(yīng)用程序帶來什么附加價(jià)值(關(guān)鍵點(diǎn)6.2% - 77.8%)仔涩。

4.7討論

總而言之忍坷，部分建議已在修訂工作中被采納。本文提出了感興趣的目標(biāo)心理狀態(tài)红柱，以及通過生理數(shù)據(jù)識(shí)別情緒可以給科學(xué)界帶來的預(yù)期收益承匣，和將從其應(yīng)用中受益的普通公眾。本文還介紹了所使用的分類方法锤悄，并解釋了他們?nèi)绾卧谟?xùn)練集和測(cè)試集上使用韧骗。預(yù)處理和分類技術(shù)的選擇似乎是獨(dú)立于驗(yàn)證過程的。

未來的工作應(yīng)該提供更多關(guān)于腦電圖信號(hào)(以及用于分類的特征)如何隨目前心理狀態(tài)而變化的信息零聚，因?yàn)樗赡軙?huì)影響結(jié)果的呈現(xiàn)（即更多更多的關(guān)注時(shí)間相關(guān)的信息）袍暴。未來應(yīng)該更多地展示使用腦電圖信號(hào)(和選擇的設(shè)備)相比于其他生理測(cè)量的優(yōu)勢(shì)，并努力減少混雜因素的存在隶症。同事偽跡去除技術(shù)的使用不應(yīng)完全取代對(duì)所收集信號(hào)的人工校驗(yàn)政模。應(yīng)提供更多關(guān)于分類方法使用的不同參數(shù)的信息，以增加結(jié)果的可重復(fù)性和魯棒性蚂会，并增加不同數(shù)據(jù)之間的比較淋样。

腦電圖中的情緒識(shí)別

近年來，從腦電圖信號(hào)中識(shí)別情緒受到了廣泛關(guān)注胁住。為了利用EEG信號(hào)識(shí)別情緒趁猴，需要執(zhí)行以下步驟(見圖5)：1)實(shí)驗(yàn)刺激必須有效；2)有效記錄用戶大腦中觀察到的電壓變化彪见；3)從記錄的信號(hào)中去除噪音和偽跡儡司；4)對(duì)所得數(shù)據(jù)進(jìn)行分析，提取相關(guān)特征余指；5)基于訓(xùn)練集捕犬，利用計(jì)算出的特征訓(xùn)練分類器，對(duì)原始腦信號(hào)進(jìn)行解釋。

按照以下標(biāo)準(zhǔn)對(duì)滿足14個(gè)關(guān)鍵點(diǎn)中的9個(gè)的63部作品進(jìn)行比較：被試碉碉、刺激(和刺激持續(xù)時(shí)間)柴钻、被激發(fā)的情緒、腦電圖設(shè)備(帶有采樣頻率)垢粮、電極位置顿颅、偽影過濾、腦電圖特征提取足丢、特征提取方法、使用的分類器庇配、離線vs在線訓(xùn)練/測(cè)試斩跌、用戶依賴或用戶獨(dú)立的數(shù)據(jù)，結(jié)果如下捞慌。

圖5.基于腦電圖的情緒識(shí)別過程此虑。

5.1測(cè)試協(xié)議

在接下來的段落中依疼，研究者將考慮使用的刺激類型和對(duì)應(yīng)的持續(xù)時(shí)間、被試人數(shù)、被試性別痒玩，以及最終需要被識(shí)別的情緒(見表3)進(jìn)行分析。

5.1.1參與者

每篇文章中使用的參與者數(shù)量差異很大固歪，從1到161名參與者汹胃，中位數(shù)只有15名。當(dāng)參與者的數(shù)量如此之少時(shí)皮服，很難驗(yàn)證數(shù)據(jù)和結(jié)果的準(zhǔn)確性和意義楞艾。很明顯，大多數(shù)作品沒有使用一個(gè)統(tǒng)計(jì)上顯著的被試數(shù)量龄广，以提供一個(gè)良好的實(shí)驗(yàn)信度和效度水平硫眯，47%的作品評(píng)審使用少于15個(gè)被試，只有大約27%使用至少30個(gè)被試择同。

關(guān)于參與者的性別两入，24%的作品中省略了性別。由于男性和女性可能會(huì)以不同的方式感知情感刺激敲才，所以要保證不同性別的被試數(shù)量是平衡的裹纳。然而只有23%的文章滿足這一要求。少數(shù)文章只關(guān)注一種性別：沒有文章只測(cè)試女性被試归斤，而7%的作品只測(cè)試男性被試痊夭。其余的文章被試的數(shù)量不平衡，樣本中男性多于女性(68%)脏里。

5.1.2刺激

情緒誘發(fā)有兩種方法：主體誘發(fā)和事件誘發(fā)她我。在主體誘發(fā)中，情緒可以通過要求參與者回憶他們過去的情緒片段或表現(xiàn)得好像他們感覺到了某種特定的情緒而產(chǎn)生。在事件誘發(fā)中番舆，可以使用不同的方式酝碳，包括視覺、聽覺恨狈、觸覺或氣味刺激疏哗。這些情緒刺激通常用來覆蓋所需的喚起水平和效價(jià)狀態(tài)(或基本情緒)。情緒誘發(fā)受目標(biāo)情緒的復(fù)雜性和數(shù)量的影響禾怠。

通過開發(fā)被試的自我評(píng)分或使用標(biāo)準(zhǔn)刺激集返奉，可以確保刺激誘發(fā)的情緒狀態(tài)的有效性。例如國(guó)際情感圖片系統(tǒng)(IAPS)吗氏、日內(nèi)瓦情感圖片數(shù)據(jù)庫(kù)(GAPED)和國(guó)際情感數(shù)字化聲音系統(tǒng)(IADS)芽偏。情感現(xiàn)象的持續(xù)時(shí)間可以用來定義時(shí)間類別，從完全成熟的情緒(持續(xù)幾秒鐘或幾分鐘)到性格特征(如果不是持續(xù)一生的話弦讽，也可以持續(xù)數(shù)年)污尉。

近26%的研究使用圖像作為刺激。他們中的大多數(shù)(56.3%)使用的圖像來自IAPS往产，12.5%來自面部情感圖片(POFA)被碗，6.25%來自GAPED，6.25%來自Ekman’s Picture Set仿村，還有6.25%來自中國(guó)情感圖片系統(tǒng)(CAPS)锐朴。其余的沒有提供關(guān)于圖像來源的信息。刺激呈現(xiàn)的平均持續(xù)時(shí)間為11.97秒奠宜，介于1.5秒和48秒之間包颁。

23.8%的研究使用視頻作為刺激，然而其中93.33%的研究沒有提供視頻來源的信息压真，而剩下的研究使用的是來自來自斯坦福的情感片段娩嚼。在刺激持續(xù)時(shí)間方面，40%的研究中的每個(gè)視頻沒有固定的時(shí)間(范圍從0.5秒到5分鐘)滴肿。提供持續(xù)時(shí)間信息的研究平均持續(xù)時(shí)間為171.6秒岳悟，最短為30秒，最長(zhǎng)為288秒泼差。

17.5%的研究使用音樂作為刺激贵少，其中18%使用IADS，剩下的(82%)沒有提供關(guān)于來源的信息堆缘。平均持續(xù)時(shí)間為57.1秒滔灶，從15秒到180秒不等。

相當(dāng)一部分的研究使用了現(xiàn)有的數(shù)據(jù)集吼肥，既提供了生理數(shù)據(jù)录平，也提供了用戶在受到刺激后的情緒評(píng)估(22.2%)麻车。大多數(shù)數(shù)據(jù)集使用EEG、生理和視頻信號(hào)(DEAP)進(jìn)行情緒分析斗这，其余數(shù)據(jù)集使用Mahnob HCI动猬。

剩下的研究使用了參與者自己的記憶(持續(xù)時(shí)間未報(bào)告)，俄羅斯方塊游戲(5分鐘)表箭，表演動(dòng)作(8分鐘)赁咙，氣味(8秒)，現(xiàn)場(chǎng)表演(持續(xù)時(shí)間未公布)免钻，IAPS和音樂視頻(60秒)彼水，音樂視頻(1 - 2分鐘)，還有伴著音樂的GAPED?(2分鐘)等多種方式來誘發(fā)情緒极舔。

5.1.3情感

約46%的研究試圖識(shí)別基本情緒猿涨，最常見的情緒是悲傷(62.1%)、快樂(48.3%)姆怪、憤怒/生氣(44.8%)、恐懼(44.8%)澡绩、喜悅(27.6%)稽揭、驚訝(27.6%)、厭惡(24.1%)肥卡、愉快(20.1%)和中性(13.8%)溪掀。??

大約30%的研究確認(rèn)了效價(jià)和覺醒度，其中三個(gè)還確定了優(yōu)勢(shì)度步鉴。其余研究中還發(fā)現(xiàn)了其他情緒狀態(tài)揪胃，如積極和消極(29.4%)、積極氛琢、消極和中性(17.6%)喊递、平靜-中性和負(fù)性興奮(11.8%)、平靜阳似、積極興奮和負(fù)性興奮(11.8%)和喜歡/不喜歡(11.8%)骚勘。需要注意的是，多數(shù)研究都設(shè)計(jì)了較多的誘發(fā)情緒撮奏，但是由于結(jié)果不佳俏讹，它們最終只會(huì)報(bào)告其中一到兩種情緒。

5.2 EEG記錄

由于設(shè)置EEG設(shè)備所需的時(shí)間畜吊、佩戴該設(shè)備的用戶的舒適度以及要處理的特征量泽疆，使用的電極數(shù)量(和設(shè)備)占主導(dǎo)地位。由于這些原因玲献，理想情況下應(yīng)該減少電極的數(shù)量殉疼。然而梯浪，正如下面的段落中所述，目前的大多數(shù)工作仍然需要相對(duì)大量的電極和昂貴的臨床設(shè)備株依。

5.2.1設(shè)備

在回顧文獻(xiàn)時(shí)發(fā)現(xiàn)前人使用了有17種不同的腦電圖設(shè)備驱证。大多數(shù)都是商業(yè)性的，只有一個(gè)是由作者開發(fā)的恋腕。使用最多的是Biosemi Active Two(37.1%)抹锄，Emotiv wireless headset (16.1%)，EEG module from Neuroscan Inc.(14.5%)和g.MOBIlab(4.8%)荠藤。在這些設(shè)備中伙单，最便攜、最容易使用的是Emotiv wireless headset哈肖。

其中一個(gè)研究沒有提供有關(guān)所使用的設(shè)備的信息吻育，而另一個(gè)研究指明了所使用的設(shè)備，但沒有指定所使用的采樣率淤井。

其余的采樣頻率分別為512Hz(21.3%)布疼、256Hz(19.7%)和500hz(13.1%)”液荩考慮到使用頻率最高的設(shè)備游两，采用Biosemi Active Two采集EEG信號(hào)，采樣頻率分別為512Hz(56.5%)漩绵、256Hz(17.4%)贱案、1024Hz(17.4%)和2048Hz(8.7%)；Emotiv為128Hz(56.6%)止吐，2048Hz(44.4%)宝踪；g.MOBIlab的采樣頻率為256Hz；最后使用Neuroscan,Inc設(shè)備的采樣頻率為500Hz碍扔。

5.2.2電極點(diǎn)

大多數(shù)的研究提供了關(guān)于電極及其位置信息瘩燥。然而，11.1%的研究完全沒有提供任何關(guān)于定位的信息不同，只有3.17%的研究不提供EEG信號(hào)采集電極的數(shù)量颤芬。在不顯示電極位置信息，但顯示電極數(shù)量的作品中套鹅，從14個(gè)電極到64個(gè)電極站蝠，平均52個(gè)電極。32.14%的作品采用了10-20系統(tǒng)(又稱IS)卓鹿，最小電極數(shù)為1個(gè)菱魔，最大64個(gè)，平均41個(gè)吟孙。5.4%的作品采用10-10系統(tǒng)澜倦，有64個(gè)電極聚蝶。從所有表明使用的電極數(shù)量和每個(gè)電極位置的研究中，平均值是14藻治，范圍從1到32碘勉。

在所有的研究中，使用了69個(gè)覆蓋整個(gè)頭皮的不同電極(見圖6)桩卵。FTC1验靡、FTC2、TCP1和TCP2沒有出現(xiàn)在圖像中雏节，但在回顧的研究中使用了它們(每一個(gè)都小于3%)胜嗓。2006年，對(duì)10/10電極定位方法進(jìn)行了改進(jìn)钩乍。將不一致的T3/T4和T5/T6替換為一致的T7/T8和P7/P8辞州。這樣，幾乎沿同一矢狀線的所有位置都有相同的后腳本數(shù)字寥粹，所有具有相同字母(s)的位置都在同一冠狀線上变过。

?圖6.10-10系統(tǒng)的電極定位。

例外的是FP1/FP2和O1/O2位置涝涤。由于在工作中使用了這兩個(gè)術(shù)語(yǔ)牵啦，所以研究者決定在表中保留原來的術(shù)語(yǔ)，并對(duì)每一對(duì)新舊術(shù)語(yǔ)的出現(xiàn)情況進(jìn)行總結(jié)妄痪，僅用于評(píng)估目的。最常用的是F4(82.9%)楞件、F3(77.14%)衫生、T7(65.7%)、FP1(65.7%)土浸、FP2(60%)罪针、T8(60%)、F7(60%)黄伊、F8(60%)泪酱、O1群(54.3%)、P7(54.3%), P8(51.4%)还最、O2(51.4%)墓阀、FC5(40%)、FC6(40%)拓轻、C4(40%)斯撮、C3(34.3%)、AF3(34.3%)扶叉、AF4(34.3%)勿锅、P3(28.6%)帕膜、P4(25.7%)、Pz(25.7%)溢十。AF代表額前葉垮刹，C代表中央，F(xiàn)代表額葉张弛，F(xiàn)C代表額中央荒典，F(xiàn)P代表額極，F(xiàn)T代表額顳葉乌庶，O代表枕葉种蝶，P代表頂葉，T代表顳葉瞒大，z代表零螃征。

使用最多的電極是放置在額葉的電極(考慮到用紅色和橙色代表的電極)，這與將情緒和額葉聯(lián)系起來的發(fā)現(xiàn)是一致的透敌。

5.3偽跡濾除

盡管作者試圖通過提醒被試來減少收集到的腦電圖信號(hào)(如眨眼)中的偽影盯滚，但它們?nèi)匀豢赡馨l(fā)生。由于與參與者相關(guān)的偽跡存在酗电，24%的研究手動(dòng)刪除了一些數(shù)據(jù)魄藕。除了手工去除這些信息的工作外，采用盲源分離(BSS)(19.3%)和獨(dú)立成分分析(ICA)(8.8%)等方法去除眼球運(yùn)動(dòng)撵术、眨眼背率、肌肉、心臟和線噪聲嫩与。約30%的研究使用共同平均參考(CAR)（計(jì)算了所有電極的平均值寝姿，通過去除所有電極的平均值來消除噪聲）(58.9%)、拉普拉斯(23.6%)或均值平均參考(AMR)?(5.9%)等方法重新轉(zhuǎn)換參考電極划滋。

由于不是所有收集的頻率都對(duì)情緒識(shí)別問題有用饵筑，大約84%的研究使用了一些帶通濾波器。雖然在所有作品中使用了24個(gè)頻率范圍处坪，但最常用的頻率是4-45Hz(33.3%)根资、1-100Hz(6.25%)、8-30Hz(6.25%)同窘、2-42Hz(6.25%)玄帕。16.58%的作品也使用了Notch濾波器(主要是在50和60Hz)。43.9%的研究降低了原始EEG信號(hào)的采樣率：52%到128Hz想邦，16%到206Hz桨仿，12%到256Hz，4%到512Hz案狠，4%到500Hz服傍，4%到300Hz钱雷，4%到250Hz，4%到32Hz吹零。

5.4特征提取

在下面的段落中罩抗，研究者給出了從腦電圖信號(hào)中提取的最常見的特征，以及用于實(shí)現(xiàn)這些特征的方法(見表6)灿椅。

5.4.1 EEG特征

關(guān)于作者使用的腦電圖特征類型套蒂，約有10%的研究沒有提供任何信息，而其余的研究主要使用的是delta茫蛹、theta操刀、alpha、beta和gamma波段(89.4%)婴洼。其中約有37%的人將所有波段組合在一起骨坑，而其余的人只選擇其中的一些波段，如alpha柬采、beta欢唾、theta和gamma(13.7%)、alpha和beta(7.8%)粉捻、alpha礁遣、beta和gamma(7.8%)、delta肩刃、theta祟霍、alpha和beta(3.92%)、alpha盈包、beta和gamma(3.92%)以及其他組合沸呐。

使用的其余特征是事件相關(guān)(ERD/ERS)，事件相關(guān)電位(ERP)和固定頻帶(如0.5-30Hz续语，1- 10Hz，1- 46hz和2-30Hz)厦画〈眩可以使用各種方法處理特征提取過程。在審查的研究中根暑，使用了42種不同的方法力试。超過47.6%的研究使用了多種方法，盡管最終只有一種方法被選為最佳方法排嫌。

最常用的方法是傅里葉變換畸裳，如短時(shí)傅里葉變換(STFT)或離散傅里葉變換(DFT)(25.4%)、統(tǒng)計(jì)(23.8%)淳地、功率譜密度(PSD)(22.2%)怖糊、小波變換(WT)(19.1%)帅容、近似熵(AE)、微分熵(DE)伍伤、樣本熵等熵或小波熵(WE)(15.9%)并徘、高階交叉(HOC)(9.5%)、公共空間模式(CSP)(7.9%)扰魂、分形維數(shù)(主要是Higuchi分形維數(shù)(HFD))(7.9%)和不對(duì)稱指數(shù)(AI)(4.8%)麦乞。

5.5分類

情感識(shí)別領(lǐng)域中有大量常用的分類器家族：貝葉斯、支持向量機(jī)劝评、決策樹等姐直。以下段落中介紹了最常用的分類器、分類類型（離線與在線）以及用于訓(xùn)練和測(cè)試分類器的數(shù)據(jù)類型（見表7）蒋畜。情緒識(shí)別系統(tǒng)的訓(xùn)練集數(shù)據(jù)和測(cè)試集應(yīng)該是不同的声畏。由于不同研究之間存在大量差異，因此很難對(duì)它們進(jìn)行比較百侧，從而推斷出有關(guān)結(jié)果質(zhì)量的結(jié)論砰识。因此，研究者將不討論不同研究的分類精度佣渴。

5.5.1分類器

由于大多數(shù)的研究使用了多個(gè)分類器辫狼，然而只選擇其中最好，因此重點(diǎn)篩選那些被研究者們認(rèn)為較好的分類器辛润，最終選出26個(gè)膨处。在59%的情況下，研究者選擇了支持向量機(jī)(SVM)砂竖，并應(yīng)用了不同的核：徑向基函數(shù)(RBF)?(29.7%)真椿，線性(16.2%)，多項(xiàng)式(8.1%)乎澄，高斯(5.4%)突硝，皮爾遜(2.7%)。其中8%的工作使用了自適應(yīng)支持向量機(jī)adaptive SVM置济、多類支持向量機(jī)(ML-SVM)或最小二乘支持向量機(jī)(LS-SVM)等變量解恰。29%的使用SVM的研究沒有指定使用的核。近14%的作品選擇了k-近鄰k-Nearest Neighbors (kNN)浙于；有些作品沒有指定k的值(44.4%)护盈，而在其他作品中，它從k = 2到8不等羞酗。使用線性判別分析(LDA)作者占6.3%腐宋，使用二次判別分析(QDA)的作者占3.2%。最后，6.35%(各3.17%)的作者選擇了樸素貝葉斯(NB)和多層感知器反向傳播(MLP-BP)胸竞。

5.5.2線上與線下

腦電信號(hào)總是隨著時(shí)間而改變其性質(zhì)欺嗤。信號(hào)的這種非平穩(wěn)性質(zhì)可能導(dǎo)致使用特定生理數(shù)據(jù)建立的分類模型不能反映腦電信號(hào)已經(jīng)發(fā)生的變化。大多數(shù)分類方法都基于數(shù)據(jù)來自平穩(wěn)分布的想法撤师。因此剂府，除非模型能夠反映腦電信號(hào)中發(fā)生的變化，否則分類精度將隨著時(shí)間的推移而降低剃盾。然而腺占，90%的被審查研究采用了離線分類方法，只有8%的作品采用了在線分類（更適合實(shí)時(shí)場(chǎng)景）痒谴。其中一項(xiàng)工作應(yīng)用了在線和離線技術(shù)衰伯。

5.5.3用戶獨(dú)立和用戶依賴

分類過程的另一個(gè)重要方面是分類器是否使用依賴于用戶的數(shù)據(jù)進(jìn)行訓(xùn)練。對(duì)于依賴于用戶的數(shù)據(jù)积蔚，將為每個(gè)用戶生成一個(gè)新模型意鲸，并使用該用戶數(shù)據(jù)完成測(cè)試步驟。通常尽爆，會(huì)獲得更好的結(jié)果怎顾，但這是以缺乏泛化為代價(jià)的。對(duì)于獨(dú)立于用戶的模型漱贱，多個(gè)用戶的數(shù)據(jù)用于培訓(xùn)和測(cè)試目的槐雾。這使得模型更容易適用于新用戶，因?yàn)椴恍枰獎(jiǎng)?chuàng)建新模型幅狮。在所審查的作品中募强，46.8%使用獨(dú)立于用戶的數(shù)據(jù)，43.5%使用依賴于用戶的數(shù)據(jù)崇摄。大約8%的人使用了用這兩種模型訓(xùn)練過的分類器擎值。其余研究不提供任何關(guān)于其數(shù)據(jù)依賴于用戶或獨(dú)立于用戶的信息。

5.6討論

大多數(shù)研究提供了參與者數(shù)量和性別的信息逐抑，這些信息用于收集腦電圖數(shù)據(jù)和驗(yàn)證工作鸠儿。關(guān)于使用的參與者數(shù)量，很少有作者進(jìn)行了涉及統(tǒng)計(jì)上顯著的參與者數(shù)量的研究厕氨。此外进每，研究對(duì)象的性別分布并不公平，因?yàn)榇蠖鄶?shù)研究主要是男性參與者腐巢。

研究人員主要借助圖像或視頻作為激發(fā)情緒的刺激物品追。然而玄括，只有在圖像的情況下冯丙，作者使用了眾所周知的數(shù)據(jù)集。此外，需要識(shí)別的情緒集之間沒有一致的意見胃惜，大多數(shù)的研究都是為了識(shí)別基本的情緒(或它們的子集)泞莉，其余的研究集中在效價(jià)和喚醒水平上。當(dāng)需要識(shí)別的情緒數(shù)量增加時(shí)船殉，準(zhǔn)確率往往會(huì)下降鲫趁。

使用了不同的采樣頻率和不同電極組的各種設(shè)備來收集數(shù)據(jù)。對(duì)于必須使用多少電極以及電極的位置利虫，作者們并沒有達(dá)成共識(shí)挨厚。作者主要使用腦電波作為特征，并采用不同的方法進(jìn)行提取糠惫。進(jìn)一步解釋使用的特征和旨在識(shí)別的情緒之間的關(guān)系將是理解所呈現(xiàn)的結(jié)果的重要因素疫剃。

大多數(shù)工作都采用偽影去除技術(shù)來提高采集信號(hào)的質(zhì)量。使用多個(gè)分類器硼讽，大量的作者訓(xùn)練各種分類器巢价，并選擇最佳的分類器。建議作者提供更多關(guān)于分類器參數(shù)的細(xì)節(jié)固阁，并對(duì)預(yù)處理的腦電圖信號(hào)進(jìn)行人工驗(yàn)證壤躲，以確保所應(yīng)用的技術(shù)足以去除現(xiàn)有的噪聲。

最佳實(shí)踐建議

在本節(jié)中备燃，研究者介紹了一組關(guān)于構(gòu)建基于腦電圖的情緒識(shí)別器的適用性和步驟的最佳實(shí)踐建議碉克。為此，考慮到Brouwer等人的建議赚爵，以及在本文第4節(jié)中提出的每個(gè)關(guān)鍵點(diǎn)的分析棉胀，以及第5節(jié)中描述的分析。

適用性：

?解釋使用腦電圖相對(duì)于其他生理測(cè)量的優(yōu)勢(shì)冀膝；

?展示基于腦電的情感識(shí)別器對(duì)現(xiàn)實(shí)問題的適用性唁奢，以及這些識(shí)別器能為這些領(lǐng)域的應(yīng)用帶來什么。

測(cè)試協(xié)議：

?測(cè)試協(xié)議為了得到統(tǒng)計(jì)和有意義的結(jié)果窝剖，在研究中至少使用30名參與者麻掸。如果作者使用兩種性別的參與者，參與者的數(shù)量應(yīng)該平衡赐纱；

?應(yīng)該收集EEG信號(hào)以外的信息（例如脊奋，主觀評(píng)估、驗(yàn)證主觀評(píng)估的面部表情疙描、其他生理測(cè)量）诚隙，作為情緒正確誘發(fā)的證據(jù)；

?確保向參與者呈現(xiàn)刺激的時(shí)間足以引發(fā)情緒反應(yīng)起胰，但不能太長(zhǎng)久又，以適應(yīng)刺激（這可能會(huì)影響參與者的自我評(píng)估）；

?盡可能使用現(xiàn)有數(shù)據(jù)集的刺激，如IAP地消、IAD或DEAP炉峰，方便不同研究結(jié)果的對(duì)比；

?呈現(xiàn)待識(shí)別的情緒集合脉执，以及提出它們?nèi)绾坞S采集的EEG信號(hào)而變化的假設(shè)疼阔；

?盡可能使用文獻(xiàn)中已有的一組情緒，從而進(jìn)行比較研究半夷；

?以高舒適度和說明設(shè)計(jì)研究（例如婆廊，在圖像之間提供放松時(shí)間、良好的照明和溫度巫橄；指導(dǎo)用戶在圖像可視化過程中避免移動(dòng)/閃爍）否彩。

特征提取：

?如果作者未使用從所有電極收集的數(shù)據(jù)嗦随，則說明使用了哪些電極列荔；

?呈現(xiàn)從信號(hào)中提取的特征；

?提供有關(guān)用于提取特征的計(jì)算方法的信息枚尼，但更重要的是贴浙，詳細(xì)說明特征與待識(shí)別情緒的關(guān)系，即署恍，如果成功激發(fā)給定情緒且信號(hào)無噪聲崎溃，則方法的預(yù)期行為是什么。

分類識(shí)別：

?提供所用分類器的詳細(xì)信息盯质，特別是所用的分類器和用于訓(xùn)練分類器的參數(shù)（例如袁串，許多作者僅表示使用了支持向量機(jī)，但未表示所用的核）呼巷；

?隨著時(shí)間的推移囱修，在不同的Session中收集每個(gè)參與者的數(shù)據(jù)，以避免培訓(xùn)和測(cè)試數(shù)據(jù)之間的依賴性王悍；

?提供有關(guān)識(shí)別器類型的信息：在線或離線破镰；

?識(shí)別系統(tǒng)是否依賴于用戶(每個(gè)參與者單獨(dú)訓(xùn)練模型)或獨(dú)立（模型訓(xùn)練基于所有參與者），因?yàn)樗鼈冎g的結(jié)果差異很大（通常在依賴于用戶的識(shí)別器中獲得更好的準(zhǔn)確度）压储；

?保證預(yù)處理和分類程序獨(dú)立于驗(yàn)證數(shù)據(jù)鲜漩；

?解釋用于評(píng)估識(shí)別器性能的指標(biāo)。如果識(shí)別出一種以上的情緒集惋，則提供單獨(dú)的績(jī)效指標(biāo)（理想情況下孕似，是混淆矩陣），而不僅僅是最終平均值刮刑；

?檢查多個(gè)特征及其組合喉祭；

?根據(jù)特征與使用中的神經(jīng)生理學(xué)過程之間的現(xiàn)有關(guān)系霸饲，呈現(xiàn)并解釋結(jié)果（例如，一個(gè)給定的特征或一組特征在使用一組電極識(shí)別特定情緒時(shí)表現(xiàn)更好）臂拓。

原文：Emotions Recognition Using EEG Signals: A Survey.