皮膚電研究: 情緒識(shí)別的特征提取與選擇

皮膚電活動(dòng)(EDA)是情緒狀態(tài)的重要信息來(lái)源。先前文獻(xiàn)研究了許多EDA特征提取方法，但都使用少量特征和數(shù)據(jù)集測(cè)試它們識(shí)別情感的適用性。本文回顧了25項(xiàng)研究建議的40種EDA情感識(shí)別特征，使用三種FS(特征選擇)方法(JMI(聯(lián)合互信息)、CMIM(條件互信息最大化)、DISR(雙輸入對(duì)稱相關(guān)))，在公開(kāi)可用的AMIGOS數(shù)據(jù)集上使用機(jī)器學(xué)習(xí)分析了不同EDA特征在時(shí)域、頻域、時(shí)頻域上的表現(xiàn)。研究發(fā)現(xiàn)獲得喚醒、效價(jià)識(shí)別的最佳準(zhǔn)確度需要大致相同數(shù)量的特征，此外喚醒和效價(jià)識(shí)別上，依賴于被試的分類結(jié)果顯著高于獨(dú)立于受試者的分類。研究首次探索了梅爾頻率倒譜系數(shù)(MFCC)相關(guān)的統(tǒng)計(jì)特征，并發(fā)現(xiàn)其優(yōu)于所有其他特征組，包括最常用的皮膚電導(dǎo)響應(yīng)(SCR)相關(guān)特征。本文發(fā)表在IEEE TRANSACTIONS ON AFFECTIVE COMPUTING雜志。(可添加微信號(hào)siyingyxf或18983979082獲取原文，另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布)。思影曾做過(guò)多期電生理機(jī)器學(xué)習(xí)相關(guān)文章解讀，結(jié)合閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點(diǎn)擊，即可瀏覽，加微信號(hào)siyingyxf或18983979082獲取原文及補(bǔ)充材料）：
基于EEG信號(hào)的情緒識(shí)別

基于深度學(xué)習(xí)的腦電圖分析

基于EEG信號(hào)與面部表情的連續(xù)情緒識(shí)別
EEGNet：一個(gè)小型的卷積神經(jīng)網(wǎng)絡(luò)，用于基于腦電的腦機(jī)接口
BRAIN：靜息態(tài)腦電圖揭示了肌萎縮性脊髓側(cè)索硬化癥的四種亞型

從誘發(fā)反應(yīng)中解碼動(dòng)態(tài)腦模式

EEG腦機(jī)接口算法
腦電信號(hào)處理的機(jī)器學(xué)習(xí)
腦電信號(hào)解碼和可視化的深度卷積神經(jīng)網(wǎng)絡(luò)
基于M/EEG的生物標(biāo)志物預(yù)測(cè)MCI和阿爾茨海默病基于機(jī)器學(xué)習(xí)的腦電病理學(xué)診斷
高階統(tǒng)計(jì)量在EEG信號(hào)處理中的應(yīng)用
EEG分類實(shí)驗(yàn)block設(shè)計(jì)的危險(xiǎn)與陷阱
Current Biology：視覺(jué)想象和視覺(jué)感知共享Alpha頻帶中的神

利用腦電連通性特征和卷積神經(jīng)網(wǎng)絡(luò)的情緒分類

腦電研究：通過(guò)神經(jīng)活動(dòng)和視覺(jué)特征的多模態(tài)學(xué)習(xí)

JAMA Psychiatry：使用機(jī)器學(xué)習(xí)的方法探究焦慮和創(chuàng)傷性障

利用encoder-decoder模型實(shí)現(xiàn)皮層活

中風(fēng)恢復(fù)過(guò)程中腦機(jī)接口可促進(jìn)運(yùn)動(dòng)

Nature Biotechnology: EEG特征預(yù)測(cè)重度抑郁癥的抗抑郁藥反應(yīng)

BMC Medicine：自閉癥譜系障礙靜息態(tài)EEG信號(hào)的定量遞歸

非侵入式神經(jīng)成像可增強(qiáng)機(jī)器控制

一種供四肢癱瘓患者使用硬膜外無(wú)線腦機(jī)

Lancet經(jīng)典：植物人意識(shí)狀態(tài)的床邊檢測(cè)

NATURE子刊：出生第一年的縱向EEG power能識(shí)別孤獨(dú)癥譜

EEG機(jī)器學(xué)習(xí)：急性腦損傷臨床無(wú)反應(yīng)患者腦

STROKE:用于慢性中風(fēng)患者運(yùn)動(dòng)康復(fù)的動(dòng)力外骨骼的健側(cè)腦-機(jī)

PNAS:基于腦電在線神經(jīng)反饋調(diào)節(jié)喚醒程度可以改善個(gè)體

帕金森病認(rèn)知圖譜的EEG機(jī)器學(xué)習(xí)

BRAIN：機(jī)器學(xué)習(xí)：基于EEG的跨中心、跨方案的意識(shí)

腦機(jī)接口訓(xùn)練可持久地恢復(fù)中風(fēng)病人的上肢運(yùn)動(dòng)功能

基于fNIRS連接度特征監(jiān)測(cè)飛行員的參與度(自動(dòng)vs手動(dòng)駕駛著陸)

中間融合深度學(xué)習(xí)分類感知心理負(fù)荷

1.介紹

皮膚電活動(dòng)(EDA)是情緒狀態(tài)的重要信息來(lái)源。EDA是皮膚的電導(dǎo)率，通常在手掌部位測(cè)量，可以反映認(rèn)知和情緒的變化，例如認(rèn)知努力、情緒喚醒。EDA是一種非平穩(wěn)信號(hào)，它是兩種不同成分的集合：

1.強(qiáng)直成分(tonic component)，皮膚電導(dǎo)率的一般水平，隨時(shí)間緩慢變化；

2.相位成分(phasic component)，在強(qiáng)直成分的基礎(chǔ)上表現(xiàn)出更尖銳的峰值，這通常由刺激時(shí)瞬時(shí)交感神經(jīng)的激活造成，在某些個(gè)體中也自發(fā)產(chǎn)生。

EDA的強(qiáng)直成分稱皮膚電導(dǎo)水平(SCL)，短期相位響應(yīng)稱皮膚電導(dǎo)響應(yīng)(SCR)。EDA信號(hào)通常先快速增加，然后慢速下降到基線水平(見(jiàn)圖1)。EDA平均水平通常在2-20微秒，不同的個(gè)體有1-3微秒的波動(dòng)，峰谷到峰值的典型上升時(shí)間約1-3秒，SCR幅值開(kāi)始恢復(fù)的一半時(shí)間(half recovery)為2-10秒。

圖1.EDA信號(hào)示例

EDA成本低、易收集，已普遍應(yīng)用于心理學(xué)研究的。近期研究開(kāi)始探索使用EDA預(yù)測(cè)心理狀態(tài)。當(dāng)被試的自我報(bào)告信息存在限制時(shí)，EDA可能特別有用。不過(guò)迄今為止，還沒(méi)有研究系統(tǒng)地探索不同EDA特征組合的預(yù)測(cè)能力。本研究的目標(biāo)是觀察EDA識(shí)別情緒的表現(xiàn)，填補(bǔ)這一空白。

2.相關(guān)研究

EDA情緒識(shí)別通常用于評(píng)估各種環(huán)境體驗(yàn)，例如娛樂(lè)游戲、駕駛、患者-機(jī)器人交互。先前研究探索了EDA各種特征的預(yù)測(cè)能力，包括時(shí)域、頻域、時(shí)頻特征。

2.1.EDA的特征

2.1.1.時(shí)域特征

最常用的時(shí)域特征是信號(hào)統(tǒng)計(jì)參數(shù)，包括均值、標(biāo)準(zhǔn)偏差、峰度、偏度等。部分研究也觀察EDA的事件相關(guān)特征，即特定刺激(如圖像、聲音)呈現(xiàn)后幾秒鐘的特征，如SCR是否存在(定義閾值后忽略未達(dá)到的微小變化)，傳統(tǒng)SCR振幅閾值為0.05毫秒。先前研究有觀察的EDA事件相關(guān)特征有SCR幅度、SCR峰值數(shù)、平均SCR上升時(shí)、SCR面積總和。

有一些其他生理信號(hào)的特征，如高階交叉(HOC)、Hjorth特征，在EDA中也可以提取，不過(guò)據(jù)我們所知，目前還沒(méi)有研究觀察EDA的這些特征。

2.1.2 頻域特征

很少研究關(guān)注EDA頻域特征的預(yù)測(cè)能力，不過(guò)頻域分析可以更好地檢測(cè)個(gè)體SCR的梯度分量。快速傅里葉變換(FFT)、短時(shí)傅里葉變換(STFT)、Welch法功率譜密度估計(jì)(PSD)是最常用的頻域表征算法。EDA信號(hào)的頻域特征隨頻率變化，其頻率振蕩分為不同的頻率子帶。先前研究考慮了五個(gè)頻段的統(tǒng)計(jì)值(方差、范圍、信號(hào)幅度面積、偏度、峰度、諧波總和)和頻譜功率，以及它們的最小值、最大值和方差。

2.1.3.時(shí)頻特征-小波

EDA是非平穩(wěn)信號(hào)，適合用小波進(jìn)行建模。

1.離散小波變換。小波被離散采樣時(shí)的小波變換稱離散小波變換(DWT)。去噪后的DWT小波系數(shù)特征已用于人機(jī)交互的情緒狀態(tài)分類。

2.平穩(wěn)小波變換。平穩(wěn)小波變換(SWT)分析EDA也具有優(yōu)勢(shì)。SWT是重復(fù)、線性的，與DWT相比，SWT的移動(dòng)不變，且提供了更好的低頻段采樣率。SWT已應(yīng)用于EDA信號(hào)去噪，SWT更高效、計(jì)算的復(fù)雜度低。

2.1.4.梅爾頻率倒譜特征

EDA信號(hào)可以由一系列重疊、快速變化的相位SCR表征，這些SCR覆蓋在緩慢變化的強(qiáng)直活動(dòng)(SCL)上，使皮膚電導(dǎo)(SC)的數(shù)據(jù)分解變得復(fù)雜，也限制了經(jīng)典方法評(píng)估SCR的能力。催汗神經(jīng)活動(dòng)被認(rèn)為是EDA的驅(qū)動(dòng)因素，它由一系列不同沖動(dòng)(如催汗神經(jīng)活動(dòng)突發(fā), sudomotor nerve burst)組成，這些突發(fā)會(huì)觸發(fā)特定的脈沖響應(yīng)(如SCR)。SC可通過(guò)驅(qū)動(dòng)脈沖響應(yīng)(deriver-impulse response, IR)卷積建模，表示為公式1。

在該模型中，SC被認(rèn)為是皮膚系統(tǒng)的輸出，由催汗神經(jīng)突發(fā)的激活序列驅(qū)動(dòng)，響應(yīng)和驅(qū)動(dòng)的卷積在時(shí)域中不易分離。倒譜分析(CA)是分析語(yǔ)音信號(hào)相似模型的重要技術(shù)。

離散時(shí)域信號(hào)的倒譜是信號(hào)離散傅里葉變換(DTFT)幅度對(duì)數(shù)的逆變換，見(jiàn)公式2。

CA（倒譜分析）已成功用于分離心電、腦電、EDA等生理信號(hào)的基本波形和激活函數(shù)。有研究發(fā)現(xiàn)CA可以將小幅度波動(dòng)放大，可用于分析疊加的EDA信號(hào)。梅爾頻率倒譜系數(shù)(MFCC)是基于加權(quán)倒譜距離測(cè)量的新型倒譜表征，廣泛用于語(yǔ)音信號(hào)相關(guān)等模式識(shí)別問(wèn)題，可以作為EDA信號(hào)的特征向量，不過(guò)先前研究還未使用。

小結(jié):

1.已有研究探索了EDA特征分類情緒的預(yù)測(cè)潛力，但沒(méi)有研究對(duì)進(jìn)行系統(tǒng)的比較，結(jié)果可靠性也有待識(shí)別。

2.高維數(shù)據(jù)處理的計(jì)算、空間復(fù)雜性高，從高維EDA數(shù)據(jù)中提取情感信息具有挑戰(zhàn)性，特別在線處理數(shù)據(jù)。

3.許多EDA特征可能與情緒分類無(wú)關(guān)或是多余，因此需要自動(dòng)識(shí)別這些EDA特征的有效子集，實(shí)現(xiàn)有效的EDA情感識(shí)別。特征選擇方法在此非常重要。

2.2.特征選擇方法

大多EDA研究沒(méi)有采用任何特征選擇(FS)算法，或是只是在分類前應(yīng)用了數(shù)據(jù)縮減技術(shù)，如主成分分析(PCA)。然而，PCA不能實(shí)現(xiàn)自動(dòng)識(shí)別，也不具有普遍性。FS方法通常分為依賴于分類器（包裹式、嵌入式）和獨(dú)立于分類器（過(guò)濾式）兩類。

包裹式和嵌入式的計(jì)算成本很高，且都使用非常嚴(yán)格的模型結(jié)構(gòu)假設(shè)，因此可能產(chǎn)生分類器特定的特征子集。相比之下，過(guò)濾式與模型無(wú)關(guān)，可以產(chǎn)生通用特征子集。過(guò)濾式還考慮了特征/特征子集在分類器中使用的潛在有用性。有研究對(duì)基于信息的過(guò)濾式FS算法進(jìn)行了全面回顧，提出了基于信息的理想特征的選擇標(biāo)準(zhǔn)：

1)是否包含了冗余特征；

2)是否平衡了相關(guān)性和冗余度；

3)是否使用了低維近似。

研究發(fā)現(xiàn)只有三種FS算法滿足要求：1.聯(lián)合互信息(JMI, joint mutual information)、2.條件互信息最大化(CMIM, conditional mutual information maximization) 、3.雙輸入對(duì)稱相關(guān)(DISR, double input suymmetrical relevance)。本文將專注于這三種方法。

2.2.1.聯(lián)合互信息

聯(lián)合互信息(JMI)實(shí)現(xiàn)了準(zhǔn)確性、穩(wěn)定性、靈活性的最佳權(quán)衡，專注于增加特征之間的互補(bǔ)信息。JMI分?jǐn)?shù)計(jì)算見(jiàn)公示3。JMI的顯著優(yōu)勢(shì)有：

1.即使特征具有相同的互信息(MI)，JMI也可以區(qū)分它們；

2.當(dāng)一個(gè)特征是其他特征的函數(shù)時(shí)，JMI可以消除特征中的冗余。

2.2.2.條件互信息最大化

條件互信息最大化(CMIM)是通用的過(guò)濾方法，可以解決普遍的FS問(wèn)題。CMIM測(cè)量見(jiàn)公式4。

CMIM可以正確識(shí)別冗余特征和噪聲特征，并優(yōu)先考慮信息豐富、無(wú)關(guān)聯(lián)的特征。

2.2.3.雙輸入對(duì)稱相關(guān)

雙輸入對(duì)稱相關(guān)(DISR)是JMI的標(biāo)準(zhǔn)化變量。DISR考慮了變量互補(bǔ)和互信息的下限，見(jiàn)公示5。

DISR有助于選擇概率更高的已選變量的互補(bǔ)變量。

2.3.問(wèn)題陳述

本文的研究目標(biāo)如下：

1)綜述研究用于情緒識(shí)別的EDA特征。

2)首次使用多種FS方法對(duì)同一數(shù)據(jù)庫(kù)的特征進(jìn)行系統(tǒng)比較。

3)識(shí)別出情緒識(shí)別中最重要的EDA特征。

如您對(duì)神經(jīng)電生理及機(jī)器學(xué)習(xí)等數(shù)據(jù)處理如腦功能，腦網(wǎng)絡(luò)或其他模態(tài)腦影像數(shù)據(jù)處理感興趣，請(qǐng)瀏覽思影以下鏈接（直接點(diǎn)擊即可瀏覽），感謝轉(zhuǎn)發(fā)支持。(可添加微信號(hào)siyingyxf或18983979082咨詢)：

3.方法

本文從公開(kāi)可用、帶注釋的AMIGOS數(shù)據(jù)集EDA信號(hào)中提取目標(biāo)特征，系統(tǒng)實(shí)施FS以確定最重要的EDA特征。

3.1.特征集

觀察特征: 1.先前文獻(xiàn)已用的EDA情緒識(shí)別特征，2.應(yīng)用于其他類型心理生理信號(hào)的有效特征，即使還未應(yīng)用于EDA。

搜索PubMed、IEEE Xplore、ScienceDirect等數(shù)據(jù)庫(kù)，關(guān)鍵詞為相關(guān)詞組合，如EDA、Electro-dermal Activity、Emotion等，根據(jù)標(biāo)題和摘要手動(dòng)識(shí)別討論EDA特征，并僅選擇原始研究。我們創(chuàng)建了數(shù)據(jù)提取電子表格，用于收集不同的EDA特征。25篇論文包含40種不同特性，列表見(jiàn)表1。

表1.先前研究使用的EDA特征

3.2.AMIGOS數(shù)據(jù)庫(kù)

AMIGOS數(shù)據(jù)集是一個(gè)開(kāi)放數(shù)據(jù)集，包含兩個(gè)實(shí)驗(yàn)的EDA測(cè)量值及其他多模態(tài)數(shù)據(jù)。實(shí)驗(yàn)一: 被試觀看短時(shí)間（<250秒）情感視頻（40人），實(shí)驗(yàn)2: 被試（單獨(dú)/四人一組）觀看長(zhǎng)時(shí)間（>14分鐘）情感視頻（37人，17人單獨(dú)觀看，20人小組觀看）。該數(shù)據(jù)集包括兩個(gè)實(shí)驗(yàn)中被試情緒喚醒、效價(jià)的注釋，由三位觀察者提供，他們?cè)趯?shí)驗(yàn)期間目視檢查被試面部視頻，為每20秒觀看片段提供一個(gè)注釋，他們注釋了共12580個(gè)視頻片段（37名被試每人340個(gè)片段）。用于注釋的喚醒、效價(jià)量表是連續(xù)的，范圍從-1（低喚醒/效價(jià)）到+1（高喚醒/效價(jià)），注釋者間一致性較高（喚醒: Cronbach's a = 0.96，效價(jià): Cronbach's a = 0.98）。

3.3.特征提取

特征類型信息見(jiàn)表2。每個(gè)被試的兩個(gè)注釋變量（喚醒和效價(jià)），每一個(gè)的340個(gè)注釋片段的EDA數(shù)據(jù)生成一個(gè)特征矩陣，從時(shí)域、頻域、時(shí)頻中提取特征共621個(gè)。我們對(duì)特征進(jìn)行z分?jǐn)?shù)標(biāo)準(zhǔn)化，均值為0，標(biāo)準(zhǔn)差為1。FS方法可能出現(xiàn)奇點(diǎn)問(wèn)題，因此我們刪除了所有幾乎相同的特征(相關(guān)系數(shù)高于0.98)。

表2.特征與數(shù)量

3.3.1.時(shí)域特征的提取

1.事件相關(guān)特征。參考先前文獻(xiàn)描述的過(guò)程來(lái)提取以下特征：SCR振幅、SCR峰值計(jì)數(shù)、平均SCR振幅、平均SCR上升時(shí)間、SCR峰值振幅和、 SCR上升時(shí)間和、SCR曲線下面積和SCR面積總和。

2.統(tǒng)計(jì)特征。功率、均值、標(biāo)準(zhǔn)差、峰度、偏度、一階差分均值、二階差分均值。

3.Hjorth特征。我們還按照先前文獻(xiàn)描述的方法提取了三個(gè)Hjorth特征：活動(dòng)A、機(jī)動(dòng)性M、復(fù)雜性C，計(jì)算公式見(jiàn)公式6-8。

4.HOC。提取EDA時(shí)間序列的HOC特征，HOC是特定的濾波器序列迭代用于時(shí)間序列時(shí)的過(guò)零序列，見(jiàn)公式9-10。

為了確定最適合HOC特征的順序，我們進(jìn)行迭代分類，使用分層10倍交叉驗(yàn)證計(jì)算幾個(gè)HOC特征的分類表現(xiàn)。HOC特征數(shù)據(jù)分類通過(guò)對(duì)角協(xié)方差估計(jì)的二次判別分析（即樸素貝葉斯）進(jìn)行。圖2顯示了喚醒、效價(jià)識(shí)別的HOC順序與相應(yīng)分類率。從圖中可以清楚看出，對(duì)于喚醒和效價(jià)識(shí)別，HOC在階數(shù)為5時(shí)獲得分類表現(xiàn)最佳，因此我們選擇HOC階數(shù)為5。

圖2.HOC階數(shù)與分類表現(xiàn)

3.3.2.頻域特征提取

EDA信號(hào)的推薦頻率范圍（0.05-0.50Hz）按建議可分為五個(gè)頻段，提取特征是一組統(tǒng)計(jì)特征（方差、范圍、信號(hào)幅度面積SMA、偏度、峰度、諧波總和）和五個(gè)頻帶的頻譜功率、最小值、最大值和方差。

3.3.3.時(shí)頻特征提取

(1)離散小波變換

信號(hào)的小波分析包括父小波的平移、母小波的縮放和平移。信號(hào)的小波級(jí)數(shù)表示見(jiàn)公式11。近似系數(shù)見(jiàn)公式12。使用離散小波變換(DWT)信號(hào)的細(xì)節(jié)系數(shù)(detail coefficient)見(jiàn)公式13。

在DWT中，小波充當(dāng)帶通濾波器，其中縮放函數(shù)和小波函數(shù)分別充當(dāng)?shù)屯ê透咄V波器(見(jiàn)公式14與15-16)。DWT會(huì)使時(shí)域分辨率減半，頻域分辨率加倍。上述過(guò)程可以迭代應(yīng)用于信號(hào)的多級(jí)分解。

(2)平穩(wěn)小波變換

修改基本DWT算法可以獲得獲得給定EDA信號(hào)的平穩(wěn)小波變換(SWT)。我們應(yīng)用了針對(duì)DWT的低通和高通濾波器提取以下特征：

3.3.4.梅爾頻率倒譜特征提取

提取MFCC特征的過(guò)程如圖3，具體為：

圖3.MFCC特征提取

1)基于SWT的復(fù)雜濾波方法對(duì)EDA信號(hào)濾波以去除運(yùn)動(dòng)偽影。

2)濾波后的EDA信號(hào)加漢明窗，以便在短窗口持續(xù)時(shí)間內(nèi)進(jìn)行分析。采樣率f，幀N=2*f，重疊窗口時(shí)長(zhǎng)M為0.5*f。本研究EDA信號(hào)采樣率為128Hz，EDA對(duì)誘發(fā)刺激的延遲在1.0-3.0秒之間，重疊窗口持續(xù)時(shí)間M設(shè)為0.5秒。為分析數(shù)據(jù)集的20秒EDA段，我們無(wú)法將N值設(shè)置為2*f=1/4256秒，而是創(chuàng)建10個(gè)相等的窗口，N值為2秒。

3)對(duì)每個(gè)窗口應(yīng)用FFT獲得頻譜。

4)通過(guò)梅爾濾波器將頻譜映射到梅爾尺度上，見(jiàn)公式17。

5)求梅爾譜值對(duì)數(shù)。

6)根據(jù)公式2的CA獲得MFCC特征。因?yàn)槊窢栕V絕對(duì)值是實(shí)數(shù)、對(duì)稱的，應(yīng)用離散余弦變換獲得梅爾頻率倒譜系數(shù)，見(jiàn)公式18。

我們只選擇最后13個(gè)成分，因?yàn)槠溆嗖糠謳缀鯖](méi)有信息。通過(guò)上述過(guò)程獲得13個(gè) Num_frames。

3.4.特征選擇

我們應(yīng)用JMI、CMIM和DISR從EDA中選擇有意義的特征。我們使用了多種特征選擇方法，以使結(jié)果更加穩(wěn)健。對(duì)提取的EDA特征縮放和離散化后，三種FS方法分別應(yīng)用于單個(gè)被試與所有被試。FS算法給出的前n個(gè)特征用來(lái)評(píng)估分類器性能，n的值在5到200之間。我們選擇上限200來(lái)檢查特征向量的約三分之一值（特征總數(shù)為621，見(jiàn)表2）。
3.5.分類

我們采用了AMIGOS數(shù)據(jù)集的情緒注釋，匯總了三個(gè)注釋者的評(píng)分，生成對(duì)每個(gè)視頻片段具有更重要意義的評(píng)分值。效價(jià)和喚醒評(píng)價(jià)是連續(xù)的，范圍從-1到1。

基于喚醒標(biāo)簽，9886個(gè)樣本分配到LOW類，2694個(gè)樣本分配到HIGH類；基于效價(jià)標(biāo)簽，9566個(gè)樣本分配到LOW類，3014個(gè)樣本分配到HIGH類進(jìn)。由于兩類數(shù)據(jù)集不平衡，我們使用自適應(yīng)合成(ADASYN, adaptive synthetic)采樣法來(lái)進(jìn)行改善。ADASYN根據(jù)學(xué)習(xí)難度對(duì)少數(shù)類樣本加權(quán)分布，與更容易學(xué)習(xí)的少數(shù)類樣本相比，它為更難學(xué)習(xí)的少數(shù)類樣本生成了更多數(shù)據(jù)，減少了不平衡數(shù)據(jù)分布引入的偏差。

我們使用的識(shí)別系統(tǒng)見(jiàn)圖4。樣本集劃分為單被試(37名被試，每位包含340個(gè)樣本）和整體數(shù)據(jù)集（所有被試共12580個(gè)樣本）。對(duì)數(shù)據(jù)分區(qū)應(yīng)用ADASYN法以消除類別不平衡，然后將數(shù)據(jù)以70:15:15的比例分別進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試。我們使用支持向量機(jī)(SVM)和徑向基函數(shù)(RBF)，根據(jù)分類準(zhǔn)確度評(píng)估各特征選擇方法。我們采用網(wǎng)格搜索和3折交叉驗(yàn)證方法確定最佳正則化參數(shù)C，確定高斯RBF的自由參數(shù)。有研究報(bào)告SVM在生理信號(hào)識(shí)別情感狀態(tài)上提供了最佳的分類精度。

圖4.分類系統(tǒng)圖示(信號(hào)->特征提取->特征選擇->SVM分類->比較分類表現(xiàn))
4.結(jié)果4.1.最優(yōu)特征數(shù)

表3顯示了37名被試和三種FS（特征選擇）方法的喚醒識(shí)別的最佳準(zhǔn)確度、平均F1分?jǐn)?shù)和最佳特征數(shù)，最優(yōu)準(zhǔn)確率是在最優(yōu)特征數(shù)量下獲得的最高準(zhǔn)確率。該表還顯示了三種FS方法中37名被試的平均結(jié)果，以及獨(dú)立于被試(ALL)的分類結(jié)果。表4顯示了效價(jià)識(shí)別的相同信息。表3.各被試的情緒喚醒識(shí)別

表4.各被試的情緒效價(jià)識(shí)別

我們測(cè)試了不同選擇算法提供的F1分?jǐn)?shù)值是否顯著高于0.5（p<0.05水平）。在喚醒的檢測(cè)中，JMI、CMIM、DISR算法提供的F1分?jǐn)?shù)均值顯著高于0.5。在效價(jià)的檢測(cè)中，JMI、CMIM、DISR算法提供的F1分?jǐn)?shù)均值也顯著高于0.5。

為了觀察依賴被試、獨(dú)立于被試的分類的不同，我們比較了三種特征選擇方法的獨(dú)立于(ALL)分類與依賴被試(37名被試)的結(jié)果。在喚醒的檢測(cè)中，依賴被試的識(shí)別準(zhǔn)確度顯著更高，但其最佳特征數(shù)顯著更低。在效價(jià)的檢測(cè)中也發(fā)現(xiàn)了相同的情況。

我們進(jìn)行了一系列配對(duì)t檢驗(yàn)，以確定三種FS算法預(yù)測(cè)喚醒、效價(jià)的準(zhǔn)確度均值是否存在顯著差異，結(jié)果表明不存在。最后我們使用一系列重復(fù)測(cè)量（被試內(nèi)）、方差分析（ANOVA）比較三種FS算法在準(zhǔn)確性、最佳特征數(shù)量方面的表現(xiàn)。在喚醒的檢測(cè)中，準(zhǔn)確度和最佳特征數(shù)量沒(méi)有顯著差異。在效價(jià)的檢測(cè)中同樣沒(méi)有發(fā)現(xiàn)顯著差異。換句話說(shuō)，沒(méi)有證據(jù)表明其中一種算法優(yōu)于其他算法。

4.2.重要特征

計(jì)算每種特征出現(xiàn)在最佳特征組的相對(duì)頻率：

1)基于所有被試與FS方法的最佳特征數(shù)量選擇特征，生成直方圖。

2)特征出現(xiàn)除以特征基數(shù)（如HOC為5）進(jìn)行標(biāo)準(zhǔn)化。

3)跨FS方法的相對(duì)頻率加權(quán)，乘分類精度。

特征的相對(duì)頻率在0-1之間，重要特征分值高于不重要特征。圖5、圖6分別顯示了喚醒和效價(jià)識(shí)別的特征加權(quán)相對(duì)頻率。喚醒識(shí)別中，最常選擇的特征組是MFCC統(tǒng)計(jì)特征，接下來(lái)是時(shí)域SCR相關(guān)統(tǒng)計(jì)特征組和頻域頻帶功率相關(guān)特征組。所有特征中，表現(xiàn)最好的是AUC(曲線下面積)，其次是SMA(信號(hào)幅度面積)和信號(hào)能量特征。與其他時(shí)域統(tǒng)計(jì)特征相比，SCR信號(hào)的標(biāo)準(zhǔn)偏差或方差、SCR信號(hào)導(dǎo)數(shù)也表現(xiàn)良好。一般來(lái)說(shuō)，SCR信號(hào)的統(tǒng)計(jì)特征在時(shí)域上的表現(xiàn)優(yōu)于其他SCR相關(guān)特征。值得注意的是，時(shí)域統(tǒng)計(jì)特征、頻帶功率和頻域統(tǒng)計(jì)特征顯示出比其他特征組更高的方差，這表明這些組中的某些特征具有更多信息，分別是時(shí)域統(tǒng)計(jì)特征中的AUC、信號(hào)能量和SMA，頻帶功率，頻域統(tǒng)計(jì)特征。與其他三個(gè)特征組相比，MFCC統(tǒng)計(jì)特征之間的差異較小，這意味著此類型中的所有特征都很重要。最不常選擇的特征是小波系數(shù)和MFCC系數(shù)。

圖5.情緒喚醒識(shí)別的特征加權(quán)最佳出現(xiàn)率

圖6.情緒效價(jià)識(shí)別的特征加權(quán)最佳出現(xiàn)率

效價(jià)識(shí)別的特征出現(xiàn)頻率與喚醒識(shí)別的趨勢(shì)相同。效價(jià)識(shí)別最常選擇的特征組是MFCC統(tǒng)計(jì)特征，其次是時(shí)域、頻域頻帶功率相關(guān)特征。在所有特征中，表現(xiàn)最好的特征也是AUC，其次是SMA和信號(hào)能量。

5.討論

我們沒(méi)有發(fā)現(xiàn)所使用的三種FS方法表現(xiàn)的顯著差異，但它們都產(chǎn)生了較高的喚醒、效價(jià)識(shí)別分類準(zhǔn)確度和F1分?jǐn)?shù)。表3、表4表明，大量EDA特征才能獲得最佳精度(喚醒識(shí)別約95個(gè)，效價(jià)識(shí)別約96個(gè))，之前的任何研究都沒(méi)有報(bào)道過(guò)這一發(fā)現(xiàn)。喚醒和效價(jià)識(shí)別的最佳特征數(shù)相似度高，識(shí)別計(jì)算復(fù)雜度也非常相似。

雖然EDA通常與情緒喚醒更相關(guān)，但我們發(fā)現(xiàn)喚醒、效價(jià)的識(shí)別表現(xiàn)相似。先前研究發(fā)現(xiàn)，盡管EDA在喚醒識(shí)別的表現(xiàn)稍好一些，但這兩個(gè)變量的分類性能沒(méi)有顯著差異，這與我們的結(jié)果一致。我們發(fā)現(xiàn)AMIGOS數(shù)據(jù)集注釋的喚醒和效價(jià)得分間存在顯著的高相關(guān)性，這可能有助于解釋為什么喚醒、效價(jià)的識(shí)別表現(xiàn)相似。

至于重要特征，文獻(xiàn)中廣泛使用的SCR特征在本研究中顯示出較低的加權(quán)出現(xiàn)分?jǐn)?shù)。結(jié)果表明，在所有SCR特征中，SCR峰幅度對(duì)于識(shí)別EDA的喚醒、效價(jià)最重要。我們還證明了常用的上升時(shí)間特征沒(méi)有發(fā)揮重要作用。雖然先前文獻(xiàn)通常不適用EDA信號(hào)的AUC，但它作為單一特征在EDA信號(hào)情感識(shí)別方面的表現(xiàn)很好，EDA信號(hào)的SMA和信號(hào)能量特征也如是。此外，研究中最重要的發(fā)現(xiàn)是與MFCC相關(guān)的統(tǒng)計(jì)特征的表現(xiàn)，優(yōu)于所有其他特征類型。綜上所述，具有最高情感分類潛力的EDA特征要么從未在以前研究中使用過(guò)（MFCC特征），要么使用得很少（AUC和SMA特征）。

與不依賴被試的分類相比，僅使用較少數(shù)量的特征就能獲得優(yōu)越的依賴被試的分類準(zhǔn)確度。不同個(gè)體通常對(duì)相同刺激有不同的生理反應(yīng)，此外不同被試的背景也不同。如果系統(tǒng)預(yù)先知道該被試，或者可以在分類之前對(duì)每個(gè)被試進(jìn)行學(xué)習(xí)，那么可以以被試相關(guān)的方式進(jìn)行情緒分類。這是實(shí)時(shí)情感識(shí)別的最大挑戰(zhàn)之一。

6.結(jié)論

本文回顧了25項(xiàng)研究建議的40種EDA情感識(shí)別特征，使用三種FS方法(JMI、CMIM、DISR)，在公開(kāi)可用的AMIGOS數(shù)據(jù)集上使用機(jī)器學(xué)習(xí)分析了不同EDA特征在時(shí)域、頻域、時(shí)頻域上的表現(xiàn)。三種FS方法均表明喚醒識(shí)別平均使用95個(gè)特征，效價(jià)識(shí)別平均使用96個(gè)特征。結(jié)果顯示喚醒識(shí)別的平均準(zhǔn)確率為85.75%（F1分?jǐn)?shù)0.63），效價(jià)識(shí)別的平均準(zhǔn)確率為83.9%（F1分?jǐn)?shù)0.61）。在喚醒和效價(jià)識(shí)別方面，依賴于被試的分類結(jié)果顯著高于獨(dú)立于受試者的分類。MFCC統(tǒng)計(jì)特征、AUC和SMA特征的表現(xiàn)優(yōu)于EDA信號(hào)的常用的SCR特征。

本研究研究了EDA情緒分類的重要特征，還指出一些在先前研究中被忽略的有效特征，例如MFCC特征。這為未來(lái)開(kāi)發(fā)基于EDA的新情感識(shí)別系統(tǒng)開(kāi)辟了道路，具有更高的準(zhǔn)確性，最大限度地降低了計(jì)算成本。

本研究的限制:

1.只依賴于情緒的維度模型（根據(jù)效價(jià)和喚醒的情緒概念化）。檢查EDA特征對(duì)離散情緒（如喜悅、悲傷、恐懼、驚訝）進(jìn)行分類的預(yù)測(cè)能力也很有趣，是未來(lái)研究中應(yīng)該解決的一個(gè)方面。

2.只測(cè)試了情緒激發(fā)的一種材料(觀看情緒視頻)。不同場(chǎng)景（如壓力大的工作面試）可能會(huì)在EDA 信號(hào)中產(chǎn)生不同模式，關(guān)注信號(hào)的不同特征可以更好地捕捉這些模式。

我們的結(jié)果還強(qiáng)調(diào)要考慮具有不同心理生理特征的被試的個(gè)體差異，這些特征往往對(duì)相同刺激有不同的生理反應(yīng)，而不解決這種個(gè)體差異會(huì)對(duì)情緒狀態(tài)的分類表現(xiàn)產(chǎn)生負(fù)面影響?？梢允褂米銐蚨嗟谋辉噥?lái)訓(xùn)練情緒分類通用模型，然后用新被試的基線值對(duì)模型進(jìn)行微調(diào)。

如需原文及補(bǔ)充材料請(qǐng)?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對(duì)思影課程及服務(wù)感興趣也可加此微信號(hào)咨詢。另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布，如果我們的解讀對(duì)您的研究有幫助，請(qǐng)給個(gè)轉(zhuǎn)發(fā)支持以及右下角點(diǎn)擊一下在看，是對(duì)思影科技的支持，感謝！

微信掃碼或者長(zhǎng)按選擇識(shí)別關(guān)注思影

非常感謝轉(zhuǎn)發(fā)支持與推薦
歡迎瀏覽思影的數(shù)據(jù)處理業(yè)務(wù)及課程介紹。（請(qǐng)直接點(diǎn)擊下文文字即可瀏覽思影科技所有的課程，歡迎添加微信號(hào)siyingyxf或18983979082進(jìn)行咨詢，所有課程均開(kāi)放報(bào)名，報(bào)名后我們會(huì)第一時(shí)間聯(lián)系，并保留已報(bào)名學(xué)員名額）：腦電及紅外、眼動(dòng)：

第二十九屆彌散成像數(shù)據(jù)處理班（南京，11.19-24）

上一篇 | 腦功能網(wǎng)絡(luò)重建的原理與有待解決的問(wèn)題

下一篇 | 腦網(wǎng)絡(luò)組織的多尺度建模

午夜亚洲www湿好大,日韩一级精品,亚州无码视频久久久久,中文字幕国语对白在线观看-在线观看A级片_亚洲中文字幕人成乱码_亚洲精品国产精品乱码不99_美女视频黄频大全视频免费

皮膚電研究: 情緒識(shí)別的特征提取與選擇