大量研究使用各種生物信號(hào)檢測(cè)心理負(fù)荷(MWL)并證明有效，但目前研究通常只使用一種模態(tài)來(lái)分類(lèi)MWL。本研究的目標(biāo)是使用多模態(tài)深度神經(jīng)網(wǎng)絡(luò)(DNN)對(duì)感知心理負(fù)荷(PMWL)進(jìn)行分類(lèi)，以允許模態(tài)間的特征共享。實(shí)驗(yàn)借助語(yǔ)言邏輯題模擬MWL（心理負(fù)荷），問(wèn)題有五個(gè)難度級(jí)別，以隨機(jī)順序呈現(xiàn)。被試做題后報(bào)告感受的1到7的難度等級(jí)，7是最高難度。我們使用LabStreamingLayer(LSL)同時(shí)采集皮膚電反應(yīng)、光體積描記圖、功能性近紅外腦血氧成像和眼球運(yùn)動(dòng)，答題時(shí)的mark信息也傳輸?shù)?/span>LSL。我們使用上述四種模態(tài)設(shè)計(jì)了一種用于PMWL（感知心理負(fù)荷）分類(lèi)的新型中間融合多模式DNN并評(píng)估其表現(xiàn)。指導(dǎo)DNN設(shè)計(jì)的兩個(gè)主要標(biāo)準(zhǔn)是：模塊化和通用性。上述模型可實(shí)現(xiàn)七等級(jí)PMWL的準(zhǔn)確分類(lèi)(0.985個(gè)等級(jí))。由于設(shè)計(jì)的模塊化性質(zhì)，模型架構(gòu)允許輕松添加/刪除模態(tài)，不會(huì)對(duì)結(jié)構(gòu)產(chǎn)生重大影響。此外，我們顯示提出的神經(jīng)網(wǎng)絡(luò)用多模式時(shí)的表現(xiàn)更好。本文中使用的數(shù)據(jù)集和代碼公開(kāi)可用。本文發(fā)表在Frontiers in Human Neuroscience雜志。(可添加微信號(hào)siyingyxf或18983979082獲取原文，另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布)。
可結(jié)合以下機(jī)器學(xué)習(xí)相關(guān)文章閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點(diǎn)擊，即可瀏覽，加微信號(hào)siyingyxf或18983979082獲取原文及補(bǔ)充材料）：
基于EEG信號(hào)與面部表情的連續(xù)情緒識(shí)別
EEGNet：一個(gè)小型的卷積神經(jīng)網(wǎng)絡(luò)，用于基于腦電的腦機(jī)接口
BRAIN：靜息態(tài)腦電圖揭示了肌萎縮性脊髓側(cè)索硬化癥的四種亞型
從誘發(fā)反應(yīng)中解碼動(dòng)態(tài)腦模式
EEG腦機(jī)接口算法
腦電信號(hào)處理的機(jī)器學(xué)習(xí)
腦電信號(hào)解碼和可視化的深度卷積神經(jīng)網(wǎng)絡(luò)
基于M/EEG的生物標(biāo)志物預(yù)測(cè)MCI和阿爾茨海默病
基于EEG信號(hào)的情緒識(shí)別
基于機(jī)器學(xué)習(xí)的腦電病理學(xué)診斷
高階統(tǒng)計(jì)量在EEG信號(hào)處理中的應(yīng)用
EEG分類(lèi)實(shí)驗(yàn)block設(shè)計(jì)的危險(xiǎn)與陷阱
Current Biology：視覺(jué)想象和視覺(jué)感知共享Alpha頻帶中的神
利用腦電連通性特征和卷積神經(jīng)網(wǎng)絡(luò)的情緒分類(lèi)
腦電研究：通過(guò)神經(jīng)活動(dòng)和視覺(jué)特征的多模態(tài)學(xué)習(xí)
JAMA Psychiatry：使用機(jī)器學(xué)習(xí)的方法探究焦慮和創(chuàng)傷性障
Nature neuroscience：利用encoder-decoder模型實(shí)現(xiàn)皮層活
ANNALS of Neurology：中風(fēng)恢復(fù)過(guò)程中腦機(jī)接口可促進(jìn)運(yùn)動(dòng)
Nature Biotechnology: EEG特征預(yù)測(cè)重度抑郁癥的抗抑郁藥反應(yīng)
BMC Medicine：自閉癥譜系障礙靜息態(tài)EEG信號(hào)的定量遞歸
SCIENCE ROBOTICS：非侵入式神經(jīng)成像可增強(qiáng)機(jī)器控制
Lancet Neurology：一種供四肢癱瘓患者使用硬膜外無(wú)線(xiàn)腦機(jī)
Lancet經(jīng)典：植物人意識(shí)狀態(tài)的床邊檢測(cè)
NATURE子刊：出生第一年的縱向EEG power能識(shí)別孤獨(dú)癥譜
EEG機(jī)器學(xué)習(xí)：急性腦損傷臨床無(wú)反應(yīng)患者腦
STROKE:用于慢性中風(fēng)患者運(yùn)動(dòng)康復(fù)的動(dòng)力外骨骼的健側(cè)腦-機(jī)
PNAS:基于腦電在線(xiàn)神經(jīng)反饋調(diào)節(jié)喚醒程度可以改善個(gè)體
帕金森病認(rèn)知圖譜的EEG機(jī)器學(xué)習(xí)
BRAIN：機(jī)器學(xué)習(xí)：基于EEG的跨中心、跨方案的意識(shí)
腦機(jī)接口訓(xùn)練可持久地恢復(fù)中風(fēng)病人的上肢運(yùn)動(dòng)功能
基于fNIRS連接度特征監(jiān)測(cè)飛行員的參與度(自動(dòng)vs手動(dòng)駕駛著陸)
1.介紹
心理負(fù)荷(mental workload,
MWL)在神經(jīng)科學(xué)、人因工學(xué)等領(lǐng)域備受關(guān)注。MWL受兩個(gè)變量影響：
1、可用認(rèn)知資源，取決于相關(guān)先驗(yàn)知識(shí)、能力、任務(wù)經(jīng)驗(yàn)，高度個(gè)體化；
2、所需認(rèn)知資源，取決于任務(wù)難度。在Csikszentmihalyi描述的心流狀態(tài)下，人們會(huì)完全沉浸在任務(wù)中，可用認(rèn)知資源和所需認(rèn)知資源的比率(α)介于0.8到1.2之間。感知心理負(fù)荷(PMWL)是被試反應(yīng)的MWL。PMWL的自我報(bào)告通常使用NASA任務(wù)負(fù)荷指數(shù)(NASA-TLX)，檢索六個(gè)工作量相關(guān)因素的量級(jí)和來(lái)源。不過(guò)，主觀報(bào)告可能影響實(shí)驗(yàn)的客觀性，且會(huì)打斷受試的心流狀態(tài)。生理測(cè)量可以替代自我評(píng)估的方法，這是一種隱式測(cè)量方法(不打斷心流狀態(tài))，可以客觀、實(shí)時(shí)地獲取數(shù)據(jù)，且無(wú)需由被試報(bào)告。 先前研究已使用多種生理信號(hào)在單模態(tài)場(chǎng)景下分類(lèi)PMWL，例如功能性近紅外腦血氧成像(fNIRS)、皮膚電反應(yīng)(GSR)和心率(HR)，上述信號(hào)都可以有效單獨(dú)分類(lèi)PMWL。本研究結(jié)合單模態(tài)與多模態(tài)信息分類(lèi)PMWL，確定哪些生理信號(hào)提供的信息對(duì)分類(lèi)有價(jià)值。我們還制定了深度學(xué)習(xí)多模態(tài)信號(hào)分類(lèi)場(chǎng)景下的設(shè)計(jì)原則，原則可用于制定中間融合多模態(tài)網(wǎng)絡(luò)(intermediate fusion multimodal network,
IFMMoN)。
2.材料與方法
本文基于多模態(tài)測(cè)量，使用深度神經(jīng)網(wǎng)絡(luò)(DNN)對(duì)PMWL進(jìn)行分類(lèi)。設(shè)計(jì)多模態(tài)腦機(jī)接口時(shí)，端到端管道的設(shè)計(jì)原則是模塊化、通用性(modularity and generalisability, MG)。為實(shí)現(xiàn)模塊化，新設(shè)備應(yīng)方便添加，數(shù)據(jù)采集、處理與管道匹配，結(jié)構(gòu)影響最小。我們使用了兩個(gè)有助于模塊化的庫(kù)：1.LabStreamingLayer (LSL)，2.TensorFlow。LSL可以輕松添加專(zhuān)用于設(shè)備的數(shù)據(jù)流，TensorFlow API可以實(shí)現(xiàn)深度學(xué)習(xí)模型模塊化。通用性意味著附加模式中獲得的數(shù)據(jù)能夠提高分類(lèi)準(zhǔn)確性，為提高通用性和應(yīng)用性，管道還應(yīng)在PMWL以外的其他分類(lèi)中也有良好表現(xiàn)。通用性（MG）要求我們的方法盡可能獨(dú)立于環(huán)境和設(shè)備，通過(guò)數(shù)據(jù)采集、分析(大部分)自動(dòng)化來(lái)減少人為錯(cuò)誤，本項(xiàng)目應(yīng)用的所有方法、設(shè)計(jì)都根據(jù)MG標(biāo)準(zhǔn)制定與執(zhí)行。
3.相關(guān)研究
我們共結(jié)合四種模態(tài)分類(lèi)PMWL: 功能性近紅外腦血氧成像[fNIRS，測(cè)量大腦中(脫氧)氧合血紅蛋白的變化]、皮膚電反應(yīng)(GSR)、心率(HR)[使用光體積變化描記圖法(PPG)測(cè)量]、眼動(dòng)追蹤(ET)。
3.1.功能性近紅外腦血氧成像
fNIRS可以測(cè)量大腦中脫氧/氧合血紅蛋白濃度的相對(duì)變化。大腦功能激活期間，能量的使用導(dǎo)致血紅蛋白分布發(fā)生變化，這種變化可以用近紅外光測(cè)量，然后與組織特定區(qū)域的激活關(guān)聯(lián)。目前對(duì)于MWL檢測(cè)中fNIRS數(shù)據(jù)深度學(xué)習(xí)的最佳分析方法沒(méi)有明確共識(shí)。
相關(guān)研究可分為兩大類(lèi)：
1.多層感知器(MLP)，由幾個(gè)密集連接的層組成；
2.卷積神經(jīng)網(wǎng)絡(luò)(CNN)。
遞歸神經(jīng)網(wǎng)絡(luò)(RNN) 也有被使用，不過(guò)目前并不常見(jiàn)。MLP研究在二元以及更復(fù)雜問(wèn)題上表現(xiàn)出很高的準(zhǔn)確性，有研究報(bào)告63%的用戶(hù)識(shí)別準(zhǔn)確率(n=30)，以及超91%的心算、休息二元分類(lèi)，盡管前者的準(zhǔn)確率較低，但其分類(lèi)對(duì)象更貼近自然生活。
Tanveer等人使用了兩種模型，一種是有六個(gè)全連接密集層的DNN，用于修正版Beer-Lambert光極密度；一種是具有兩個(gè)卷積層、兩個(gè)密集層的CNN，用于各通道的激活地圖，觀察二元交叉熵?fù)p失。他們報(bào)告二元分類(lèi)的準(zhǔn)確率為99.3%，CNN的效果最佳。Daegazany等人將MLP用于5-class運(yùn)動(dòng)想象，達(dá)到80%以上的準(zhǔn)確度，這個(gè)方法的好處是沒(méi)有對(duì)數(shù)據(jù)進(jìn)行任何預(yù)/后處理，因此該方案也可用于所需注意力的分類(lèi)，因?yàn)榇蟛糠謺r(shí)間用于數(shù)據(jù)采集而非(預(yù))處理。不過(guò)，為了實(shí)現(xiàn)這一點(diǎn)，他們使用了兩個(gè)全連接層，每層有10,000個(gè)神經(jīng)元，計(jì)算相當(dāng)復(fù)雜。
3.2.光體積變化描記圖法與皮膚電反應(yīng)
PPG是一種測(cè)量微血管組織血容量變化的光學(xué)方法，血容量變化與心臟活動(dòng)直接相關(guān)，因此PPG可用于測(cè)量HR和HR變異性、心跳間隔等測(cè)量值。Biswas等人在HR分類(lèi)任務(wù)中達(dá)到95%以上的準(zhǔn)確率，他們使用兩個(gè)卷積層、兩個(gè)長(zhǎng)短期記憶(LSTM)層、一個(gè)密集輸出層。
GSR是與交感神經(jīng)系統(tǒng)神經(jīng)支配相關(guān)的皮膚電反應(yīng)，通常用于測(cè)量情感、認(rèn)知喚醒。Sun等人使用LSTM-CNN混合網(wǎng)絡(luò)識(shí)別六類(lèi)情緒，達(dá)到高達(dá)74%的準(zhǔn)確率。
PPG和GSR都可以提取出特征用于分類(lèi)，這么做的好處是計(jì)算起來(lái)簡(jiǎn)單、便宜，不過(guò)這樣也去除了可能有用于DNN、多模態(tài)融合的隱藏特征。除特征提取，PPG、GSR的形狀也方便使用全連接層來(lái)處理。
3.3.眼動(dòng)追蹤
ET可獲取一個(gè)人在任何時(shí)間查看的位置信息，這有助于我們理解視覺(jué)、顯示相關(guān)的信息處理。ET數(shù)據(jù)的訓(xùn)練、評(píng)估高度依賴(lài)于使用的任務(wù)，因此本節(jié)不陳述相關(guān)研究的準(zhǔn)確度。Louedec等人使用CNN預(yù)測(cè)國(guó)際象棋游戲的顯著圖，使用模型基于VGG16，包含幾個(gè)反卷積層和融合層。Krafka等人也使用卷積層并與全連接層結(jié)合，他們根據(jù)輸入的面部網(wǎng)格(包含面部位置、左右眼以及全臉)分類(lèi)凝視。ET數(shù)據(jù)通常使用卷積層分類(lèi)，不考慮目標(biāo)，因?yàn)槲覀儗?duì)數(shù)據(jù)的空間特征感興趣。
3.4.多模態(tài)融合
大多數(shù)神經(jīng)網(wǎng)絡(luò)高度依賴(lài)于使用的任務(wù)，多模式DNN的設(shè)計(jì)也如是。Ramachandram和Taylor在深度多模態(tài)學(xué)習(xí)回顧中制定了多模態(tài)深度學(xué)習(xí)的幾個(gè)關(guān)鍵因素：
1.何時(shí)融合這些模態(tài)。
(1)早期融合/數(shù)據(jù)級(jí)融合，連接特征或原始數(shù)據(jù)，將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)。
(2)中間融合，使用各種層將輸入映射到較低維度，在輸入和輸出層之間的某個(gè)地方進(jìn)行融合。
(3)后期融合，看幾個(gè)較小網(wǎng)絡(luò)的多數(shù)表決。
如Karpathy等人所證，融合時(shí)間的選擇是靈活的，并且對(duì)模型表現(xiàn)有巨大影響。
2.融合哪些模態(tài)。
并非所有數(shù)據(jù)都有助于分類(lèi)，數(shù)據(jù)有效的程度也不同。
3.如何處理缺失的模態(tài)或數(shù)據(jù)。
數(shù)據(jù)缺失可能帶來(lái)嚴(yán)重的問(wèn)題，尤其在實(shí)時(shí)分類(lèi)中。
早期融合不符合MG標(biāo)準(zhǔn)，因?yàn)樗枰獙⑤斎霐?shù)據(jù)“縫合”在一起，一些原因會(huì)導(dǎo)致應(yīng)用程序出現(xiàn)多個(gè)問(wèn)題：1.不同模態(tài)可能使用不同采樣率，2.設(shè)備的維度可能不同，時(shí)間/空間維度的特征可能丟失，3.早期融合將所有數(shù)據(jù)輸送到同一個(gè)網(wǎng)絡(luò)卻不管數(shù)據(jù)來(lái)自哪種模態(tài)，當(dāng)數(shù)據(jù)參數(shù)發(fā)生變化時(shí)，網(wǎng)絡(luò)的早期層和形狀需要重新調(diào)整。
后期融合符合模塊化的要求，但不符合通用性的要求。后期融合添加/刪除模態(tài)網(wǎng)絡(luò)(modality network, MNet)無(wú)需考慮其他MNet，不過(guò)網(wǎng)絡(luò)分離也導(dǎo)致我們無(wú)法同時(shí)實(shí)現(xiàn)多模式學(xué)習(xí)，因?yàn)槟B(tài)之間沒(méi)有信息交換。
中間融合允許創(chuàng)建多個(gè)模塊化MNet，這些MNet在各自的領(lǐng)域發(fā)揮作用，添加/刪除模態(tài)也很簡(jiǎn)單。中間融合最符合MG標(biāo)準(zhǔn)。
3.刺激呈現(xiàn)
實(shí)驗(yàn)要求被試解決斑馬謎題(zebra puzzle)。斑馬謎題是語(yǔ)言邏輯題，提示的基礎(chǔ)上將屬性與對(duì)象關(guān)聯(lián)，問(wèn)題難度由給出的提示數(shù)、所需的平均提示數(shù)決定。圖1示例有五個(gè)問(wèn)題，問(wèn)題難度從“非常低”到“非常高”，所有問(wèn)題來(lái)自Brainzilla的研究?；卮鹈總€(gè)問(wèn)題后，要求被試休息放松，報(bào)告他們認(rèn)為的問(wèn)題難度，評(píng)分從1到7，7是最高難度。這些評(píng)級(jí)會(huì)在訓(xùn)練期間用作標(biāo)簽。呈現(xiàn)問(wèn)題的順序完全隨機(jī)，刺激呈現(xiàn)過(guò)程中LSL流采集數(shù)據(jù)，被試每次操作時(shí)打mark。被試操作為(取消)選擇提示和(取消)選擇答案，記錄被試ID、操作時(shí)間點(diǎn)、操作類(lèi)型、操作ID、操作狀態(tài)(正確、不正確、已檢查)，操作時(shí)間點(diǎn)用于數(shù)據(jù)分段。
圖1.斑馬謎題，問(wèn)題下方有一些線(xiàn)索來(lái)幫助被試連接屬性和對(duì)象(boy)。一個(gè)示例線(xiàn)索是“Joshua在某一單元格選項(xiàng)的最后一個(gè)”，單擊單元格的箭頭會(huì)下拉該單元格的所有選項(xiàng)。
[附: 來(lái)自1962年《生活》雜質(zhì)的一個(gè)斑馬謎題]
1.有五棟房子。
2.英國(guó)人住在紅房子里。
3.西班牙人養(yǎng)狗。
4.綠房子里的人喝咖啡。
5.烏克蘭人喝茶。
6.綠房子緊挨在象牙色房子的右邊。
7.抽Old Gold牌香煙的人養(yǎng)蝸牛。
8.黃房子里的人抽Kools牌香煙。
9.中間的房子里的人喝牛奶。
10.挪威人住在第一間房子。
11.抽Chesterfields牌香煙的人住在養(yǎng)狐貍的人的隔壁。
12.抽Kools牌香煙的人住在養(yǎng)馬的人的隔壁。
13.抽Lucky Strike牌香煙的人喝橙汁。
14.日本人抽Parliaments牌香煙。
15.挪威人住在藍(lán)色房子的隔壁。
通過(guò)推理可得:
4.被試
招募23名被試，11名男性，12名女性，平均年齡24.7歲(20-57歲，SD=9.8)，一名被試因?yàn)閿?shù)據(jù)質(zhì)量差被排除。我們使用Sona系統(tǒng)招募被試，這是特溫特大學(xué)的被試云管理軟件，同時(shí)我們也通過(guò)社交網(wǎng)絡(luò)進(jìn)行招募。實(shí)驗(yàn)得到特溫特大學(xué)BMS學(xué)院倫理委員會(huì)的批準(zhǔn)，所有被試簽署書(shū)面知情同意書(shū)。
5.數(shù)據(jù)采集與同步
所有數(shù)據(jù)在同一配置參數(shù)的筆記本電腦上流式傳輸和記錄。多模態(tài)數(shù)據(jù)采集使用：1、Shimmer3 GSR+，測(cè)量GSR和PPG，2、Tobii Pro X3-120，測(cè)量ET，3、Brite24，測(cè)量fNIRS數(shù)據(jù)。設(shè)備采集數(shù)據(jù)實(shí)時(shí)發(fā)送到LSL。使用LabRecorder將數(shù)據(jù)記錄到每個(gè)被試的XDF文件中，然后使用PyXDF將數(shù)據(jù)導(dǎo)入Python。PyXDF會(huì)自動(dòng)檢查指定的與接收到的采樣率，必要時(shí)進(jìn)行數(shù)據(jù)去抖動(dòng)處理。我們還手動(dòng)檢查了數(shù)據(jù)同步情況，確保各模式數(shù)據(jù)在錄制過(guò)程中對(duì)齊。數(shù)據(jù)選擇、處理過(guò)程中還進(jìn)行了幾項(xiàng)同步檢查，見(jiàn)6.1.數(shù)據(jù)選擇。
我們使用Thales HBA實(shí)驗(yàn)室編寫(xiě)的應(yīng)用程序?qū)⒃?/span>GSR、PPG從Shimmer3 GSR+流式傳輸?shù)?/span>LSL，數(shù)據(jù)采樣率為256Hz。Tobii Pro X3–120的數(shù)據(jù)使用Tobii Pro SDK和PyLSL制作的自定義python應(yīng)用程序流式傳輸。ET數(shù)據(jù)以120Hz的采樣率傳輸，包含雙眼的x、y坐標(biāo)。fNIRS數(shù)據(jù)使用Oxysoft 3.2.51.4 × 64和Brite24，可用通道27個(gè)，采樣率10Hz，波長(zhǎng)756和853nm，通過(guò)修正Beer-Lambert將O2Hb和HHb數(shù)據(jù)從Oxysoft映射到LSL。光極模板見(jiàn)圖2，數(shù)據(jù)傳輸見(jiàn)圖3。
圖2.fNIRS光極分布。每個(gè)發(fā)射器(T)和接收器(R)間形成一個(gè)通道，共有10個(gè)發(fā)射器、8個(gè)接收器、27個(gè)通道。箭頭代表被試的鼻子。
圖3.實(shí)驗(yàn)設(shè)置，左側(cè)為所有數(shù)據(jù)流：Tobii眼動(dòng)追蹤數(shù)據(jù)、Brite fNIRS數(shù)據(jù)、Shimmer GSR和PPG數(shù)據(jù)、斑馬謎題的mark。虛線(xiàn)表示到LSL的流式連接，中間部分的LabRecorder以XDF格式記錄數(shù)據(jù)，右側(cè)部分顯示已處理數(shù)據(jù)的輸出示例。
6.模型優(yōu)化
6.1.數(shù)據(jù)選擇
數(shù)據(jù)根據(jù)斑馬謎題數(shù)據(jù)流的mark選擇。數(shù)據(jù)選擇過(guò)程中需要注意：
1.被試快速連續(xù)選擇多個(gè)答案時(shí)，mark可能靠得很近，基于這些mark選擇的數(shù)據(jù)會(huì)部分重疊。
2.軟件問(wèn)題會(huì)導(dǎo)致部分?jǐn)?shù)據(jù)缺失。
為了解決這些問(wèn)題，我們使用布爾掩碼來(lái)確定可用的mark。首先去除時(shí)間點(diǎn)完全相同的mark(可能由于設(shè)備時(shí)間點(diǎn)漂移和/或數(shù)據(jù)丟失)，其后計(jì)算樣本的簡(jiǎn)單統(tǒng)計(jì)數(shù)據(jù)(如均值、方差、最大值、最小值等)來(lái)查看分段數(shù)據(jù)的質(zhì)量。不過(guò)，噪聲大的樣本可能是更貼近真實(shí)生活的數(shù)據(jù)，我們沒(méi)有移除這些樣本。
確定mark后，選擇mark前8秒的數(shù)據(jù)(血液動(dòng)力學(xué)函數(shù)在神經(jīng)元活動(dòng)開(kāi)始5-8s后出現(xiàn)峰值，被試的沉思發(fā)生在知道/選擇正確答案之前)。每個(gè)被試新建一個(gè)包含最終mark的CSV文件，包含四個(gè)同步數(shù)據(jù)：fNIRS、GSR、PPG和ET，樣本標(biāo)簽為斑馬謎題的難度。這些樣本被添加到TFRecord文件中，該文件允許將許多方法(如混洗、批處理和拆分)同時(shí)應(yīng)用于所有數(shù)據(jù)。數(shù)據(jù)集可在doi: 10.4121/12932801找到。
6.2.模型
模型選擇中間融合，這可以最大限度提高模型的應(yīng)用性，允許多模態(tài)數(shù)據(jù)特征共享，同時(shí)遵守MG標(biāo)準(zhǔn)。中間融合的模型架構(gòu)中每個(gè)模態(tài)有一個(gè)基本網(wǎng)絡(luò)/MNet，一個(gè)Head網(wǎng)絡(luò)集成所有MNet。我們用兩種方法實(shí)現(xiàn)MNet和Head網(wǎng)絡(luò)：1.基于文獻(xiàn)，2.僅包含密集連接層。
基于文獻(xiàn)設(shè)置的模型有四個(gè)自定義MNet，每個(gè)模態(tài)一個(gè)，和一個(gè)自定義Head網(wǎng)絡(luò)。PPG MNet由兩個(gè)卷積層組成；GSR MNet由兩個(gè)卷積層和兩個(gè)LSTM層組成；ET MNet由四個(gè)卷積層組成；fNIRS MNet由兩個(gè)卷積層和兩個(gè)密集層組成。在Head融合之前，所有MNet都通過(guò)各自的密集連接層在低維空間中表示?；谖墨I(xiàn)、密集連接模型的結(jié)構(gòu)和層見(jiàn)圖4、5，模型的層和每層的單元/過(guò)濾器數(shù)量見(jiàn)表1。通過(guò)批量標(biāo)準(zhǔn)化、最大池化使輸出更加穩(wěn)定。兩種模型都創(chuàng)建了一個(gè)較小的替代模型，每一層包含一半的單元和過(guò)濾器，以此觀察減少網(wǎng)絡(luò)大小的效果。由此，我們共有四個(gè)模型：MLP(僅密集)、S_MLP(小型，僅密集)、LIT(文獻(xiàn))和 S_LIT(小型，文獻(xiàn))，所有模型用同一個(gè)數(shù)據(jù)集訓(xùn)練。
我們使用兩種不同的標(biāo)簽：
1.各被試報(bào)告的問(wèn)題難度，例如被試1報(bào)告問(wèn)題3的難度為6，那么問(wèn)題3的所有樣本都打上被試1的評(píng)分6的標(biāo)簽。使用公式將評(píng)分轉(zhuǎn)換為0和1之間的值：評(píng)分/7，評(píng)分1對(duì)應(yīng)于標(biāo)簽“0”，評(píng)分2對(duì)應(yīng)于標(biāo)簽“0.1667”等。所有模型使用具有Sigmoid激活函數(shù)的單個(gè)輸出單元，預(yù)測(cè)標(biāo)簽介于0和1之間。為保證分級(jí)準(zhǔn)確，機(jī)器預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽之間的平均差異必須低于0.1667。機(jī)器預(yù)測(cè)標(biāo)簽為預(yù)測(cè)的工作負(fù)荷等級(jí)(level of workload, LoW)
2.被試報(bào)告的平均難度，每個(gè)問(wèn)題一個(gè)標(biāo)簽，公式轉(zhuǎn)換同上。這種標(biāo)簽用于對(duì)比個(gè)人與群體標(biāo)簽的分類(lèi)準(zhǔn)確度。模型同樣使用具有Sigmoid激活函數(shù)的單個(gè)輸出單元，預(yù)測(cè)標(biāo)簽介于0和1之間。預(yù)測(cè)表現(xiàn)通過(guò)直方圖可視化，誤差分布的理想結(jié)果應(yīng)是零附近的窄高斯分布。
圖4.(S_)LIT模型。所有MNet輸入一個(gè)Head網(wǎng)絡(luò)，Head網(wǎng)絡(luò)融合之前MNet在單個(gè)密集連接層被展平并在低維空間中表示。
圖5.(S_)MLP模型。所有MNet輸入一個(gè)Head網(wǎng)絡(luò)。MNet和Head僅由密集連接的層組成。
表1.模型、層以及每層的單元/過(guò)濾器數(shù)量。LIT指基于文獻(xiàn)的模型，MLP指僅包含密集連接層的模型，表格顯示全尺寸模型的信息，半尺寸模型每層單元/過(guò)濾器數(shù)量減半。
6.3.超參數(shù)優(yōu)化
超參數(shù)的組合極大地影響了模型表現(xiàn)。我們使用Optuna，這是一個(gè)開(kāi)源的define-by-run API，允許我們靈活、快速地設(shè)置參數(shù)搜索空間。我們使用默認(rèn)的Tree-structured Parzen Estimator設(shè)置學(xué)習(xí)率、dropout和動(dòng)量，使用均方誤差衡量模型表現(xiàn)。我們共做20次trial，每個(gè)trial包含一個(gè)5折交叉驗(yàn)證，總數(shù)據(jù)集分成四個(gè)訓(xùn)練集和一個(gè)測(cè)試集。每一折都會(huì)進(jìn)行不同的拆分，并訓(xùn)練一個(gè)新模型來(lái)防止經(jīng)過(guò)訓(xùn)練的模型暴露。超參數(shù)優(yōu)化的目標(biāo)是最小化預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽的平均差異。進(jìn)一步優(yōu)化學(xué)習(xí)使用Smith描述的“1Cycle Policy”學(xué)習(xí)率策略，緩慢增加/減少金字塔形狀的學(xué)習(xí)率來(lái)防止陷入局部最小值。我們使用在超參數(shù)優(yōu)化期間發(fā)現(xiàn)的超參數(shù)訓(xùn)練表現(xiàn)最佳的模型，訓(xùn)練期間數(shù)據(jù)集隨機(jī)拆分為90-10%的訓(xùn)練-測(cè)試集，所有訓(xùn)練均在單個(gè)NVIDIA
GeForce GTX 1080-Ti GPU上完成，更多詳細(xì)信息見(jiàn)doi：10.5281/zenodo.4043058或GitHub1上的代碼。
7.結(jié)果
7.1.數(shù)據(jù)
樣本總數(shù)為4082，平均每位被試185.5個(gè)樣本(77-345個(gè))。表2中可以看到樣本難度評(píng)級(jí)的分布，被試最常報(bào)告的謎題難度為5/7，其次是6/7，他們很少認(rèn)為謎題是最簡(jiǎn)單(1/7)或最難(7/7)的。使用Cronbach's alpha評(píng)估標(biāo)簽的一致性，假設(shè)問(wèn)題是測(cè)試項(xiàng)，alpha為0.74；假設(shè)被試報(bào)告是測(cè)試項(xiàng)，alpha為0.97。
表2.評(píng)級(jí)分布。第二列為被試報(bào)告7點(diǎn)難度等級(jí)中各難度的問(wèn)題數(shù)量，第三列為不同難度問(wèn)題的難度評(píng)分均值。
7.2.個(gè)體標(biāo)簽?zāi)Ｐ捅憩F(xiàn)
我們使用Optuna工具箱評(píng)估兩組10個(gè)trial，一組使用MLP和LIT模型，一組使用S_MLP和S_LIT模型。如表3，使用MLP模型實(shí)現(xiàn)的最佳表現(xiàn)是預(yù)測(cè)和真實(shí)標(biāo)簽間平均絕對(duì)差異為0.1892(轉(zhuǎn)換為PMWL 7點(diǎn)量表為1.13LoW)，5折交叉驗(yàn)證的訓(xùn)練時(shí)間(每折25個(gè)epoch)約為40分鐘。LIT模型的最佳結(jié)果是0.1978(1.19LoW)，訓(xùn)練時(shí)間約70分鐘。S_MLP是0.1642(0.985LoW)，這也是搜索空間中取得的最好結(jié)果，訓(xùn)練時(shí)間約25分鐘。S_LIT模型的最佳結(jié)果是0.1681(1.009LoW)，培訓(xùn)時(shí)間約43分鐘。
表3.各trial的最佳模型、預(yù)測(cè)-真實(shí)值差異、對(duì)應(yīng)LoW、訓(xùn)練用時(shí)
如圖6，表現(xiàn)最好的模型預(yù)測(cè)的63.6%樣本在1個(gè)LoW之內(nèi)，72.7%樣本在1.5個(gè)LoW之內(nèi)，預(yù)測(cè)和真實(shí)標(biāo)簽的差異分布μ = 0.033，σ = 0.233，分布的均值略大于零，這意味著模型容易高估被試的工作量。如圖7，混淆矩陣顯示模型最常正確分類(lèi)的標(biāo)簽是0.6667的樣本，對(duì)應(yīng)難度等級(jí)為5。從混淆矩陣可以推斷分類(lèi)器的準(zhǔn)確率為32%，大大高于機(jī)會(huì)水平：一個(gè)針對(duì)7個(gè)目標(biāo)標(biāo)簽的隨機(jī)分類(lèi)器將正確分類(lèi)14%的樣本。如果標(biāo)簽差異正確，那么分類(lèi)器的準(zhǔn)確率為77%，隨機(jī)分類(lèi)器的表現(xiàn)為3/7(43%)。
圖6.個(gè)體標(biāo)簽的預(yù)測(cè)-真實(shí)標(biāo)簽差異直方圖。真實(shí)標(biāo)簽處理為0。垂直線(xiàn)表示-1/6和1/6(一個(gè)LoW)，超出范圍的預(yù)測(cè)認(rèn)為不準(zhǔn)確。該直方圖使用S_MLP與表3的trial17。
圖7.個(gè)體標(biāo)簽的混淆矩陣。標(biāo)簽從0到6，共七個(gè)級(jí)別的LoW。每個(gè)方塊包含預(yù)測(cè)標(biāo)簽次數(shù)、預(yù)測(cè)標(biāo)簽占比(括號(hào))。大多數(shù)預(yù)測(cè)標(biāo)簽在對(duì)角線(xiàn)周?chē)?span>
7.3.組標(biāo)簽?zāi)Ｐ捅憩F(xiàn)
第二類(lèi)組標(biāo)簽分為五級(jí)，取決于被試的平均評(píng)分，不等距，分布與占比見(jiàn)表4。與個(gè)體標(biāo)簽?zāi)Ｐ陀?xùn)練類(lèi)似，使用Optuna工具箱完成了共20次超參數(shù)最優(yōu)trial，結(jié)果見(jiàn)表5。S_LIT模型獲得最好結(jié)果，真實(shí)和預(yù)測(cè)標(biāo)簽之間的平均差異為0.2386，如圖8，分布μ = -0.055，σ = 0.284。如圖9，混淆矩陣顯示不管真實(shí)標(biāo)簽如何，該模型最常將數(shù)據(jù)分類(lèi)到第四級(jí)難度。在這種情況下，分類(lèi)器的準(zhǔn)確率為27%，略高于機(jī)會(huì)水平(準(zhǔn)確率20%)。如果標(biāo)簽正確，分類(lèi)器表現(xiàn)72%的準(zhǔn)確率。因此，組標(biāo)簽會(huì)降低分類(lèi)器的表現(xiàn)，可能原因是標(biāo)簽中存在噪聲。
表4.組標(biāo)簽數(shù)量與占比
表5.各trial的最佳模型、預(yù)測(cè)-真實(shí)值差異、訓(xùn)練用時(shí)
圖8.組標(biāo)簽的預(yù)測(cè)-真實(shí)標(biāo)簽差異直方圖。垂直線(xiàn)內(nèi)是原始邊界1個(gè)LoW，該直方圖使用S_LIT與表5的trial16。
圖9.組標(biāo)簽的混淆矩陣。標(biāo)簽從0到4，共五個(gè)級(jí)別。每個(gè)方塊包含預(yù)測(cè)標(biāo)簽次數(shù)、預(yù)測(cè)標(biāo)簽占比(括號(hào))。大多數(shù)預(yù)測(cè)標(biāo)簽在第四級(jí)難度(高難度)。
7.4.單模態(tài)的表現(xiàn)
為了研究附加模式的價(jià)值，我們還評(píng)估單模式的表現(xiàn)。所有模型使用已證明對(duì)目標(biāo)模態(tài)最有效的超參數(shù)進(jìn)行訓(xùn)練，使用個(gè)體標(biāo)簽。測(cè)試結(jié)果見(jiàn)表6，S_MLP模型中PPG表現(xiàn)最佳，預(yù)測(cè)與真實(shí)標(biāo)簽之間的平均差異為0.1969(1.18LoW)。GSR和S_LIT模型實(shí)現(xiàn)單模態(tài)的最佳整體表現(xiàn)，差異為0.1796(1.08LoW)。fNIRS模態(tài)在兩種模型上的表現(xiàn)最差，S_MLP和S_LIT的結(jié)果分別為0.2865(1.71LoW)和0.3188(1.91LoW)。
表6.個(gè)體標(biāo)簽的結(jié)果
8.討論8.1.表現(xiàn)
分類(lèi)PMWL時(shí)，使用個(gè)體標(biāo)簽訓(xùn)練的模型表現(xiàn)達(dá)到7個(gè)等級(jí)的精度，這證明了IFMMoN在該場(chǎng)景下的有效性。直方圖顯示的正態(tài)分布中絕大多數(shù)點(diǎn)位于零附近，表明大部分預(yù)測(cè)標(biāo)簽接近真實(shí)標(biāo)簽?；煜仃囷@示IFMMoN的平均預(yù)測(cè)轉(zhuǎn)換值略高于真實(shí)標(biāo)簽，但仍可觀察到對(duì)角線(xiàn)趨勢(shì)。該模型在第五級(jí)分類(lèi)表現(xiàn)最好，其次是第三和第六，這也符合趨勢(shì)，即更流行的標(biāo)簽表現(xiàn)更好(第二級(jí)除外)。此外，第三級(jí)雖然在樣本中數(shù)量第三，但表現(xiàn)最差。由于樣本分布，相對(duì)代表性不足的極端情況下的表現(xiàn)很難評(píng)估。這種分布還導(dǎo)致超參數(shù)優(yōu)化期間表現(xiàn)的巨大變化，因?yàn)閿?shù)據(jù)集在每一折的混洗方式不同，因此一些折疊包含了測(cè)試集中代表性不足類(lèi)別的較多樣本。
組標(biāo)簽的分類(lèi)沒(méi)有顯著對(duì)角線(xiàn)趨勢(shì)，無(wú)論標(biāo)簽是何，IFMMoN都將大多樣本分類(lèi)在第三級(jí)，這也是最普遍的標(biāo)簽，意味著IFMMoN無(wú)法在此最小化損失，可能原因在于PMWL均值不能很好地代表被試的個(gè)體PMWL，導(dǎo)致樣本和標(biāo)簽之間的聯(lián)系不顯著。IFMMoN可能在給定個(gè)體標(biāo)簽的情況下學(xué)習(xí)個(gè)體生理特征，但如果標(biāo)簽對(duì)不同的生理特征通用，就可能無(wú)法在數(shù)據(jù)集中進(jìn)行概括。未來(lái)工作可以關(guān)注個(gè)體差異的影響，模型的情感(model affectivity)以及總體表現(xiàn)可能因人而異，更深入地了解這些差異可以提高IFMMoN的應(yīng)用性。
評(píng)估單模態(tài)，某些模態(tài)的表現(xiàn)明顯優(yōu)于其他模態(tài)。盡管本文沒(méi)有直觀報(bào)告，單模態(tài)分類(lèi)顯示出與組標(biāo)簽相似的趨勢(shì)：所有分類(lèi)集中向一個(gè)標(biāo)簽，這降低了單模態(tài)分類(lèi)的可信度和價(jià)值。fNIRS模態(tài)的表現(xiàn)尤其不佳，這可能意味著數(shù)據(jù)不包含有價(jià)值的信號(hào)，或者信號(hào)處理不充分。模態(tài)表現(xiàn)不佳的另一個(gè)可能因素在于刺激呈現(xiàn)，fNIRS模態(tài)通常使用block設(shè)計(jì)，功能性MRI(fMRI)研究也如是，這兩種模態(tài)本質(zhì)上測(cè)量的是相同的信號(hào)。
然而，我們研究中的刺激呈現(xiàn)并沒(méi)有遵循block設(shè)計(jì)，相反使用了更自然的刺激。刺激的“真實(shí)性”(貼近真實(shí)生活)使我們能夠評(píng)估fNIRS在非實(shí)驗(yàn)室場(chǎng)景下的有效性，但也影響了條件(標(biāo)簽)的可區(qū)分性。我們沒(méi)有針對(duì)每個(gè)單模態(tài)進(jìn)行超參數(shù)優(yōu)化，而是使用了相應(yīng)網(wǎng)絡(luò)的最佳參數(shù)，因此單模態(tài)的表現(xiàn)可能不是最佳的。
想真正證明多模態(tài)方法的優(yōu)越性，我們需要在不同工作負(fù)荷范式上進(jìn)行驗(yàn)證，例如N-back和視覺(jué)信息過(guò)載。此外，需要一種完善的統(tǒng)計(jì)方法來(lái)證明顯著性，包括由多次測(cè)試導(dǎo)致的偽發(fā)現(xiàn)率校正。某些工作負(fù)荷情況中單模式方法與多模式方法的表現(xiàn)相當(dāng)，這是正常的，不過(guò)超出了本文的研究范圍。評(píng)估方案的MG：采用模塊化設(shè)計(jì)，更改IFMMoN的配置快速、簡(jiǎn)單，這表明模塊化的標(biāo)準(zhǔn)得到滿(mǎn)足，且在研究過(guò)程中實(shí)用。由于我們能夠使用所有模態(tài)獲得更好的表現(xiàn)，因此通用性的標(biāo)準(zhǔn)也得到滿(mǎn)足。IFMMoN似乎可以更好地概括多個(gè)生理來(lái)源的數(shù)據(jù)，因此我們認(rèn)為MG標(biāo)準(zhǔn)實(shí)用且有價(jià)值。
8.2.限制
1.硬件限制，這在檢查設(shè)備同步性時(shí)最明顯。記錄到被試數(shù)據(jù)的平均漂移為548ms(SD=590ms, 58-2827ms)。共四名被試的漂移大于1s。其中兩名的原因是錄制結(jié)束前軟件崩潰，設(shè)備關(guān)閉。其余兩名的原因尚不清楚。對(duì)某些模態(tài)(如ET)，平均記錄的548ms漂移影響相當(dāng)大，而對(duì)于fNIRS則不那么敏感。如果將此系統(tǒng)與對(duì)漂移敏感的模態(tài)一起使用，如腦電圖(EEG)，則需要進(jìn)行較大改進(jìn)。一種方法是在功能更強(qiáng)大的計(jì)算機(jī)上采集數(shù)據(jù)，或者用多臺(tái)計(jì)算機(jī)采集數(shù)據(jù)。為每個(gè)設(shè)備和流分配更多CPU可能使結(jié)果更好。特定設(shè)備的硬件限制也可能導(dǎo)致數(shù)據(jù)流的漂移。進(jìn)一步研究漂移時(shí)也可以查看記錄數(shù)據(jù)使用的軟件。
2.被試數(shù)量有限。提高模型表現(xiàn)的一種常見(jiàn)方法是采集更多數(shù)據(jù)。我們總共招募22名被試，采集4082個(gè)樣本。從數(shù)據(jù)集的角度來(lái)看，常用的大型圖像數(shù)據(jù)庫(kù)ImageNet有超過(guò)1400萬(wàn)張圖像。當(dāng)然，采集生理數(shù)據(jù)要耗時(shí)更多，尤其是使用多個(gè)設(shè)備。
3.模態(tài)的選擇。目前，相關(guān)研究?jī)H使用凝視數(shù)據(jù)(雙眼的X和Y坐標(biāo))。Duchowski等人證明瞳孔活動(dòng)評(píng)估認(rèn)知負(fù)荷有效。將瞳孔數(shù)據(jù)納入本研究可能導(dǎo)致不同的結(jié)果，大腦測(cè)量也是如此。fNIRS用于測(cè)量脫/含氧血紅蛋白的相對(duì)變化，EEG也可用于預(yù)測(cè)認(rèn)知負(fù)荷，在某種程度上，同樣的研究可以使用不同模態(tài)，獲得截然不同的結(jié)果。
4.模型架構(gòu)和優(yōu)化。目前，我們使用了兩種IFMMoN，每種都包含大、小兩個(gè)版本。小版本表現(xiàn)出更好的分類(lèi)表現(xiàn)，也更有效，這可能是因?yàn)閿?shù)據(jù)集的規(guī)模較小。我們沒(méi)有進(jìn)一步探索模型表現(xiàn)隨著模型規(guī)格與復(fù)雜性的減小而提高的截止點(diǎn)。此外，超參數(shù)優(yōu)化僅針對(duì)動(dòng)量、學(xué)習(xí)率和dropout，而改變隱藏層、神經(jīng)元的數(shù)量也可以提高表現(xiàn)。另一方面，結(jié)果中的模型表現(xiàn)估計(jì)可能較為樂(lè)觀，因?yàn)閼?yīng)用的超參數(shù)優(yōu)化在整個(gè)數(shù)據(jù)集上，而非嵌套交叉驗(yàn)證(即在交叉驗(yàn)證中對(duì)每折都應(yīng)用超參數(shù)優(yōu)化)。
基于mark的數(shù)據(jù)選擇也可以針對(duì)模態(tài)修改。例如，與ET數(shù)據(jù)相比，標(biāo)記fNIRS數(shù)據(jù)可能有所不同，因?yàn)榕c眼球運(yùn)動(dòng)相比，血流動(dòng)力學(xué)響應(yīng)非常緩慢，因此mark之后的數(shù)據(jù)可能包含對(duì)某些模態(tài)有價(jià)值的信息。值得注意的是，數(shù)據(jù)集/模態(tài)的更改需要重新訓(xùn)練網(wǎng)絡(luò)，并重做超參數(shù)優(yōu)化。如果添加了模態(tài)，則需要重新訓(xùn)練與新模態(tài)對(duì)應(yīng)的Head和子網(wǎng)絡(luò)。如果刪除了一個(gè)模態(tài)，則只需要重新訓(xùn)練Head網(wǎng)絡(luò)。本研究沒(méi)有測(cè)試包含相同模態(tài)的其他主題是否還需要培訓(xùn)(理論上不需要)。最后，網(wǎng)絡(luò)的輸出可以編碼為7維向量，每個(gè)輸出給出相應(yīng)標(biāo)簽的概率，而非0到1之間的單個(gè)數(shù)字。
5.數(shù)據(jù)采集和檢索時(shí)出現(xiàn)了一些并發(fā)問(wèn)題。由于軟件會(huì)崩潰、設(shè)備連接性差，被試3、8、13和16的數(shù)據(jù)被部分排除，被試6、9、15和21偶爾展示可能與運(yùn)動(dòng)/深色頭發(fā)有關(guān)的偽跡。不過(guò)這些數(shù)據(jù)也被包含在數(shù)據(jù)集中，目的是讓系統(tǒng)暴露在一定程度的、也許更貼近真實(shí)生活的噪聲中。
8.3.標(biāo)簽
被試對(duì)相同的PMWL會(huì)給出不同評(píng)級(jí)，評(píng)級(jí)完全主觀，不穩(wěn)定。此外，一個(gè)人在經(jīng)歷高工作量時(shí)可能感到自信和平靜，而另一個(gè)人可能會(huì)在經(jīng)歷低工作量時(shí)感到有壓力。因此，評(píng)估PMWL或相關(guān)的人類(lèi)情感時(shí)，應(yīng)該預(yù)期看到高度的誤差和差異。由于本研究系統(tǒng)的最終目標(biāo)是在自然環(huán)境中實(shí)時(shí)分類(lèi)PMWL，因此我們一開(kāi)始就使用自然刺激。比較分類(lèi)結(jié)果，使用哪種標(biāo)簽方案高度影響結(jié)果，我們建議使用個(gè)體標(biāo)簽訓(xùn)練IFMMoN。
9.結(jié)論
本研究的目標(biāo)是使用多模態(tài)DNN來(lái)分類(lèi)PMWL。當(dāng)被試解決語(yǔ)言邏輯題時(shí)，使用LSL同時(shí)收集GSR、PPGF、fNIRS和ET數(shù)據(jù)。我們提出一種新穎的IFMMoN，最好的模型能夠在7等級(jí)上以0.985個(gè)LoW的準(zhǔn)確度分類(lèi)PMWL?；诖耍覀冋J(rèn)為IFMMoN可以使用上述四種模態(tài)分類(lèi)PMWL。MG標(biāo)準(zhǔn)在研究各階段(數(shù)據(jù)采集、數(shù)據(jù)選擇、模型設(shè)計(jì))都有指導(dǎo)意義。將來(lái)自各(模態(tài))應(yīng)用程序的數(shù)據(jù)流式傳輸?shù)揭粋€(gè)采集軟件中，使用輸入到一個(gè)Head網(wǎng)絡(luò)的MNet中間融合來(lái)滿(mǎn)足模塊化標(biāo)準(zhǔn)；添加多種模態(tài)時(shí)改進(jìn)模型表現(xiàn)來(lái)滿(mǎn)足通用性標(biāo)準(zhǔn)。小模型在分類(lèi)任務(wù)中取得了更好的結(jié)果。
10.未來(lái)工作
目前我們訓(xùn)練了兩種不同標(biāo)簽：1.個(gè)人報(bào)告難度等級(jí)，2.所有被試的平均報(bào)告難度等級(jí)。分類(lèi)不同目標(biāo)會(huì)很有趣，給定一個(gè)已知的選項(xiàng)，可以輸出一個(gè)包含被試下一步行動(dòng)概率的向量，這可以預(yù)測(cè)甚至攔截錯(cuò)誤。另一路線(xiàn)是訓(xùn)練替代任務(wù)的數(shù)據(jù)，這將深入了解管道和網(wǎng)絡(luò)的泛化能力，有利于系統(tǒng)的整體魯棒性。
該研究方向的長(zhǎng)期展望是創(chuàng)建一個(gè)可以實(shí)時(shí)分類(lèi)用戶(hù)PMWL，并最終可以同時(shí)為多個(gè)用戶(hù)進(jìn)行分類(lèi)的系統(tǒng)，然后可以引導(dǎo)用戶(hù)提高任務(wù)的整體效率，例如通過(guò)調(diào)整環(huán)境來(lái)觸發(fā)心流狀態(tài)。被試也可以通過(guò)自我調(diào)節(jié)來(lái)適應(yīng)環(huán)境，借助視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)刺激。本研究表明多模態(tài)可以準(zhǔn)確分類(lèi)PMWL，且采用的設(shè)計(jì)原則可以允許輕松添加其他模態(tài)和用戶(hù)。此外，網(wǎng)絡(luò)的尺寸也允許實(shí)時(shí)監(jiān)測(cè)。該系統(tǒng)甚至可以檢測(cè)到哪個(gè)人正在使用，這提高了系統(tǒng)的適應(yīng)性以及集群使用模式，類(lèi)似于無(wú)監(jiān)督問(wèn)題所做的。
10.1.數(shù)據(jù)擴(kuò)展
提高模型準(zhǔn)確性的一種有效方法是提供更多數(shù)據(jù)，以便模型更好地泛化。然而，收集、格式化、標(biāo)記數(shù)據(jù)既耗時(shí)又昂貴。數(shù)據(jù)擴(kuò)展允許生成新的/看不見(jiàn)的數(shù)據(jù)，解決數(shù)據(jù)短缺的問(wèn)題。數(shù)據(jù)擴(kuò)展有幾種不同的選擇，比如可以在輸入空間、特征空間或?qū)W習(xí)特征空間中完成。輸入空間的擴(kuò)展涉及多次轉(zhuǎn)換原始數(shù)據(jù)。在圖像分類(lèi)中通常采用旋轉(zhuǎn)或縮放的形式，或者向圖像添加噪聲。對(duì)于輸入和特征空間中的數(shù)據(jù)擴(kuò)展，通常需要領(lǐng)域?qū)I(yè)知識(shí)來(lái)確保新生成的數(shù)據(jù)匹配，生成的模型被證明能執(zhí)行此類(lèi)任務(wù)，且克服數(shù)據(jù)甚至模態(tài)缺失。上述示例中必須針對(duì)每種數(shù)據(jù)類(lèi)型和問(wèn)題專(zhuān)門(mén)設(shè)計(jì)新的特征提取和擴(kuò)展block。
Vries和Taylor建議在學(xué)習(xí)特征空間中執(zhí)行數(shù)據(jù)擴(kuò)展。該方法依賴(lài)于首先學(xué)習(xí)的數(shù)據(jù)的表示，然后對(duì)這些表示執(zhí)行數(shù)據(jù)擴(kuò)展，假設(shè)簡(jiǎn)單擴(kuò)展編碼數(shù)據(jù)而非輸入數(shù)據(jù)會(huì)生成更合理的合成數(shù)據(jù)。他們建議在seq2seq模型的基礎(chǔ)上使用序列自動(dòng)編碼器。Vries和Taylor提出的方法與其他數(shù)據(jù)擴(kuò)展方法相比有幾個(gè)好處。1.與先前工作類(lèi)似，特征擴(kuò)展在降維中完成的，可實(shí)現(xiàn)輕量級(jí)。2.不用受限于特定領(lǐng)域的任務(wù)和輸入數(shù)據(jù)，可制定更通用的參數(shù)來(lái)擴(kuò)展數(shù)據(jù)，這些參數(shù)也適用于超參數(shù)優(yōu)化。因此，該方法最符合MG標(biāo)準(zhǔn)，值得在未來(lái)工作中更進(jìn)。
如需原文及補(bǔ)充材料請(qǐng)?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對(duì)思影課程及服務(wù)感興趣也可加此微信號(hào)咨詢(xún)。另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布，如果我們的解讀對(duì)您的研究有幫助，請(qǐng)給個(gè)轉(zhuǎn)發(fā)支持以及右下角點(diǎn)擊一下在看，是對(duì)思影科技的支持，感謝！
微信掃碼或者長(zhǎng)按選擇識(shí)別關(guān)注思影非常感謝轉(zhuǎn)發(fā)支持與推薦
歡迎瀏覽思影的數(shù)據(jù)處理業(yè)務(wù)及課程介紹。（請(qǐng)直接點(diǎn)擊下文文字即可瀏覽思影科技所有的課程，歡迎添加微信號(hào)siyingyxf或18983979082進(jìn)行咨詢(xún)，所有課程均開(kāi)放報(bào)名，報(bào)名后我們會(huì)第一時(shí)間聯(lián)系，并保留已報(bào)名學(xué)員名額）：
腦電及紅外、眼動(dòng)：
上海：
第二十五屆近紅外腦功能數(shù)據(jù)處理班（上海，10.17-22）
北京：
第三十九屆腦電數(shù)據(jù)處理中級(jí)班（北京，10.11-16）
更新：第十三屆眼動(dòng)數(shù)據(jù)處理班（北京，10.26-31）
重慶：
第四屆腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理班（Matlab版本，重慶，9.24-29）
第二十七屆腦電數(shù)據(jù)處理入門(mén)班（重慶，10.28-11.2）
核磁：上海：
第二十一屆磁共振腦影像結(jié)構(gòu)班（上海，9.19-24)
第二十四屆腦影像機(jī)器學(xué)習(xí)班（上海，10.9-14）
第三十一屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（上海，10.28-11.2）
南京：
第六十七屆磁共振腦影像基礎(chǔ)班（南京，9.15-20）
第五屆彌散磁共振成像提高班（南京，9.22-27）
第三十三屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（南京，10.16-21）
第二十二屆磁共振腦影像結(jié)構(gòu)班（南京，10.24-29）
北京：
第六十八屆磁共振腦影像基礎(chǔ)班（北京，9.21-26）
第十屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（北京，10.20-25）
第十一屆磁共振ASL（動(dòng)脈自旋標(biāo)記）數(shù)據(jù)處理班（北京，11.3-6）
重慶：
第二十五屆腦影像機(jī)器學(xué)習(xí)班（重慶，9.17-22)
第九屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（重慶，10.13-18）
第七十屆磁共振腦影像基礎(chǔ)班（重慶，10.22-27）
第二十八屆彌散成像數(shù)據(jù)處理班（重慶，11.5-10）
數(shù)據(jù)處理業(yè)務(wù)介紹：
思影科技功能磁共振(fMRI)數(shù)據(jù)處理業(yè)務(wù)
思影科技彌散加權(quán)成像（DWI/dMRI）數(shù)據(jù)處理
思影科技腦結(jié)構(gòu)磁共振成像數(shù)據(jù)處理業(yè)務(wù)（T1)
思影科技定量磁敏感（QSM)數(shù)據(jù)處理業(yè)務(wù)
思影科技嚙齒類(lèi)動(dòng)物（大小鼠）神經(jīng)影像數(shù)據(jù)處理業(yè)務(wù)
思影科技靈長(zhǎng)類(lèi)動(dòng)物fMRI分析業(yè)務(wù)
思影數(shù)據(jù)處理業(yè)務(wù)三：ASL數(shù)據(jù)處理
思影科技腦影像機(jī)器學(xué)習(xí)數(shù)據(jù)處理業(yè)務(wù)介紹
思影科技微生物菌群分析業(yè)務(wù)
思影科技EEG/ERP數(shù)據(jù)處理業(yè)務(wù)
思影科技近紅外腦功能數(shù)據(jù)處理服務(wù)
思影科技腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理業(yè)務(wù)
思影數(shù)據(jù)處理服務(wù)六：腦磁圖（MEG）數(shù)據(jù)處理
思影科技眼動(dòng)數(shù)據(jù)處理服務(wù)
招聘及產(chǎn)品：
思影科技招聘數(shù)據(jù)處理工程師 （上海，北京，南京，重慶）
BIOSEMI腦電系統(tǒng)介紹
