Nature：交互式語言的語音規(guī)劃網(wǎng)絡(luò)

在談話中，人們可以做到輪流說話，快速回應(yīng)對方，同時避免被打斷。這種相互作用顯示出了顯著的協(xié)調(diào)，因為轉(zhuǎn)換之間的間隔通常是200毫秒。這些延遲比在簡單的單詞生成任務(wù)中觀察到的要短得多，這表明說話者經(jīng)常在聽搭檔說話時就已經(jīng)開始計劃他們的回答。盡管大腦區(qū)域的分布式網(wǎng)絡(luò)與語言規(guī)劃有關(guān)，但人們對使語言轉(zhuǎn)換迅速的特定準(zhǔn)備過程背后的神經(jīng)動力學(xué)知之甚少。在這里，我們使用顱內(nèi)腦電圖來精確測量參與者執(zhí)行交互任務(wù)時的神經(jīng)活動，并觀察到功能上和解剖學(xué)上截然不同的與計劃相關(guān)的皮質(zhì)動力學(xué)。我們將這些反應(yīng)定位于一個額顳回路，該回路集中在對語言至關(guān)重要的尾側(cè)下額葉皮層(布洛卡區(qū))和尾側(cè)額葉中回(通常與語言規(guī)劃無關(guān)的區(qū)域)。通過一系列的運動任務(wù)，我們發(fā)現(xiàn)這個計劃網(wǎng)絡(luò)在準(zhǔn)備演講時比非語言行為更活躍。最后，我們在自然對話中描繪出與規(guī)劃相關(guān)的回路，這與我們在交互任務(wù)中繪制的網(wǎng)絡(luò)幾乎相同，并且我們發(fā)現(xiàn)在不受限制的交流轉(zhuǎn)換過程中，這個回路在參與者發(fā)言之前是最活躍的。因此，我們已經(jīng)確定了一個語音規(guī)劃網(wǎng)絡(luò)，它是社會互動中自然語言生成的中心。本文發(fā)表在Nature雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻(xiàn)下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。

思影曾做過多期語言相關(guān)的文章解讀，溫故知新，請點擊以下鏈接結(jié)合閱讀（直接點擊，即可瀏覽，加微信號siyingyxf或18983979082獲取原文及補(bǔ)充材料）：

Science：工具使用和語言句法在基底神經(jīng)節(jié)共享計算機(jī)制和神經(jīng)表征

語言加工的神經(jīng)計算模型?

語言功能網(wǎng)絡(luò)在腦區(qū)水平的發(fā)育軌跡?

Nature子刊：語言、心智和腦?

語音韻律及其神經(jīng)基礎(chǔ)

Science：鳴唱學(xué)習(xí)和口語的演化

PNAS：嬰兒大腦中語言的正交神經(jīng)編碼?

語前嬰兒與成人相似的語音統(tǒng)計學(xué)習(xí)模式：來自神經(jīng)夾帶的證據(jù)

Nature子刊：腦卒中后失語癥語言恢復(fù)的神經(jīng)計算基礎(chǔ)

腦損傷患者基于語言任務(wù)的功能磁共振成像與靜息態(tài)功能磁共振成像對軀體運動網(wǎng)絡(luò)的識別?

BRAIN：失語癥詞匯產(chǎn)出的白質(zhì)結(jié)構(gòu)連通性：DSI研究

Science advances：新生兒的言語知覺

布洛卡區(qū)域的功能復(fù)雜性及功能分離

近紅外超掃描研究：人與人之間口頭交流的跨腦神經(jīng)機(jī)制

幻聽中語言網(wǎng)絡(luò)、聽覺網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)的交互障礙

Science：從個人口語到社交世界:人類口語的神經(jīng)處理

Current Biology：手語和口語共享部分概念表征

Science：句法和語義組合的神經(jīng)基礎(chǔ)

Science：語言在單字層面以上的神經(jīng)處理

音位：不僅僅是詞匯獲取

10Hz tACS對詞語語音決策中前額葉皮層的影響

Psychological Science:自上而下的詞匯加工影響著早期言語

PLOS Biology：語言控制的功能連接組

BRAIN:遺傳性言語障礙中的背側(cè)語言通路異常

PNAS:雙語習(xí)得對大腦結(jié)構(gòu)及功能可塑性的影響

ERP研究：在語言理解過程中追蹤聽眾的知識狀態(tài)

ERP研究：嬰兒已具有人類特有的編碼語音嵌套關(guān)系的能力

PPI研究：顳葉癲癇的左顳葉語言網(wǎng)絡(luò)功能連接

ERP研究：母語促進(jìn)視覺意識的理解

PNAS:兩個一起學(xué)更好：嬰兒看視頻同樣可以學(xué)語言的ERP證據(jù)

HBM:閱讀中語音產(chǎn)生期間的腦功能近紅外光譜研究

PNAS腦電研究：說話人的注視增加嬰兒和成人大腦之間的信息偶聯(lián)

Science: 位于人類聽覺皮層的語調(diào)編碼

語言網(wǎng)絡(luò)的短期迅速重組

1、方法

參與者都是病人志愿者，患者參與者正在接受植入ECoG電極的治療。實驗包括三個行為任務(wù)：

1.關(guān)鍵信息（CI）任務(wù)：CI問題改編自一個既定的刺激集。我們設(shè)計了120個類似結(jié)構(gòu)的英語問題，這些問題被分為三類(動物、身體部位和反義詞)。每個類別都以相同CI的問題對為特征，在這些問題中，CI出現(xiàn)的可能早或晚(例如，圖1c-f)。補(bǔ)充圖1提供了CI問題的完整列表。實驗人員將CI問題念給被試聽，并要求被試盡快回答。問題的順序是隨機(jī)的，每個實驗的措辭也略有不同。所有的CI問題都可以用一個單詞來回答，參與者偶爾會用一個短語來回答。

2.命令響應(yīng)（CR）任務(wù)：四項CR任務(wù)與CI任務(wù)試次在所有情況下都是隨機(jī)順序進(jìn)行的，除了一項，它是作為一個單獨的塊完成的。補(bǔ)充圖1給出了所有CR刺激的完整列表。在CR1中(手部運動)，參與者進(jìn)行了與語言產(chǎn)生無關(guān)的肌肉運動。在CR2(口面部運動)中，參與者被要求進(jìn)行非言語口面部活動，特別是微笑、張開嘴、伸出舌頭和噘嘴。在CR3(語音重復(fù))中，參與者重復(fù)單音節(jié)實詞、單音節(jié)虛詞和/或雙音節(jié)虛詞的組合。在CR4中(復(fù)數(shù)化)，參與者被要求產(chǎn)生普通單音節(jié)名詞的不規(guī)則復(fù)數(shù)形式和/或規(guī)則復(fù)數(shù)形式。

3.無約束談話：完成CI和CR任務(wù)后，實驗者讓參與者參與不受約束的談話。在這部分實驗中，參與者除了自然地說話外，沒有得到任何具體的指示。

補(bǔ)充圖1 CI任務(wù)期間的行為：

a，在CI任務(wù)的感知、規(guī)劃和產(chǎn)生窗口中假定發(fā)生的子過程的描述。

b，所有參與者在CI試次早和晚的反應(yīng)時間(RT)直方圖。

c，所有參與者早和晚CI試次的中位RT值。

d，e，在早和晚試次(d)和不同的CI問題類型(e)中，描述所有顯示計劃相關(guān)反應(yīng)的電極的平均峰谷反應(yīng)振幅分布的直方圖；指出了每個分布的中位數(shù)。

f，顯示CI任務(wù)示例問題早期(上)和后期(下)變量GLM回歸器結(jié)構(gòu)的示意圖。備注：這里的早和晚對應(yīng)上面說的CI出現(xiàn)的早或晚。

行為分析

用電生理采集系統(tǒng)和/或攝像機(jī)采集的音頻由訓(xùn)練有素的語音學(xué)家(G.A.C.)進(jìn)行注釋，以確定所有實驗者的問題/命令、CI和參與者對CI和CR任務(wù)的反應(yīng)的起始和結(jié)束。如果參與者在沒有做出回答，要求提供更多信息(例如，要求重復(fù)問題)，或出現(xiàn)停頓或中斷(例如，說“嗯”或結(jié)巴)，則被排除在進(jìn)一步分析之外。在CR任務(wù)的試次中，參與者不能準(zhǔn)確地完成命令也會被排除在分析之外。

無約束對話的音頻也被注釋，以提供時間戳，時間戳為所有實驗者和參與者的開始和結(jié)束。輪轉(zhuǎn)被認(rèn)為是連續(xù)的講話片段，不被另一個發(fā)言者打斷。

隨后對電生理數(shù)據(jù)進(jìn)行預(yù)處理。使用廣義線性模型的活性位點檢測。

為了評估顯著性，我們使用了一種重采樣方法，在100次重復(fù)的替換試次中，隨機(jī)選擇80%的試次子集迭代執(zhí)行GLM。為了證實單個電極的反應(yīng)與CI問題的具體時間結(jié)構(gòu)吻合良好，我們使用了抖動分析。抖動分析如補(bǔ)充圖2所示。

補(bǔ)充圖2 GLM時間抖動分析：

a，為436名被試的高gamma活動的GLM擬合R值；每條線代表來自單個電極的數(shù)據(jù)。

b，用兩個高斯覆蓋擬合的D值集合分布為例子(黑色)。對應(yīng)于良好擬合(藍(lán)色)和較差擬合電極(紅色)的高斯分布，以及較差擬合電極的D分布的第95個百分位數(shù)(虛線)。

c，總結(jié)了每個參與者在抖動分析中被拒絕的電極數(shù)量。

d，報告了被抖動分析拒絕的電極解剖位置和在CI任務(wù)中顯示顯著活動的電極。

e，散點圖，描述一個區(qū)域內(nèi)被拒絕電極的比例作為一個區(qū)域內(nèi)響應(yīng)電極比例的函數(shù)。

由于我們觀察到的感知電極比規(guī)劃電極少得多，因此我們進(jìn)行了兩項額外的GLM分析，以評估在早期CI問題中，感知和規(guī)劃期的重疊結(jié)構(gòu)是否使GLM在檢測規(guī)劃相關(guān)活動時有所偏差，而犧牲了感知相關(guān)活動。為此，我們首先執(zhí)行上面描述的GLM分析，但忽略了規(guī)劃回歸器。對于這個簡化的模型，我們保持D閾值和單個電極D值不變，以保持與完整模型一致的排除標(biāo)準(zhǔn)。然后，我們比較了簡化模型和完整模型檢測到的感知相關(guān)電極的數(shù)量(擴(kuò)展數(shù)據(jù)圖3c)。然后，我們用簡化的GLM進(jìn)行了平行分析，忽略了知覺回歸因子。在這些簡化模型中，我們評估了：

(1) 當(dāng)忽略規(guī)劃回歸因子時獲得顯著感知響應(yīng)的規(guī)劃電極數(shù)量(在完整模型中檢測到)(擴(kuò)展數(shù)據(jù)圖3d)；

(2) 當(dāng)知覺回歸因子被忽略時，獲得顯著計劃反應(yīng)的知覺電極數(shù)量(擴(kuò)展數(shù)據(jù)圖3e)。

擴(kuò)展圖3 CI任務(wù)中的神經(jīng)活動分析：

a，連續(xù)介質(zhì)模型模擬的所有任務(wù)響應(yīng)電極在三維GLM權(quán)值空間的分布散點圖。

b，c，連續(xù)模型模擬電極在CI任務(wù)的一個窗口(b)(即未混合)或多個窗口(c)顯示響應(yīng)的分布；

d，顯示一個以上顯著正權(quán)值的電極的比例(即混合電極)；

e，連續(xù)介質(zhì)模型模擬的100000次迭代。

f，報告了使用完整模型或缺乏規(guī)劃回歸器的GLM顯示知覺相關(guān)反應(yīng)的電極數(shù)量。

g，h，描述感知(g)和規(guī)劃(h)的散點圖。

GLM權(quán)值空間的CI聚類分析

為了評估功能相關(guān)的電極類別(即感知、規(guī)劃和產(chǎn)生)是否在GLM權(quán)重空間中形成不同的簇，使用聚類對所有被試所有反應(yīng)電極進(jìn)行聚類。假設(shè)有三個聚類，在三維GLM權(quán)值空間(即感知權(quán)值、規(guī)劃權(quán)值和產(chǎn)生權(quán)值)中進(jìn)行聚類。

通過模擬，我們評估了GLM權(quán)重空間中觀察到的功能電極類的聚類是否可能是由于對不斷變化的神經(jīng)活動模式進(jìn)行細(xì)分而導(dǎo)致的。為此，我們生成了253個模擬電極(即在我們的數(shù)據(jù)集中觀察到的響應(yīng)電極的數(shù)量)，并隨機(jī)分配了感知權(quán)重、規(guī)劃權(quán)重和產(chǎn)生權(quán)重。每個回歸變量的模擬權(quán)重由獨立的單峰正態(tài)分布生成，其平均值和標(biāo)準(zhǔn)差與響應(yīng)電極上的觀測值相匹配。這種方法允許我們將模擬反應(yīng)電極的回歸權(quán)重范圍與實際數(shù)據(jù)中觀察到的相匹配，同時假設(shè)回歸權(quán)重反映了潛在的非分類的、單模態(tài)的連續(xù)神經(jīng)活動，而不是我們假設(shè)的離散響應(yīng)剖面。接下來，模擬反應(yīng)電極被劃分為未混合和混合電極，與實際數(shù)據(jù)的分類方式相同，我們量化了(1)混合電極的比例和(2)“錯誤聚集”的未混合電極的比例。
評估規(guī)劃響應(yīng)的語音選擇性

為了量化規(guī)劃響應(yīng)的特異性，對CR任務(wù)數(shù)據(jù)進(jìn)行了另一種GLM分析。這個分析與在CI任務(wù)中執(zhí)行的GLM是相同的，除了4個計劃回歸量(CR1-CR4)，3個產(chǎn)生回歸量(CR1(手部運動)，CR2(非言語口面部運動)，以及CR3和CR4(言語))被使用。由于每個位點的時間精度通過CI任務(wù)量化，因此不進(jìn)行抖動分析。此外，由于這個任務(wù)中的CI持續(xù)時間更長(例如，“張開你的嘴”相對于一個單詞)，CI的開始被定義為計劃回歸器的開始。

我們通過計算計劃電極在(1)尾側(cè)IFG(即三角部和蓋骨部)中的比例來評估單個區(qū)域內(nèi)計劃電極的語音選擇性。(2)尾側(cè)MFG和(3)中央前回在四項CR任務(wù)中均表現(xiàn)出顯著的正計劃權(quán)重。為了評估這些比例的重要性，我們進(jìn)行了一項重采樣分析，將每個CR任務(wù)的所有計劃電極上觀察到的計劃權(quán)重打亂并隨機(jī)分配到這三個區(qū)域中的每一個電極上。然后計算出在每個區(qū)域內(nèi)被打亂的顯著正面反應(yīng)的比例，這個過程被重復(fù)了10萬次，以確定預(yù)期的隨機(jī)比例的分布。

主成分（PC）分析

基于任務(wù)和談話的PCs的計算

為了降低神經(jīng)活動的維數(shù)，使用奇異值分解對所有CI任務(wù)響應(yīng)電極的非平均高gamma信號進(jìn)行PCA(即，每個電極都是一個變量，以時間點作為觀察值)。具體來說，我們將每個參與者的數(shù)據(jù)(在實驗過程中依次發(fā)生的數(shù)據(jù))的任務(wù)和對話時段分開，并對每個時段的數(shù)據(jù)獨立地進(jìn)行PCA。任務(wù)期定義為第一次CI或CR試次開始前5秒開始，最后一次CI或CR試次結(jié)束后5秒結(jié)束的段。對話分段定義為第一個實驗者開始對話前5秒開始，最后一個被試對話后5秒結(jié)束的對話周期。

PC系數(shù)空間中任務(wù)響應(yīng)電極的聚類

為了以無監(jiān)督的方式評估網(wǎng)絡(luò)組織，我們用k-means聚類確定了每個參與者至少擁有兩個不同類別的未混合電極的任務(wù)響應(yīng)電極簇。為了使這一分析在參與者之間標(biāo)準(zhǔn)化，我們在三維PC系數(shù)空間中使用前三各PCs的標(biāo)量系數(shù)進(jìn)行聚類，同時假設(shè)有三個聚類，因為目測顯示在所有情況下至少有三個主要電極聚類(擴(kuò)展數(shù)據(jù)圖7a-f)。

擴(kuò)展圖7對個體參與者的PCA結(jié)果。

a-f，對于6個具有足夠數(shù)量的多個GLM類電極的被試：在任務(wù)和對話期間PC系數(shù)空間中描述電極分布的散點圖。

g，h，2名受試者主要擁有規(guī)劃電極。

電極簇的功能分類

為了確定PC系數(shù)空間中的電極簇是否與使用CI任務(wù)和GLM定義的感知、規(guī)劃和產(chǎn)生電極類相對應(yīng)，我們檢查了GLM定義的每個簇內(nèi)電極的分類。為此，我們統(tǒng)計了每一簇中未混合感知、規(guī)劃和生產(chǎn)電極(即具有單一顯著正GLM權(quán)重的電極)的數(shù)量，并根據(jù)電極種類的數(shù)量對其進(jìn)行了功能分類。
PCs的功能分類

為了檢查與談話過程中的語言感知、計劃和產(chǎn)生相關(guān)的神經(jīng)活動，我們評估了時變的PC得分(即根據(jù)PC系數(shù)對時間進(jìn)行相加的電極的線性組合)，作為感知內(nèi)電極聚集活動的代理——與計劃和產(chǎn)生相關(guān)的集群。為了首先確定哪些PC對應(yīng)于每個電極類，我們檢查了PC系數(shù)的分布由電極顯示在每個參與者的每個集群類別。具體來說，我們確定了前三個PC中哪一個在感知集群、規(guī)劃集群和產(chǎn)生集群中電極的平均系數(shù)值最高，并將這些PC分別定義為感知PC、規(guī)劃PC和產(chǎn)生PC。

如果您對腦電等數(shù)據(jù)處理感興趣，可參加思影的腦影像基礎(chǔ)班及其他模態(tài)班，具體可瀏覽以下鏈接（可添加微信號siyingyxf或18983979082咨詢，另思影提供免費文獻(xiàn)下載服務(wù)，如需要也可添加此微信號入群)：

北京：

第二十五屆腦電數(shù)據(jù)處理入門班(北京，5.16-20）?

重慶：

第二十二屆近紅外腦功能數(shù)據(jù)處理班（重慶，5.24-29）?

更新：第二十四屆腦電數(shù)據(jù)處理入門班（重慶，6.9-13）

上海：

第三屆腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理班（Matlab版，上海，5.15-20）?

第三十六屆腦電數(shù)據(jù)處理中級班(上海，5.28-6.1）?

數(shù)據(jù)處理業(yè)務(wù)介紹：

思影科技EEG/ERP數(shù)據(jù)處理業(yè)務(wù)?

思影科技近紅外腦功能數(shù)據(jù)處理服務(wù)?

思影科技腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理業(yè)務(wù)
思影數(shù)據(jù)處理服務(wù)六：腦磁圖（MEG）數(shù)據(jù)處理

思影科技眼動數(shù)據(jù)處理服務(wù)?

招聘及產(chǎn)品：
思影科技招聘數(shù)據(jù)處理工程師?（上海，北京，南京）
BIOSEMI腦電系統(tǒng)介紹
目鏡式功能磁共振刺激系統(tǒng)介紹
2、結(jié)果

對話轉(zhuǎn)換可以分為三個主要的認(rèn)知過程：意識到對方說話的時機(jī)，計劃自己的時機(jī)，以及包含該時機(jī)的說話內(nèi)容(圖1a，b)。每個步驟都由幾個子成分組成(擴(kuò)展圖1a)，語言規(guī)劃是一個特別多面的過程，包括各種功能，從抽象的概念和語義操作到低層次的發(fā)音編程和運動啟動。因此，許多皮質(zhì)區(qū)域都與計劃有關(guān)，包括額下回、前運動皮層、顳上回、輔助運動區(qū)和頂葉下皮層。在本研究中，我們通過測量參與者在結(jié)構(gòu)化的互動任務(wù)和非約束性對話時的皮層活動，描繪了與快速轉(zhuǎn)換相關(guān)的規(guī)劃過程的神經(jīng)基質(zhì)。
規(guī)劃活動的特征描述

言語規(guī)劃是一種內(nèi)部過程，幾乎或根本沒有行為上的關(guān)聯(lián)，通常與自然對話中的言語感知和產(chǎn)生重疊。因此，我們首先試圖從實驗上分離出與對話轉(zhuǎn)換過程中規(guī)劃相關(guān)的神經(jīng)活動。為此，我們采用了一個已建立的問答范式，在這個范式中，一個單詞(即“關(guān)鍵信息”或CI)通過提供正確回答所必需的信息來初始化言語規(guī)劃(圖1c-f)。實驗人員會提出一組39至94個的CI問題給8名參與者(神經(jīng)外科患者志愿者)，CI要么出現(xiàn)在問題的中間(“早”)，要么出現(xiàn)在問題的末尾(“晚”)。如果語言規(guī)劃是由CI啟動的，晚應(yīng)該比早試次顯示出更長的反應(yīng)潛伏期，因為它們提供相對較少的規(guī)劃時間。正如預(yù)期的那樣，我們觀察到晚期試次的反應(yīng)時間明顯長于早期試次(擴(kuò)展數(shù)據(jù)圖1b，c)，表明CI范式暫時隔離了與快速轉(zhuǎn)換相關(guān)的前過程。

接下來，我們檢測了參與者回答CI問題時他們的皮質(zhì)反應(yīng)。之前使用這項任務(wù)的工作已經(jīng)使用腦電圖報告了頭皮上廣泛的與CI相關(guān)的活動，我們試圖利用顱內(nèi)皮質(zhì)腦電圖(ECoG)的時間(<10ms)和空間(<5mm)精度來測量不同皮質(zhì)部位的規(guī)劃活動。我們在8名參與者的左側(cè)語言支配半球植入了總共874個ECoG電極，發(fā)現(xiàn)790個電極適合于進(jìn)一步分析。我們通過檢測局部場電位的高gamma頻帶(大約70-150Hz)來檢測神經(jīng)活動，并觀察到許多電極的激活被暫時鎖定在CI問題的特定階段(圖1c-f)。具體來說，感知相關(guān)的活動在實驗者提出問題的整個過程中都保持不變(圖1c，d)，而產(chǎn)生相關(guān)的活動在很大程度上只出現(xiàn)于參與者的口頭回答時(圖1e，f)。相比之下，計劃相關(guān)活動在CI陳述后立即被觀察到，并在參與者反應(yīng)前回到基線(圖1c-f)；無論CI位置或問題內(nèi)容(擴(kuò)展數(shù)據(jù)圖1d，e)，該結(jié)果在所有試次中都是一致的(圖1g-j)。

圖1互動語言中的皮層反應(yīng)。

a，在對話中實驗者和參與者436之間的互動例子(上)，用圖表描述了三個行為階段(下)。

b，與參與者436(上)的所有說話轉(zhuǎn)換交互示意圖以及相關(guān)的說話間隙分布(下)。黃色箭頭表示來自a的交流例子。

c-f，442(c，d)和436(e，f)參與者的高gamma活動早CI(c，e)和晚CI(d，f)試次。

g-j，所有與問題(上)或CI(下)對齊的試次c-f中4個示例電極的活性：e55(g)，e125(h)，e26(i)和e57(j)。

K-n，分別為g-j中樣本電極的感知、規(guī)劃和產(chǎn)生GLM權(quán)重。o，所有任務(wù)響應(yīng)電極在GLM權(quán)重空間的分布。

p，q，在CI任務(wù)的一個窗口(p)或多個窗口(q)顯示反應(yīng)的電極分布。

皮層語言回路是高度多模態(tài)的，之前的研究表明，對交互行為的處理可能是廣泛分布的，而不是組織成離散的模塊。因此，我們的電極所顯示的動態(tài)可能并沒有與特定的口語互動階段相關(guān)聯(lián)，而是在群體水平上形成了一個連續(xù)統(tǒng)一體。為了區(qū)分這些選項，我們設(shè)計了一個一般的線性模型(GLM)來量化CI任務(wù)感知、計劃和產(chǎn)生窗口期間的活動水平(圖1c-f中的彩色條形圖，擴(kuò)展圖1f，2)。我們集中分析了高gamma振幅的顯著增加—與局部神經(jīng)元活動相關(guān)，并檢測到共有253個電極(32.0%)在至少一個確定的任務(wù)時段內(nèi)顯著提高了(圖1k-n)。然后，我們根據(jù)感知、計劃和產(chǎn)生的GLM權(quán)重檢查了所有任務(wù)響應(yīng)電極在三維空間中的組織(圖1o)，發(fā)現(xiàn)每一類顯著的積極反應(yīng)總是局限于單獨的集群(k-中心聚類，圖1p)。相比之下，假設(shè)GLM權(quán)重的單峰分布的“連續(xù)模型”(擴(kuò)展數(shù)據(jù)圖3a-c)總是顯示包含多個響應(yīng)類的簇(擴(kuò)展數(shù)據(jù)圖3d)。此外，我們發(fā)現(xiàn)，在我們記錄的數(shù)據(jù)中，只有61個電極(24.1%)在一個以上的任務(wù)窗口內(nèi)顯示積極反應(yīng)(圖1q)，顯著低于連續(xù)模型下的預(yù)期。綜上所述，這些結(jié)果表明，我們的ECoG電極記錄的神經(jīng)反應(yīng)被組織成離散的類，這些類與言語感知、計劃和說話時的產(chǎn)生有關(guān)。

接下來，我們檢查了與CI任務(wù)的每個窗口相關(guān)的神經(jīng)反應(yīng)的相對頻率(即顯著正的GLM權(quán)重)。我們發(fā)現(xiàn)，與計劃和產(chǎn)生相關(guān)的反應(yīng)最常見，20.3%和15.3%的電極在計劃和生產(chǎn)期間的活動顯著增加。這些電極通常表現(xiàn)出顯著的負(fù)感知相關(guān)的GLM權(quán)重(圖1k-n，擴(kuò)展圖4a)，這可能反映了CI任務(wù)感知窗口活動的減少(擴(kuò)展圖4b)。同時，只有4.6%的電極在感知窗口有反應(yīng)，這可能是由于電極覆蓋了與聽覺相關(guān)的顳葉皮層(擴(kuò)展圖5a-c)。為了確保感知和計劃的時間重疊窗口在早期CI試次(圖1c，e)并沒有阻礙我們的分析檢測感知響應(yīng)，我們重新分析了我們的數(shù)據(jù)集，發(fā)現(xiàn)感知相關(guān)的電極沒有凈增加(圖3f-h擴(kuò)展數(shù)據(jù))。這些結(jié)果表明，我們的統(tǒng)計方法和行為范式有效地描繪了與這些相互作用的每個階段相關(guān)的皮質(zhì)動力學(xué)。

擴(kuò)展圖4與任務(wù)相關(guān)的活動變化的附加分析。

a，表報告了感知、計劃和產(chǎn)生相關(guān)電極的數(shù)量，在每個GLM回歸變量中顯示顯著的正和負(fù)權(quán)重。

b，直方圖描述了所有未混合感知、計劃和生產(chǎn)電極在CI問題前500毫秒的平均高gamma振幅。

c，d，在所有參與者的CI任務(wù)的感知(c)、生產(chǎn)(d)和計劃(e)窗口中，典型皮層表面顯示具有顯著正(有色)或負(fù)(黑色)GLM權(quán)重的電極。

補(bǔ)充圖5反應(yīng)解剖分析。

a，所有參與者的皮質(zhì)重建顯示所有電極的位置；每個電極的大小描述了其在皮質(zhì)表面記錄區(qū)域的實際大小。GLM的分類由電極的顏色來表示。

b，標(biāo)準(zhǔn)的皮質(zhì)表面以標(biāo)準(zhǔn)大小的白色圓圈顯示所有參與者的電極位置。

c，匯集所有參與者的電極后，在典型皮層表面的每個區(qū)域取樣的電極數(shù)量。

d，在CI任務(wù)中顯示與產(chǎn)生相關(guān)的顯著反應(yīng)的電極比例。

e，分別在腫瘤患者(上)和癲癇患者(下)的典型皮層表面顯示與語言感知、產(chǎn)生和規(guī)劃相關(guān)的顯著反應(yīng)的電極。

規(guī)劃響應(yīng)的空間結(jié)構(gòu)

盡管ECoG已被用于繪制與語音感知和產(chǎn)生相關(guān)的皮層區(qū)域，但類似的高精度語音規(guī)劃空間表征仍未實現(xiàn)。此外，與規(guī)劃相關(guān)的位置可能沒有空間隔離，并與感知相關(guān)和/或生產(chǎn)相關(guān)的腦區(qū)共享位置。為了解決這個問題，我們首先檢查了個體參與者的活動記錄，并觀察到對CI任務(wù)相同窗口(即相同的GLM類)作出反應(yīng)的電極在空間上是聚集的(圖2a，b，擴(kuò)展圖5a)。在參與者中，在CI任務(wù)中，與語音感知、計劃和產(chǎn)生相關(guān)的解剖學(xué)上不同的皮層網(wǎng)絡(luò)出現(xiàn)在一致的皮層位置。具體來說，在感知(圖2c)和產(chǎn)生(圖2d，擴(kuò)展圖5d)過程中反應(yīng)靈敏的電極分別主要局限于表征良好的感覺結(jié)構(gòu)和運動結(jié)構(gòu)。同時，95%的計劃相關(guān)電極被分組在一個空間隔離的額顳區(qū)(圖2e)，計劃電極集中在額葉尾下回(cIFG)和額葉尾中回(cMFG)，位于腹側(cè)言語運動皮層(vSMC)和顳前上回(aSTG)的計劃電極數(shù)量較少(圖2)。我們發(fā)現(xiàn)，計劃相關(guān)和產(chǎn)生相關(guān)的vSMC、IFG和cMFG中的許多電極也表現(xiàn)出顯著的負(fù)感知相關(guān)的GLM權(quán)重(擴(kuò)展數(shù)據(jù)圖4c-e)，這表明這些結(jié)構(gòu)在語音感知中相對不活躍。然而，IFG內(nèi)的一小部分電極顯示了感知相關(guān)的反應(yīng)(圖2c)，這與之前確定的IFG在語言理解中的作用一致?？傊?，我們已經(jīng)描繪了一個空間連貫的網(wǎng)絡(luò)，其活動被選擇性地與規(guī)劃性言語聯(lián)系在一起。

圖2言語規(guī)劃反應(yīng)的空間組織。

a，在CI任務(wù)的不同階段，左外側(cè)皮層表面和顳上平面電極的試次中平均高gamma活動中位數(shù)。

b，對a中描述的響應(yīng)進(jìn)行GLM分類。

b-e，所有參與者的典型皮層表面顯示與語音感知(c)、生產(chǎn)(d)和規(guī)劃(e)相關(guān)的反應(yīng)的電極。

f、顯示規(guī)劃響應(yīng)的電極比例。

計劃應(yīng)答的語音選擇性

要啟動CI任務(wù)中的言語規(guī)劃，參與者首先要感知CI；因此，這個范式并沒有將理解CI的認(rèn)知過程從計劃開始時的認(rèn)知過程中分離出來。為了解決這一問題，我們采用了命令響應(yīng)(CR)任務(wù)，在這個任務(wù)中，參與者被要求執(zhí)行一系列不同語言相關(guān)性的動作，包括：手部動作(即按按鈕；“CR1”，圖3a)、非言語口面部行為(“CR2”，圖3b)、言語重復(fù)(“CR3”，圖3c)和語言操作(即名詞復(fù)數(shù)；“CR4”，圖3d)。至關(guān)重要的是，CR任務(wù)的結(jié)構(gòu)反映了CI任務(wù)：一個關(guān)鍵的詞或短語被提前或晚地呈現(xiàn)，并且需要對其進(jìn)行理解才能產(chǎn)生運動反應(yīng)。

圖3計劃反應(yīng)的語言選擇性。

a-d，每項CR任務(wù)的單次試次中的高gamma活動：非言語手(CR1；a)和口面(CR2；b)動作、言語重復(fù)(CR3；c)和復(fù)數(shù)化(CR4；d)。

e-h，每個CR任務(wù)的規(guī)劃權(quán)重與CI任務(wù)的規(guī)劃權(quán)重相對應(yīng)。

i，CR和CI任務(wù)中所有計劃相關(guān)電極的計劃權(quán)重分布。星號表示任務(wù)之間的顯著差異。

j，在CR3、CR4和CI任務(wù)的后期試次中，中位反應(yīng)時間(RT)沒有顯著差異。k-n，典型皮層表面，指示每項CR任務(wù)的計劃反應(yīng)電極。對特定任務(wù)沒有產(chǎn)生顯著反應(yīng)的電極用白色的小圓圈表示。

o-r，計劃電極在每個CR任務(wù)中表現(xiàn)出顯著升高的反應(yīng)的比例。

s，位于每個結(jié)構(gòu)內(nèi)的電極對每個CR任務(wù)顯示計劃反應(yīng)的百分比。

利用這種方法，我們進(jìn)一步對6名在CI任務(wù)中表現(xiàn)出顯著計劃相關(guān)反應(yīng)的參與者的124個電極進(jìn)行了表征。雖然單個規(guī)劃電極在每個CR任務(wù)中都能產(chǎn)生最大的反應(yīng)(圖3a-d)，但只有一部分電極在手部預(yù)備活動(18.6%)和非言語口面部運動(43.6%)上表現(xiàn)出顯著的增加，而大多數(shù)電極對言語重復(fù)(59.7%)和復(fù)數(shù)化(80.7%)有反應(yīng)(圖3e-h)。在群體水平上，除了復(fù)數(shù)化實驗外，CI任務(wù)的計劃活動比所有CR條件下的計劃活動都要大。而在重復(fù)任務(wù)、復(fù)數(shù)化任務(wù)和CI任務(wù)中，反應(yīng)時間無顯著差異，表明觀察到的活動差異不太可能是由任務(wù)難度引起的。綜上所述，這些結(jié)果表明，在已識別的計劃網(wǎng)絡(luò)中的活動反映了語言準(zhǔn)備，而不是與理解或任務(wù)參與相關(guān)的過程。

雖然計劃電極通常在語音過程中比非語音CR任務(wù)更活躍(圖3e-i)，我們假設(shè)單個區(qū)域可能顯示不同程度的語音選擇性。因此，我們研究了規(guī)劃活動水平與皮層位置的關(guān)系，并觀察到隨著語言相關(guān)性的增加，規(guī)劃網(wǎng)絡(luò)中廣泛存在更高水平的準(zhǔn)備活動(圖3k-n)。然而，我們發(fā)現(xiàn)，與位于中央前回(PreCG)和額中回尾部(cMFG)的電極相比，cIFG內(nèi)的規(guī)劃電極具有更強(qiáng)的語言選擇性(圖3q-r)，因為大多數(shù)PreCG和cMFG電極在兩種語言任務(wù)中都表現(xiàn)出顯著的計劃反應(yīng)，而cIFG電極通常僅對復(fù)數(shù)化任務(wù)有反應(yīng)(圖3q-s)。因此，這些結(jié)果表明我們的規(guī)劃網(wǎng)絡(luò)被進(jìn)一步劃分為與不同的語音規(guī)劃過程相關(guān)的子網(wǎng)絡(luò)。
在自然對話中規(guī)劃

接下來，我們的目標(biāo)是將基于任務(wù)的交互過程中觀察到的神經(jīng)活動與自然語言使用過程中產(chǎn)生的神經(jīng)活動進(jìn)行比較。為此，我們記錄了參與者在完成結(jié)構(gòu)化任務(wù)后與實驗者進(jìn)行無約束對話2.8分鐘至16.3分鐘(擴(kuò)展數(shù)據(jù)圖6a)時的神經(jīng)活動。在這種背景下，我們的隊列顯示了大致正常的輪流行為，其時間特性與在一般人群中觀察到的相當(dāng)(擴(kuò)展數(shù)據(jù)圖6b)。因此，這些快速的相互作用提供了一個機(jī)會，以研究自然的轉(zhuǎn)換背后的神經(jīng)機(jī)制。

補(bǔ)充圖6附加的對話有關(guān)分析。

a，表報告了每個參與者額外的回合制對話行為。

b，每個被試在無約束對話中間隔時間的直方圖。

c，記錄任務(wù)周期(左)和對話周期(右)高gamma信號的PCA分析圖。

d，觀察到在任務(wù)和對話之間集群中不穩(wěn)定(即切換集群)的電極數(shù)量。

e，觀察到的電極在感知、計劃和產(chǎn)生集群中的百分比，分別顯示顯著的感知、計劃和產(chǎn)生響應(yīng)(根據(jù)GLM)，用直方圖描述每種集群類型的預(yù)期概率百分比。

f，在任務(wù)(左)和對話(右)中，皮層表面顯示了參與者(n=6)感知、計劃和產(chǎn)生集群中所有電極的位置。

g，表報告了在無約束對話期間，每個參與者的PC活動的匯總統(tǒng)計數(shù)據(jù)。

在對話過程中，我們觀察到個體在CI任務(wù)中顯示與計劃相關(guān)的反應(yīng)的電極通常在參與者開始發(fā)言之前被激活(圖4a)，這表明這些區(qū)域在這兩種行為中都參與了言語準(zhǔn)備。然而，與我們的互動任務(wù)不同，自然行為中的言語規(guī)劃是高度靈活的，不會暫時鎖定在一個實驗定義的刺激(即CI)；這種行為變動性使得對神經(jīng)活動的監(jiān)督分析在很大程度上不可行。為了克服這個問題，我們對連續(xù)電極信號的記錄進(jìn)行了主成分分析。該方法允許我們識別在任務(wù)執(zhí)行和對話過程中獨立顯示相關(guān)信號的電極組，并評估網(wǎng)絡(luò)結(jié)構(gòu)在兩種情境之間是否保持穩(wěn)定。實驗中，我們發(fā)現(xiàn)電極信號在三維主成分(PC)系數(shù)空間內(nèi)形成了三個主簇，表明基于任務(wù)的交互過程中的神經(jīng)活動被組織成不同的類別。然后，我們觀察這種配置是否在非結(jié)構(gòu)化的輪次中保持不變，并發(fā)現(xiàn)電極信號在對話過程中形成了幾乎相同的簇(圖4c，擴(kuò)展數(shù)據(jù)圖7a-f)。具體來說，200個電極中只有5個在參與者的兩種行為之間有不同的聚集，這比預(yù)期的偶然性要少得多。因此，在基于任務(wù)交互的語言生成過程中，活躍的皮層網(wǎng)絡(luò)在自然回合轉(zhuǎn)換過程中也有類似的組織。

圖4在自然對話中計劃的活躍度。

a，參與者472(左)在CI任務(wù)(中)和無約束對話(右)期間的示例規(guī)劃電極的高gamma活動。

b，c，對于442名被試的所有CI任務(wù)響應(yīng)部位，在CI任務(wù)(b)和對話(c)期間PC系數(shù)空間的電極活動分布。

d，每組電極的PC系數(shù)由c表示。

e，f，在CI任務(wù)(左)和對話(右)中，感知和計劃PCs的平均活動實驗者講話的偏移量一致(e)，以及與參與者發(fā)言開始時間相匹配的計劃和生產(chǎn)PCs(f)。

g，被試436產(chǎn)生和計劃PC活動。

h，i，被試436對話期間產(chǎn)生和(h)和計劃(i)PC活動。

j-l，實驗者轉(zhuǎn)換(j)、轉(zhuǎn)換間隙(k)和參與者轉(zhuǎn)換(l)感知、計劃和生產(chǎn)PC活動中位數(shù)的經(jīng)驗累積分布函數(shù)。

隨后，我們評估了在自然對話中觀察到的PCA活動簇是否與與語音感知、計劃和產(chǎn)生相關(guān)的神經(jīng)反應(yīng)相對應(yīng)。盡管這些功能分類最初是使用GLM進(jìn)行的，GLM在CI任務(wù)的預(yù)定義時間窗口內(nèi)檢測到較高的神經(jīng)活動(圖1)，但我們發(fā)現(xiàn)PC系數(shù)空間中的集群絕大多數(shù)由顯示單一類型任務(wù)相關(guān)反應(yīng)的電極組成。我們發(fā)現(xiàn)，聚類分類與GLM衍生的活動類之間存在高度的對應(yīng)關(guān)系。因此，使用我們的無監(jiān)督PCA方法，我們揭示了自然對話中對應(yīng)于與CI任務(wù)隔離的不同響應(yīng)類和回路的神經(jīng)活動類別(擴(kuò)展數(shù)據(jù)圖6f)。

接下來，我們分析了時變的PC活動(即PC分?jǐn)?shù))，以檢查電極在基于任務(wù)和自然回合轉(zhuǎn)換的感知、計劃和產(chǎn)生集群中的功能屬性。每個聚類類別被發(fā)現(xiàn)對單個PC具有很高的權(quán)重(圖4d)；因此，我們將這些最大加權(quán)PC作為反映每個集群整體活動的聚合信號，并進(jìn)一步分析了2個感知相關(guān)PC、6個規(guī)劃相關(guān)PC和5個產(chǎn)生相關(guān)PC(擴(kuò)展數(shù)據(jù)圖7)。在參與者中，我們觀察到計劃PC在實驗者講話轉(zhuǎn)換附近顯示了一個顯著的平均活動峰值，并也出現(xiàn)在任務(wù)和對話的轉(zhuǎn)換間隙；相反，感知PC在實驗者轉(zhuǎn)身時活躍，但在實驗者講話時活動急劇減少。計劃型PC同樣在參與者開始進(jìn)行任務(wù)和對話之前表現(xiàn)出活動高峰，而產(chǎn)生型PC的活動通常局限于參與者在兩種情境下的講話。這些結(jié)果表明，在無約束輪位轉(zhuǎn)換過程中，PC與語音感知、語音規(guī)劃和語音產(chǎn)生相關(guān)的功能屬性與結(jié)構(gòu)化CI任務(wù)中觀察到的反應(yīng)一致。

最后，我們研究了在個體輪流互動過程中規(guī)劃PC活動，以提供自然對話中與言語規(guī)劃相關(guān)的動力學(xué)的第一個描述。我們觀察到，與計劃相關(guān)的PC在實驗者轉(zhuǎn)向和參與者轉(zhuǎn)向前的沉默間隙時最活躍；這些反應(yīng)與產(chǎn)生相關(guān)的PC有顯著的不同，后者的活動很大程度上局限于發(fā)音階段(圖4g-i)。綜上所述，與計劃相關(guān)的PC所顯示的功能屬性與對話中的語音準(zhǔn)備一致，這表明這些信號代表了計劃過程的神經(jīng)關(guān)聯(lián)，在自然語言使用過程中實現(xiàn)快速轉(zhuǎn)換。
3、總結(jié)

對話轉(zhuǎn)換需要一個復(fù)雜的相互作用，同時的語音感知和計劃，再加上精確的語音產(chǎn)生時間。我們使用ECoG記錄來分離與計劃相關(guān)的動態(tài)，發(fā)現(xiàn)這些反應(yīng)在功能上和解剖學(xué)上與那些潛在的語言感知和產(chǎn)生截然不同。在結(jié)構(gòu)化的交互和無約束的對話中，我們觀察到這些離散的神經(jīng)活動類別，從而通過提供真實世界語言使用中產(chǎn)生的神經(jīng)動力學(xué)的描述，為未來自然主義語音生成的研究鋪平了道路。盡管之前的研究表明，與人類語言相關(guān)的神經(jīng)回路是高度多模態(tài)分布的，但我們的研究結(jié)果表明，在與動物行為學(xué)相關(guān)的交互式語音產(chǎn)生過程中，不同的皮層模塊在語言網(wǎng)絡(luò)中執(zhí)行不同的功能。這一結(jié)論與對人類語言回路的擾動研究以及對非人類發(fā)聲皮層依賴的研究一致，表明在更大的發(fā)聲系統(tǒng)中存在解剖上不同的子回路。我們的研究結(jié)果表明，在互動過程中，與計劃相關(guān)的反應(yīng)在很大程度上局限于以cIFG和cMFG為中心的額顳回路。IFG的尾部部分被認(rèn)為代表布羅卡氏區(qū)，這是經(jīng)典的語言產(chǎn)生的關(guān)鍵。然而，最近的研究表明，這一區(qū)域在發(fā)音前而不是發(fā)音期間是活躍的。使用我們的交互范式，我們還觀察到，cIFG中的反應(yīng)主要發(fā)生在語音啟動之前，并且我們表明，這種活動與規(guī)劃語音相關(guān)。與cIFG不同，cMFG通常被認(rèn)為對言語規(guī)劃或發(fā)音不重要，盡管最近報道了一例局灶切除后的純粹言語失用癥。在這里，我們發(fā)現(xiàn)cMFG參與了交互過程中的語音選擇規(guī)劃。該區(qū)域顯示出與cIFG以及其他語言相關(guān)區(qū)域的強(qiáng)大的解剖連接，因此，由于其在語言生成中的作用在很大程度上被忽視，因此是未來研究的重要皮層部位。

很可能，cIFG和cMFG執(zhí)行不同的與語音規(guī)劃相關(guān)的功能，這可以從CR任務(wù)中不同水平的語音選擇性得到證明。然而，未來的工作需要闡明由這些和其他節(jié)點在已確定的規(guī)劃網(wǎng)絡(luò)中執(zhí)行的具體規(guī)劃子過程，并揭示這些子過程在轉(zhuǎn)換過程中是如何實時展開的。然而，這個規(guī)劃回路的分離代表了理解人類大腦如何在自然環(huán)境中產(chǎn)生語言的重要進(jìn)展。此外，這項工作有助于為進(jìn)一步研究交流障礙的生物學(xué)基礎(chǔ)奠定基礎(chǔ)，例如口吃和言語失用癥，其中言語規(guī)劃的異常破壞了社會語言的使用。

如需原文及補(bǔ)充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務(wù)感興趣也可加此微信號咨詢。另思影提供免費文獻(xiàn)下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉(zhuǎn)發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！

微信掃碼或者長按選擇識別關(guān)注思影非常感謝轉(zhuǎn)發(fā)支持與推薦

歡迎瀏覽思影的數(shù)據(jù)處理業(yè)務(wù)及課程介紹。（請直接點擊下文文字即可瀏覽思影科技所有的課程，歡迎添加微信號siyingyxf或18983979082進(jìn)行咨詢，所有課程均開放報名，報名后我們會第一時間聯(lián)系，并保留已報名學(xué)員名額）：

腦電及紅外、眼動：

北京：

第二十五屆腦電數(shù)據(jù)處理入門班(北京，5.16-20）?

重慶：

第二十二屆近紅外腦功能數(shù)據(jù)處理班（重慶，5.24-29）?

更新：第二十四屆腦電數(shù)據(jù)處理入門班（重慶，6.9-13）

上海：

第三屆腦電機(jī)器學(xué)習(xí)數(shù)據(jù)處理班（Matlab版，上海，5.15-20）?

第三十六屆腦電數(shù)據(jù)處理中級班(上海，5.28-6.1）?

核磁：

重慶：

第六十屆磁共振腦影像基礎(chǔ)班（重慶,4.21-26）