腦影像中的深度學習研究：前景與挑戰(zhàn)

深度學習(DL)在應(yīng)用于自然圖像分析時非常成功。相比之下，將其用于神經(jīng)影像學數(shù)據(jù)分析時則存在一些獨特的挑戰(zhàn)，包括更高的維度、更小的樣本量、多種異質(zhì)模態(tài)以及有限的真實標簽（ground truth）。在本文中結(jié)合神經(jīng)影像學領(lǐng)域的四個不同且重要的類別討論了DL方法:分類/預測、動態(tài)活動/連接性、多模態(tài)融合和解釋/可視化。本文重點介紹了這些類別中每一類的最新進展，討論了將數(shù)據(jù)特征和模型架構(gòu)相結(jié)合的益處，并依據(jù)這些內(nèi)容提出了在神經(jīng)影像學數(shù)據(jù)中使用DL的指南。對于每一個類別，還評估了有希望的應(yīng)用和需要克服的主要挑戰(zhàn)。最后討論了神經(jīng)影像學DL臨床應(yīng)用的未來方向。本文發(fā)表在IEEE Signal Processing Magazine雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。

思影曾做過多期機器學習/深度學習在腦影像中的應(yīng)用文章，請結(jié)合閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點擊，即可瀏覽，加微信號siyingyxf或18983979082獲取原文及補充材料）：

基于磁共振成像的腦齡研究：可解釋的人工智能的當前狀態(tài)和未來挑戰(zhàn)

BrainAGE作為大腦老化的神經(jīng)影像標志物的十年?

神經(jīng)影像研究驅(qū)動的腦齡估計作為腦疾病和健康狀況識別的生物學標記

基于原始影像數(shù)據(jù)的深度學習模型預測腦齡可獲得可靠的遺傳生物標志物?

AJP：精神分裂癥患者大腦加速老化的縱向識別研究?

基于全球14468名被試MRI數(shù)據(jù)特征預測腦齡和疾病的深度學習模型?

AJP：有和沒有內(nèi)化性精神障礙的受虐女孩情緒回路延遲成熟的差異性

重度抑郁癥患者的腦齡?

SVM在腦影像數(shù)據(jù)中的應(yīng)用?

基于深度學習和自閉癥腦成像數(shù)據(jù)庫（ABIDE）識別自閉癥譜系障礙?

Radiology：皮層厚度預測輕度認知障礙轉(zhuǎn)化為帕金森癡呆癥

阿爾茨海默病及其先兆分期的神經(jīng)影像分類研究及相關(guān)特征提取?

Nature子刊：基于深度學習預測家族性阿爾茲海默癥患者臨床前功能性腦老化

機器學習在重度抑郁癥患者中的應(yīng)用：從分類到治療結(jié)果預測

基于功能磁共振成像數(shù)據(jù)的機器學習對精神分裂癥進行分類

使用多元表征方法提升對大腦-行為之間關(guān)系的機器學習研究的泛化

用于臨床心理學和精神病學的機器學習方法

PLOS Biology：重度抑郁癥多成像中心的泛化腦網(wǎng)絡(luò)標志物

Nature Medicine：持續(xù)的實驗性和臨床性疼痛的神經(jīng)影像生物

深度學習在嬰兒大腦的磁共振圖像分析中的作用（上）

參數(shù)選擇對腦卒中后失語癥預測模型的影響

大腦數(shù)據(jù)分類時意外過擬合的危險

機器學習在靜息態(tài)功能磁共振成像中的應(yīng)用

有監(jiān)督機器學習在系統(tǒng)神經(jīng)科學中的作用

Nature Protocols：為解釋神經(jīng)成像中的機器學習模型

Biological Psychiatry: 基于多模態(tài)腦影像的個體指標預測-方法

Biological Psychiatry：自閉癥的神經(jīng)亞型研究進展

PNAS:灰質(zhì)年齡預測作為癡呆風險的生物標志物

BRAIN：用于阿爾茨海默病分類的可解釋深度學習框架的開發(fā)

異質(zhì)性問題：識別精神疾病亞型的方法

NPP:結(jié)構(gòu)MRI數(shù)據(jù)的生理性別分類顯示跨性別者女性的錯誤分

利用功能連接對腦疾病進行分類和預測

基于腦影像的精神疾病預測

基于影像學和定量感覺測試預測慢性疼痛的治療結(jié)果

BRAIN：利用機器學習揭示了兩種精神分裂癥的神經(jīng)解剖學亞型

識別最優(yōu)的數(shù)據(jù)驅(qū)動特征選擇方法以提高分類任務(wù)的可重復性

Neuron腦影像機器學習：表征、模式信息與大腦特征

Molecular Psychiatry：靜息態(tài)fMRI預測青少年認知能力

JAMA Psychiatry：腦影像機器學習預測精神疾病患者社會功能

AJP:基于腦網(wǎng)絡(luò)的可卡因戒斷預測

基于機器學習的情緒障礙診斷：功能網(wǎng)絡(luò)預測藥物反應(yīng)

腦影像特征預測散發(fā)性阿爾茨海默病癥狀發(fā)作時間

介紹

神經(jīng)影像學是一種強大的工具，被用來為健康和功能受損（或結(jié)構(gòu)受損）的人腦提供重要見解，此外，它還具有將新的物理發(fā)現(xiàn)和技術(shù)進步轉(zhuǎn)化為有效診斷、預防和治療腦部疾病的潛力(https://brain initiative . NIH . gov/)。磁共振成像(MRI)和腦磁圖(MEG)等蓬勃發(fā)展的神經(jīng)成像技術(shù)革新了我們無創(chuàng)研究人腦結(jié)構(gòu)、功能、接線和代謝的能力。與在自然光下采集的自然圖像相比，神經(jīng)影像學數(shù)據(jù)主要由放射學圖像組成。因此，神經(jīng)成像的噪聲分布因所用采集而異[例如，MRI中的Rician噪聲、計算機斷層掃描(CT)中的量子噪聲]。如表1所示，與自然圖像數(shù)據(jù)相比，神經(jīng)影像數(shù)據(jù)還具有許多其他獨特的方面，包括模態(tài)的數(shù)量、高維度、低信噪比和小樣本量。

表1 自然圖像和腦影像圖像之間的差異

使用DL模型的神經(jīng)影像學研究最初出現(xiàn)在2014年，此后，在許多新模型以及各種財團和資助者(如：人類連接體項目、阿爾茨海默氏病神經(jīng)影像學倡議、通過薈萃分析增強神經(jīng)影像遺傳學、自閉癥腦影像學數(shù)據(jù)交換項目、青少年腦認知發(fā)育和英國Biobank)積極支持下，可用數(shù)據(jù)的累積不斷增多，研究數(shù)量迅速增加。MRI作為一種具有高時空分辨率的無創(chuàng)性技術(shù)，根據(jù)所使用的檢索詞，是目前研究最廣泛的神經(jīng)影像學方式(圖1)。

圖1 基于神經(jīng)影像學的DL研究趨勢，圖B中可以看基于MRI的DL研究在神經(jīng)影像學手段中占比最大。

先進的神經(jīng)影像分析方法對于將大腦功能和結(jié)構(gòu)與網(wǎng)絡(luò)和行為聯(lián)系起來至關(guān)重要。其中，線性模型對我們目前的理解有很大貢獻，特別是靈活的矩陣分解方法。例如，組獨立成分分析(ICA)作為一種純數(shù)據(jù)驅(qū)動的算法，通過對功能性MRI (fMRI)進行組推理來揭示大規(guī)模網(wǎng)絡(luò)特征，特別適用于多種模態(tài)的數(shù)據(jù)融合，如全基因組單核苷酸多態(tài)性(SNP)數(shù)據(jù)或事件相關(guān)電位。盡管如此，具有標準機器學習(SML)方法的經(jīng)典神經(jīng)影像分析方法具有相對有限的模型靈活性。SML通常需要大量的領(lǐng)域?qū)I(yè)知識來設(shè)計特征提取器，這些特征提取器可以將原始數(shù)據(jù)轉(zhuǎn)換成合適的內(nèi)部表示或特征向量，從其中學習出特定的區(qū)分模式。但原始特征的這種“淺層”組合可能對不相關(guān)的變化敏感，可能不夠靈活，不足以揭示高層差異或預測復雜的大腦-行為關(guān)系。

相比之下，DL使用多個處理層來學習具有多個抽象層次的數(shù)據(jù)表示。與SML相比，DL方法具有高度的靈活性，并且使用了最低限度的預先設(shè)計的特征。盡管復雜的模型易受“黑箱”問題的影響，但現(xiàn)在可以通過不同的程序自動學習有代表性的特征，以提高可解釋性。因此，事實證明，DL能夠有效地從高維數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在結(jié)構(gòu)。歷史上，突破通常發(fā)生在數(shù)據(jù)相對豐富的時候，比如在文本和自然圖像分類方面。隨著高質(zhì)量神經(jīng)影像數(shù)據(jù)集的積累，DL在神經(jīng)影像學中的性能無疑將得到顯著提高，而無監(jiān)督模型的結(jié)合有可能在我們對大腦的理解方面取得重要進展。

在這篇綜述中，涵蓋了四個相關(guān)的主題：

1) 分類/回歸任務(wù)，通常在基于腦的生物標志物研究的背景下進行研究，以及關(guān)鍵的DL模型；

2) 基于DL的動態(tài)分析方法，其有助于利用神經(jīng)成像數(shù)據(jù)中的功能信息；

3) 多模態(tài)融合方法，其需要利用模態(tài)之間的互補信息；

4)可視化和亞型發(fā)現(xiàn)，這對于轉(zhuǎn)移到臨床應(yīng)用和提供關(guān)于潛在生物機制的線索是至關(guān)重要的。神經(jīng)影像學研究運用多種技術(shù)研究神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，揭示腦機制與行為(癥狀)之間的關(guān)系。

神經(jīng)影像學的大多數(shù)分析方法分為兩大類：分類或回歸。在“用于神經(jīng)影像分類和回歸的DL”一節(jié)中，除了介紹神經(jīng)網(wǎng)絡(luò)和DL背后的核心概念之外，本文還總結(jié)了六種最流行的DL模型的體系結(jié)構(gòu)及其神經(jīng)影像應(yīng)用場景。在“用于分析神經(jīng)影像數(shù)據(jù)中動態(tài)活動和連通性的DL”一節(jié)中，回顧了可以利用神經(jīng)影像中時間波動信息的DL方法。對大腦動力學的調(diào)查研究顯示了在各種環(huán)境下分解大腦活動和功能連接的巨大潛力，提供了一個了解全腦連接布線、網(wǎng)絡(luò)和區(qū)域之間相互作用的窗口，以及它們與時間和空間行為的聯(lián)系。在“用于多模態(tài)融合的DL”一節(jié)中，回顧了基于DL的多模態(tài)融合模型，該模型利用了來自各種模態(tài)的非線性互補信息，包括大腦結(jié)構(gòu)、功能、網(wǎng)絡(luò)連接和行為。尤其是在維度不匹配的數(shù)據(jù)(如腦結(jié)構(gòu)和腦功能)背景下，DL模型的靈活性尤為重要。在“可視化和子類型發(fā)現(xiàn)”一節(jié)中，涵蓋了與可視化和譜分析發(fā)現(xiàn)相關(guān)的主題。盡管DL常被視為一個黑匣子，但其在大腦研究中的應(yīng)用取決于可視化和解釋重要特征的方法，這有助于我們探索健康個體或精神障礙之間的異質(zhì)性。在每一節(jié)的最后強調(diào)了DL在每個給定類別中的一些承諾和挑戰(zhàn)。最后討論了本文中重點提到的涉及所有四個相關(guān)主題的一個主要挑戰(zhàn)(圖2)：DL實現(xiàn)的重要實際目標和促進轉(zhuǎn)化研究到臨床實踐的承諾。

圖2 這篇綜述文章涵蓋了四個相互關(guān)聯(lián)的主題。神經(jīng)影像學數(shù)據(jù)通常從多種模態(tài)中采集，對其進行不同的預處理以提取DL的輸入特征。在灰色面板中，列出了多個DL中涉及的模塊，并與其適用功能進行了鏈接。PET:正電子發(fā)射斷層掃描；dMRI:彌散張量成像 MLP:多層感知器；CNN:卷積神經(jīng)網(wǎng)絡(luò)

DL用于神經(jīng)影像學分類和回歸

分類和回歸是兩個被廣泛研究的監(jiān)督學習任務(wù)。分類和回歸任務(wù)的區(qū)別在于目標變量是連續(xù)的還是離散的。廣義而言，這兩項任務(wù)的核心目標都是將x(神經(jīng)影像學數(shù)據(jù))映射到y(tǒng)(例如，診斷、治療反應(yīng)和行為)。與自然圖像相比，神經(jīng)影像學更為復雜，通常具有較高的維數(shù)(通常高于10⁴個體素)、較小的樣本量(少于10⁴個樣本)、多種數(shù)據(jù)形式(例如MRI和CT)，并且通常缺乏確鑿的真實標簽。盡管神經(jīng)影像學數(shù)據(jù)高度多樣，但可分為兩大類：結(jié)構(gòu)成像和功能成像(圖2)。

結(jié)構(gòu)神經(jīng)影像學數(shù)據(jù)，如來自結(jié)構(gòu)MRI (sMRI)或彌散MRI (dMRI)的數(shù)據(jù)，反映了體素組織密度/體積或結(jié)構(gòu)連接性。結(jié)構(gòu)研究的主要目的是揭示大腦中的解剖關(guān)系，進而用于預測。功能性神經(jīng)成像數(shù)據(jù)集中于大腦活動或連接的動態(tài)變化。由于MRI等神經(jīng)影像數(shù)據(jù)的高維性和低信噪比，有效的特征處理對于減少建模前的冗余非常重要。例如，使用基于圖譜或數(shù)據(jù)驅(qū)動的方法(如ICA)時，fMRI時間過程往往被縮小。然后將得到的時間特征用于研究時間相關(guān)性，如功能網(wǎng)絡(luò)連通性(FNC)或動態(tài)FNC (dFNC)。在典型的深度學習系統(tǒng)中，可能有數(shù)億個可調(diào)整的權(quán)重，而這些模型需要大量的樣本進行訓練。適當平衡DL模型的復雜性與可用樣本量對于神經(jīng)影像學至關(guān)重要。在此總結(jié)了流行的DL模型的基本機制，并就其相應(yīng)的神經(jīng)影像學應(yīng)用提供了建議。

多層感知器模型

通過簡單統(tǒng)計梯度下降訓練的多層感知器(MLP)模型是第一個提出的用可訓練的多層神經(jīng)元代替工程特征的解決方案。隱藏層可被視為以非線性方式扭曲輸入，因此類別可被最后一層分離。這種深層神經(jīng)網(wǎng)絡(luò)理論上可以擬合任何映射關(guān)系。然而，完全連接的層可能導致可訓練參數(shù)的冗余和過擬合。雖然正則化規(guī)則和drop out可以修復過擬合問題，但MLP最適合低維和冗余較少的輸入，如FNC向量。此外，由于其靈活性，MLP經(jīng)常被用作更復雜的DL模型的后盾[例如，用于分類的生成性對抗網(wǎng)絡(luò)(GAN)]。

卷積神經(jīng)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNNs)現(xiàn)在是幾乎所有識別和檢測任務(wù)的主要方法。它們旨在處理多種陣列形式的數(shù)據(jù)，如自然信號或圖像。CNN利用自然信號特性的核心要素是：局部連接、共享權(quán)重、pooling和深層網(wǎng)絡(luò)的使用。區(qū)分CNN與其他DL模型的兩種操作是卷積和pooling。卷積層的作用是檢測前一層特征的局部合取；pooling層的作用是將語義相似的特征合并成一個?；诰矸e運算，CNN輸入理想地由高度相關(guān)的局部值的組合組成，數(shù)據(jù)的局部統(tǒng)計量不受位置的影響。因此，CNN非常適合通過利用空間信息來處理2D或3D T1圖像，以提高性能。例如，最近的工作表明，通過CNN利用神經(jīng)成像數(shù)據(jù)的三維結(jié)構(gòu)比SML模型有實質(zhì)性的改進。盡管CNN的相關(guān)研究取得了巨大的成功，但由于圖的特征(如從FNC獲得的特征)的非歐幾里德特性，使得一般的卷積和濾波不如在自然圖像上那樣清晰。類似地，圖卷積網(wǎng)絡(luò)(GCN)是一種神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，其能夠以卷積方式用更少的可學習參數(shù)捕獲圖結(jié)構(gòu)并聚集來自鄰域的節(jié)點信息。GCN在具有圖形數(shù)據(jù)的醫(yī)學或生化應(yīng)用中很有用，例如FNC特征。

遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)(rnn)一次處理一個元素的輸入序列，在其隱藏單元中維護一個“狀態(tài)向量”，該向量隱含地包含關(guān)于序列中所有過去元素的歷史信息。它模擬了以下情況。通用動態(tài)系統(tǒng):xo (t) = F (x (t)，u (t))的狀態(tài)。動態(tài)系統(tǒng)x (t)由向量值函數(shù)F更新，該函數(shù)是非線性的，可能很復雜，并且接受運算輸入u (t)。長短期記憶網(wǎng)絡(luò)(LSTM)和門控循環(huán)單元網(wǎng)絡(luò)(GRU)是rnn的兩種變體，它們使用特殊的隱藏單位來更長時間地記憶輸入。與經(jīng)典的線性機器學習模型(如隱馬爾可夫模型)相比，RNN模型對序列數(shù)據(jù)的長期非線性機制進行建模。因此，RNN適合于解決涉及順序輸入的任務(wù)，如fMRI時間過程。

GAN

訓練用于將高維特征映射到標簽的CNN/RNN模型最好歸類為判別模型，因為它不關(guān)注特征的分布學習。一個能夠逼近輸入分布的生成模型會更加健壯和更可解釋。正如理查德·費曼的一句名言:“我不能創(chuàng)造的東西，就代表我不明白它的內(nèi)容，”一個訓練有素的GAN模型可以通過傳遞隨機噪聲通過MLP產(chǎn)生樣本。GAN有兩個代理：生成器G和鑒別器D。G無法直接獲取真實數(shù)據(jù)；它學習的唯一方法是通過與D的互動，獲得合成樣本和從真實數(shù)據(jù)中提取的樣本。通過知道數(shù)據(jù)是來自真實堆棧還是來自G這一簡單的基本事實，向D提供了一個錯誤信號。通過D，同樣的錯誤信號可用于優(yōu)化G，使其能夠產(chǎn)生質(zhì)量更好的假數(shù)據(jù)。GAN不是一個特定的模型，而是一個生成性框架。前面提到的所有DL模型，如MLP或CNNs，均可用作GAN的主干。與判別模型相比，GAN模型更難優(yōu)化，因為數(shù)據(jù)分布比簡單地尋找分類邊界更難逼近。GANs獲得的表征可用于多種神經(jīng)影像學應(yīng)用，包括分類、神經(jīng)影像學合成和多站點神經(jīng)影像學的特征協(xié)調(diào)。

注意模塊

提出使用注意模塊，通過關(guān)注重要的大腦區(qū)域并抑制不必要的區(qū)域來增加再現(xiàn)能力和提高可解釋性，這通常與用于解釋的其他DL模型相結(jié)合，從而使模型動態(tài)地強調(diào)輸入的某些部分。如[9]所述，基于弱監(jiān)督學習的DL(由中樞網(wǎng)絡(luò)和注意模塊組成)已被應(yīng)用于改善使用sMRI的阿爾茨海默病分類性能。注意力圖譜也有助于發(fā)現(xiàn)任務(wù)相關(guān)的生物標志物。例如，在識別精神分裂癥時，使用注意引導的RNN模型來解釋fMRI特征的顯著性。Transformer是一種有前途的注意力模型，它沒有遞歸網(wǎng)絡(luò)，但能記住序列是如何被饋入模型并編碼每個元素的相對位置。這些位置可以添加到fMRI時間過程的每個時間步長的嵌入表示(n維向量)中。

該方面的挑戰(zhàn)

DL在分類和回歸任務(wù)中取得了巨大成功，隨著數(shù)據(jù)可用性的提高，它們的性能將不斷提高。然而，仍然有一些障礙必須克服。第一個是模型設(shè)計的困難。盡管一些自微分平臺極大地簡化了模型設(shè)計過程，但各種超參數(shù)，如寬度、深度、損失函數(shù)和優(yōu)化器通常是根據(jù)經(jīng)驗確定的。需要基本的DL理論、標準和手冊來指導DL模型的設(shè)計。神經(jīng)影像學中經(jīng)常出現(xiàn)的另一個挑戰(zhàn)是高維小樣本問題。為3D或4D神經(jīng)影像數(shù)據(jù)設(shè)計的DL模型通常由數(shù)百萬個參數(shù)組成，需要許多樣本進行優(yōu)化。大規(guī)模的神經(jīng)衰老數(shù)據(jù)集不易獲得，噪聲分布也各不相同。因此，自然圖像的增強方法不太適合神經(jīng)成像數(shù)據(jù)。需要多集數(shù)據(jù)整合/融合和改進算法來解決這些領(lǐng)域差異。

DL用于分析神經(jīng)影像數(shù)據(jù)中的動態(tài)活動和連接性分析

認知、知覺和運動產(chǎn)生于大腦系統(tǒng)的非線性動力學活動。這些功能是由潛在的心理過程和外部任務(wù)驅(qū)動的。大腦活動和連接動力學(如慢性連接體)的表征對我們理解大腦功能至關(guān)重要。然而，由于缺乏能夠從高維數(shù)據(jù)中有效捕獲非線性動力學的計算工具，揭示大腦功能中的相關(guān)瞬態(tài)模式具有挑戰(zhàn)性。最近的研究表明，DL模型，特別是基于RNN的網(wǎng)絡(luò)，具有捕獲全腦動態(tài)信息的潛力，并利用時變的功能聯(lián)系狀態(tài)剖面來擴展我們對腦功能和障礙的理解。

使用DL模型建模時空動力學傳統(tǒng)的神經(jīng)影像分類方法使用功能性網(wǎng)絡(luò)連接或空間圖作為輸入特征，忽略了時間動態(tài)信息。DL模型表現(xiàn)出優(yōu)秀的特征表示學習能力，為直接從時間過程中獲取時空信息提供了潛在的工具。特別是RNN在序列建模任務(wù)中取得了巨大成功，目前廣泛應(yīng)用于大腦動態(tài)分析以診斷大腦障礙、大腦解碼和時間動態(tài)功能狀態(tài)轉(zhuǎn)換檢測。dFNC是一種從fMRI數(shù)據(jù)中識別時變連接模式的方法。為了捕捉dFNC中的時間信息，Yan等人提出了一種全雙向模型，該方法通過使用兩個信息流方向相反的隱藏層來處理前一個和后一個信息，從而更好地表征“時序連接體”(參見圖3中的“dFNC的”)。為了克服處理數(shù)據(jù)時窗口大小參數(shù)的影響，利用CNN直接提取功能連通性。然后，多尺度RNN可以在群體辨別任務(wù)(例如，精神分裂癥診斷)的背景下將時空信息納入fMRI時間過程中，并通過結(jié)合CNN和RNN 提高預測性能(參見圖3中的“RNN時間過程”)?；?/span>RNN的模型也可以應(yīng)用于自適應(yīng)地捕獲時間相關(guān)性，為大腦狀態(tài)解碼和實時預測提供更多的區(qū)別性信息。這些研究顯示了DL模型在研究大腦動態(tài)活動中的潛力，隨著更多模型的開發(fā)，這一進展無疑將繼續(xù)下去。

DL與常規(guī)神經(jīng)影像學工具的結(jié)合

為了便于發(fā)現(xiàn)神經(jīng)影像數(shù)據(jù)中的動態(tài)信息，DL可以與經(jīng)過充分研究的數(shù)據(jù)驅(qū)動機器學習方法(如ICA)相結(jié)合，這也可以提高結(jié)果的可解釋性。如[14]所示，Ka- zemivash和Calhoun提出了一種新的腦時空數(shù)據(jù)分解的網(wǎng)絡(luò)，該網(wǎng)絡(luò)將3D CNN與ICA相結(jié)合，使該框架能夠探索高維(5D)腦動力學(見圖3中的“DL與ICA相結(jié)合”)。此外，RNN-獨立分量分析已被提議將RNN和獨立分量分析相結(jié)合，以實現(xiàn)連續(xù)的獨立分量。

圖3 使用合適的DL模型(例如，RNN)處理來自神經(jīng)成像的數(shù)據(jù)，以促進各種任務(wù)(例如，腦網(wǎng)絡(luò)識別)。

分析目標，這可以顯式地優(yōu)化線性生成模型，以對時間動態(tài)進行建模，并從時間序列觀測中推斷出內(nèi)在的網(wǎng)絡(luò)(網(wǎng)絡(luò)結(jié)構(gòu)和所識別的空間圖見圖3中的“RNN利用獨立分量分析”)。RNN-獨立分量分析擴展了RNN框架，以納入infomax目標，并可應(yīng)用于各種類型的數(shù)據(jù)(例如，模擬合成數(shù)據(jù)、任務(wù)相關(guān)掃描和靜息狀態(tài)fMRI)，以識別相似的任務(wù)相關(guān)模式和定向時間連接。

如果您對腦影像等數(shù)據(jù)處理處理感興趣，歡迎瀏覽思影科技網(wǎng)站及公眾號了解思影腦電相關(guān)的其他課程。具體可瀏覽以下鏈接（可添加微信號siyingyxf或18983979082咨詢，另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群)：

北京：

第五十九屆磁共振腦影像基礎(chǔ)班（北京，4.14-19）

第二十九屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（北京，4.22-27）?

第二十五屆DTI班（北京，5.6-11）

第十一屆磁共振ASL班（北京，5.12-15）

第二十二屆腦影像機器學習班（北京，5.28-6.2）

重慶：

第十九屆磁共振腦影像結(jié)構(gòu)班（重慶，4.13-18）

第六十屆磁共振腦影像基礎(chǔ)班（重慶,4.21-26）

第五屆影像組學班（重慶，5.19-23）

上海：

第十二屆任務(wù)態(tài)功能磁共振數(shù)據(jù)處理班（上海，4.21-25）?

第六十一屆磁共振腦影像基礎(chǔ)班(上海，5.7-12）?

更新：第二十八屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（上海，5.22-27）

南京：

第二十四屆DTI班（南京，4.9-14）

數(shù)據(jù)處理業(yè)務(wù)介紹：

思影科技功能磁共振(fMRI)數(shù)據(jù)處理業(yè)務(wù)?

思影科技彌散加權(quán)成像（DWI/dMRI）數(shù)據(jù)處理
思影科技腦結(jié)構(gòu)磁共振成像數(shù)據(jù)處理業(yè)務(wù)（T1)

思影科技嚙齒類動物（大小鼠）神經(jīng)影像數(shù)據(jù)處理業(yè)務(wù)?
思影數(shù)據(jù)處理業(yè)務(wù)三：ASL數(shù)據(jù)處理
思影科技腦影像機器學習數(shù)據(jù)處理業(yè)務(wù)介紹
招聘及產(chǎn)品：

思影科技招聘數(shù)據(jù)處理工程師?（上海，北京，南京）
BIOSEMI腦電系統(tǒng)介紹
目鏡式功能磁共振刺激系統(tǒng)介紹

挑戰(zhàn)1

基于RNN的模型利用了對后續(xù)信息/動態(tài)功能連接進行建模的能力，并模擬了大腦狀態(tài)的周期性變化；因此，與傳統(tǒng)模型相比，它們可以實現(xiàn)改進的預測性能。然而，在現(xiàn)有的工作中，動態(tài)特征通常是使用基于窗口的相關(guān)性來計算的，因此窗口大小是一個影響dFNC特征的超參數(shù)。具有短窗口的基于窗口的方法不能捕獲長時間相關(guān)性，而較長的窗口會降低對快速變化的敏感性；因此，選擇合適的窗口大小可能很困難。最近在自然語言處理方面的研究已經(jīng)提出了Transformer模型，該模型可以利用注意力機制捕捉順序的相互依賴，從而提供一種潛在的大腦動態(tài)建模解決方案。除此之外，由于缺乏作為金標準的真實標簽，驗證結(jié)果可能具有挑戰(zhàn)性?？紤]到大多數(shù)現(xiàn)有測量側(cè)重于綜合評估，而非時間目標信息，需要進行額外研究以評估分析結(jié)果的可靠性和再現(xiàn)性。

用于多模態(tài)融合的DL

神經(jīng)影像學數(shù)據(jù)通常包括多種形式，如sMRI、fMRI和dMRI，可為觀察和分析大腦提供多種視角。為了利用不同模態(tài)的互補表示，需要多模態(tài)融合來更全面地理解腦機制。然而，傳統(tǒng)的非線性融合模型可能不夠靈活，無法完全捕捉多模態(tài)神經(jīng)成像的內(nèi)在結(jié)構(gòu)和外部關(guān)系。DL多模態(tài)融合方法能夠?qū)W習數(shù)據(jù)的多級非線性抽象表示，在許多任務(wù)上優(yōu)于傳統(tǒng)的融合方法。

多模態(tài)融合的DL框架

多種DL模型(包括前面提到的所有模型)已被用作提取多模式神經(jīng)影像融合框架中高級特征的主要特征。模型的選擇在很大程度上取決于每種模式的數(shù)據(jù)結(jié)構(gòu)。盡管可用的模型多種多樣，但大多數(shù)多模式融合策略可分為以下兩類：前融合和后融合。前融合策略在將來自多個模態(tài)的原始特征發(fā)送到DLs之前將其連接起來。相比之下，后融合策略首先使用DLs來學習每個模態(tài)的特征表示，然后將它們連接起來用于后續(xù)任務(wù)。前融合易于實現(xiàn)，但當一種模態(tài)的特征維數(shù)比其他模態(tài)高得多時，或者當由于數(shù)據(jù)格式的異質(zhì)性導致級聯(lián)不可行時，前融合具有很大局限性。與前融合相比，后融合框架在處理各種模式時更靈活，但在尋找最佳架構(gòu)和超參數(shù)時更費力。

除了基于級聯(lián)的后融合，通過考慮跨模態(tài)關(guān)系，當前已經(jīng)提出了更先進的后融合方法。多模態(tài)重建、深度經(jīng)典相關(guān)分析(DCCA)和基于知識轉(zhuǎn)移的融合是三種流行的多模態(tài)融合方法。如圖4所示，多模態(tài)重建方法采用自動編碼器(AE)來學習最佳的跨模態(tài)表示，從而最好地重建原始數(shù)據(jù)。與標準AE不同，多模式重建通過兩個編碼器學習表示，然后使用共享表示進行重建，這適用于未獲取標簽的無監(jiān)督任務(wù)。獲取跨模態(tài)相關(guān)性或互信息是進行多模態(tài)融合的另一種方式。一個例子是DCCA，它允許兩個DL模型學習新的表示，同時優(yōu)化它們的相關(guān)性。利用知識轉(zhuǎn)移可以進一步提高DCCA融合性能，知識轉(zhuǎn)移保留了相關(guān)特征，并利用了不同模態(tài)之間的信息。

圖4 三種基于跨模態(tài)表示的多模態(tài)融合DL框架。

(a) 多模態(tài)重建方法采用AE來學習能夠最佳重建原始數(shù)據(jù)的最佳跨模態(tài)表示。

(b) 跨模態(tài)相關(guān)性允許DL模型在優(yōu)化其相關(guān)性的同時學習新的表示。

多模態(tài)融合在神經(jīng)影像學中的應(yīng)用

多種神經(jīng)影像學數(shù)據(jù)的可用性和大腦的復雜性導致了許多多模態(tài)融合應(yīng)用。例如，Venugopalan等人通過整合MRI成像數(shù)據(jù)、電子健康記錄數(shù)據(jù)(包括患者和醫(yī)生的縱向信息)和SNP數(shù)據(jù)對前融合和后融合框架進行了比較，以用于阿爾茨海默病的識別。結(jié)果表明，由于數(shù)據(jù)的高度異質(zhì)性，后融合的效果優(yōu)于前融合。其他研究還提出了一些其他最先進的跨模態(tài)表示方法，這些方法可以更好地學習潛在的共享和區(qū)分關(guān)系。深度協(xié)作學習可以將標簽納入DCCA方法。已在靜息態(tài)fMRI和任務(wù)fMRI上得到驗證，在年齡組分類方面表現(xiàn)良好。還有研究提出將AE與DCCA方法相結(jié)合，通過整合fMRI數(shù)據(jù)和SNP數(shù)據(jù)更好地對精神分裂癥進行分類[圖5(a)]。此外，多模態(tài)GCN通過使用流形正則化方法，并考慮模態(tài)內(nèi)和模態(tài)間的受試者關(guān)系，在認知能力預測任務(wù)中取得了較高的成績[19][圖5(b)]。Plis等人提出了一種基于翻譯的融合模型，該模型學習了從sMRI計算的功能性動態(tài)連接和靜態(tài)灰質(zhì)模式之間的聯(lián)系。

圖5 多模態(tài)融合在神經(jīng)成像中的應(yīng)用。

(a) 使用DCCA框架結(jié)合AE對精神分裂癥進行分類的成像-基因整合工作。

(b) 多模態(tài)GCN，在模式內(nèi)和模式間進行知識遷移學習。流形正則化項充分探索了對象之間的關(guān)系，加強了模型以學習模態(tài)內(nèi)部和模態(tài)之間具有高腦結(jié)構(gòu)相似性的對象的相似嵌入

挑戰(zhàn)2

最先進的融合方法(例如，基于跨模態(tài)表示的方法)的發(fā)展已經(jīng)顯示出在DL框架內(nèi)優(yōu)于單模態(tài)分析的增強性能，這有助于從全面的角度對腦部疾病進行早期檢測或亞型分類。然而，多模態(tài)融合往往缺乏足夠的訓練樣本。此外，大多數(shù)方法要求所有數(shù)據(jù)集都有可用的模式，導致部分只具有某種模態(tài)的樣本被丟棄?，F(xiàn)有研究中對模式和融合策略的選擇通常是基于直覺。因此，需要對如何提取高級特征以及它們?nèi)绾斡兄谙掠稳蝿?wù)進行定量解釋。此外，由于從各種模態(tài)中提取的關(guān)節(jié)特征被聚集在一個統(tǒng)一的模型中，因此每個模態(tài)的作用可能是模糊的。因此，在多模態(tài)數(shù)據(jù)融合的背景下，對其的解釋可能更具挑戰(zhàn)性。

可視化和亞型發(fā)現(xiàn)

DL的靈活性，包括其對非線性關(guān)系建模的能力，至關(guān)重要，但也可能使解釋具有挑戰(zhàn)性。與自然圖像相比，神經(jīng)影像學研究往往缺乏堅實的groud truth，尤其是精神神經(jīng)影像學研究。正因為如此，DL可視化是擴展我們對腦部疾病臨床線索知識的重要途徑。可視化還可用于發(fā)現(xiàn)精神障礙的生物標志物和關(guān)系。

生物標志物發(fā)現(xiàn)的網(wǎng)絡(luò)可視化

合理的網(wǎng)絡(luò)可視化方法應(yīng)滿足以下三個要求:

1) 人類可讀和可理解；

2) 提供關(guān)于在特定的腦通路或區(qū)域中表示什么精神或行為構(gòu)造的有用信息；

3) 基于相關(guān)的神經(jīng)生物學信號，而不是混亂的信息。流行的可視化方法可分為四類:局部信息通過可替代模型進行可視化、遮擋分析、基于梯度的方法和相關(guān)性逐層傳播[圖6]。

可解釋的局部替代物通過在被解釋的輸入樣本周圍用更簡單的模型(例如，線性模型)局部逼近DL，然后產(chǎn)生可解釋的更簡單模型的直觀總結(jié)，從而產(chǎn)生DL的解釋。Local Interpretable Model Agnostic Explanations（LIME）和Shapley值是局部替代的兩個經(jīng)典實現(xiàn)。Lombardi等人嵌入了LIME和shaply值，通過確定每種腦形態(tài)描述對每名受試者最終預測年齡的貢獻并研究這兩種方法的可靠性來解釋DL模型的結(jié)果。shaply方法的發(fā)現(xiàn)為形態(tài)學衰老機制提供了更可靠的解釋。遮擋分析是一種廣泛使用的體系結(jié)構(gòu)獨立方法，其中當遮擋輸入特征中的面片或單個特征時，特定類型的擾動分析會重復測試對神經(jīng)網(wǎng)絡(luò)輸出的影響。根據(jù)這些評分構(gòu)建熱圖，突出顯示遮擋對功能造成最大影響的位置。遮擋分析已經(jīng)應(yīng)用于基于CNN和RNN的模型，用于測量每個腦區(qū)在分類任務(wù)中的貢獻。

圖6 神經(jīng)成像中DL的可解釋性和可視化。

(a) 神經(jīng)成像中的四種DL解釋方法。通過分析預訓練的DL模型，將區(qū)別性特征可視化，以提供對其作為潛在生物標志物的使用的洞察。

(b) 由DL提取的高度抽象的特征可以被進一步聚類用于頻譜可視化。

SAD:分裂情感紊亂；SZ:精神分裂癥；BP:雙相情感障礙；HC:健康對照。

基于梯度的方法可以使用自動微分來計算，并且不需要修改原始DL模型。在精神分裂癥譜系障礙與對照的分類中，已使用特定的基于梯度的實施方式對辨別性腦區(qū)進行了識別。然而，基于梯度的方法通常計算量很大，尤其是在使積分過程精確的情況下。分層相關(guān)性傳播明確利用了神經(jīng)網(wǎng)絡(luò)的分層結(jié)構(gòu)，并迭代運行以產(chǎn)生解釋。逐層相關(guān)性傳播分析是在單個輸入樣本的水平上執(zhí)行的，使得能夠從組的水平到單個受試者、跟蹤和時間點的水平的數(shù)據(jù)粒度的幾個水平上進行分析。

使用DL框架發(fā)現(xiàn)疾病譜系和亞型精神疾病越來越重要。以往通常根據(jù)癥狀而非生物學數(shù)據(jù)進行精神類的疾病診斷。不同類型的精神疾病之間往往也存在相當大的重疊，這使得準確診斷具有挑戰(zhàn)性。檢查精神疾病情感譜系障礙的神經(jīng)生物學可極大地推進精神病學診斷的生物學確定，這對開發(fā)更有效的治療方法至關(guān)重要。利用誤差反向傳播方法，DL可以聯(lián)合優(yōu)化特征嵌入和分類超平面。如圖6(b)所示，abul等人對整個訓練樣本范圍使用t分布隨機鄰域嵌入(tSNE)將學習到的DL嵌入投影到2D平面上，并通過類標簽對2D投影譜進行顏色編碼。他們發(fā)現(xiàn)了獨立的性別聚類，從譜的一端到另一端按年齡增長的順序排列?；贛RI使用DL鑒別亨廷頓病也獲得了類似的結(jié)果。結(jié)果表明，與傳統(tǒng)的機器學習相比，DL編碼可以更魯棒的辨別神經(jīng)影像表征。

亞型發(fā)現(xiàn)對于邁向精確醫(yī)學(如個體化治療)至關(guān)重要，但也具有挑戰(zhàn)性，尤其是在信噪比較低時。在這種情況下，聚類模型可能會被年齡、性別或地點效應(yīng)等混雜因素誤導。為了克服這個問題，可以使用DL將神經(jīng)影像學數(shù)據(jù)映射到可以對亞型進行聚類的子空間中。監(jiān)督分類模塊可首先使用監(jiān)督方式進行訓練，將原始fMRI特征映射到精神疾病之間差異更明顯的子空間。然后將原始特征的高級表示提交給tSNE聚類模型，用于可視化不同分類之間的組差異[圖6(c)]。

挑戰(zhàn)3

在神經(jīng)影像學中解釋ML模型本質(zhì)上是一個開放的過程。不斷發(fā)展的DL解釋方法顯示出為大腦活動的新機制和大腦疾病的生物標志物提供見解的前景。與包含數(shù)百萬精確標記的訓練樣本的自然圖像數(shù)據(jù)集不同，在神經(jīng)衰老研究中，基本事實通常并不清楚，且錯誤解釋的成本很高。例如，即使是熟練的精神病學家也不能僅僅根據(jù)功能磁共振成像來區(qū)分抑郁癥患者和健康對照者。因此，可能在自然成像領(lǐng)域工作良好的DL解釋方法不容易應(yīng)用于神經(jīng)成像領(lǐng)域，因為難以對結(jié)果進行驗證。此外，不同的可解釋性方法可能并不總是獲得一致的結(jié)果。應(yīng)使用各種侵入性技術(shù)(如腦刺激)驗證結(jié)果的有效性。

未來方向：從實驗室到臨床實踐

DL模型的優(yōu)勢在于，它們可以高效地實現(xiàn)復雜的、原則上任意的預測-響應(yīng)映射。這種能力會帶來一些成本，包括需要大量的訓練樣本、復雜的模型架構(gòu)以及模型解釋的困難。盡管在神經(jīng)影像分析方面取得了有希望的結(jié)果，但很少有算法達到臨床實施，挑戰(zhàn)了這些技術(shù)在實際臨床應(yīng)用的希望與媒體炒作之間的平衡。機器學習方法及其相關(guān)生物標志物的真正臨床價值可能來自于我們在疾病被臨床診斷之前檢測成像特征細微差異的能力，根據(jù)具有臨床相關(guān)性的成像表型細化臨床類別的能力，或為治療提供信息的能力。

最小化模型設(shè)計和模型微調(diào)負擔DL方法的廣泛成功產(chǎn)生了對架構(gòu)工程的需求，其中數(shù)據(jù)科學家的任務(wù)是手動設(shè)計日益復雜的神經(jīng)架構(gòu)。神經(jīng)結(jié)構(gòu)搜索(NAS)技術(shù)已經(jīng)出現(xiàn)，它尋求自動選擇、組合和參數(shù)化DL模型，以在給定的數(shù)據(jù)集和任務(wù)上實現(xiàn)最佳性能。NAS方法最好根據(jù)三個因素分類：搜索空間、搜索策略和性能評估策略。搜索空間是指可以由NAS算法表示的潛在神經(jīng)架構(gòu)，搜索策略是指如何探索該空間。性能估計策略是指NAS算法如何在給定一些訓練數(shù)據(jù)集的情況下評估給定體系結(jié)構(gòu)在某些任務(wù)上的性能。NAS是神經(jīng)影像學中一個重要但相對較新的領(lǐng)域。

多站點協(xié)作中的隱私保護

多站點協(xié)作對于為DL培訓收集更多數(shù)據(jù)是必要的。聯(lián)合(或非集中)學習使多個站點能夠協(xié)作學習共享的分類/預測模型，同時將訓練數(shù)據(jù)保留在每個本地站點，而不是將數(shù)據(jù)直接傳輸?shù)郊惺綌?shù)據(jù)倉庫來構(gòu)建機器學習模型。如http://coin stack . trend scent . org所示，本地站點可以下載當前的DL模型，并通過從其站點上的數(shù)據(jù)中學習來改進該模型，然后將這些變化作為重點更新進行匯總。這樣的更新可以上傳到云上，為通過多站點協(xié)作和隱私保護訪問更多數(shù)據(jù)提供了一個可擴展的選項。

解讀結(jié)果及臨床驗證

當使用不同的解釋方法時，簡明的解釋結(jié)果不僅應(yīng)相對一致，而且還應(yīng)可用于其他數(shù)據(jù)集或任務(wù)。展望未來，有必要從相關(guān)文獻和對不同類型和多種物種的侵入性研究(如經(jīng)顱磁刺激或電驚厥治療)中引入更多趨同證據(jù)，以更好地理解模型的神經(jīng)生物學意義。

結(jié)論

總而言之，DL允許由多個處理層組成的計算模型學習具有多個抽象層次的數(shù)據(jù)表示，是一種有前途的方法，并且已經(jīng)在神經(jīng)成像領(lǐng)域取得了突破。在這項工作中，本文系統(tǒng)綜述了DL在神經(jīng)影響研究中的基本機制，并強調(diào)了一些關(guān)鍵發(fā)現(xiàn)，包括以下內(nèi)容。

1)DL在使用豐富特征時，在大規(guī)模神經(jīng)影像分類和回歸任務(wù)上能夠優(yōu)于SML；

2)與動態(tài)分析相結(jié)合，DL更能捕捉時變信息，提高敏感性和特異性；

3)通過利用互補的、多方面的信息，與DL相結(jié)合的多模態(tài)融合比傳統(tǒng)方法更有效、更靈活；

4)DL可以利用神經(jīng)影像學中復雜的非線性關(guān)系來識別新的疾病亞型，從而促進生物標志物的發(fā)現(xiàn)。

成像技術(shù)、多位點協(xié)作和數(shù)據(jù)共享的發(fā)展正在產(chǎn)生額外的高質(zhì)量神經(jīng)成像數(shù)據(jù)，這些數(shù)據(jù)是支持DL揭示關(guān)鍵腦機制所需的。將DL解釋與侵入性方法相結(jié)合將產(chǎn)生更可靠的生物標志物，具有潛在的臨床價值?？傊?，DL通過多種類型的神經(jīng)影像特征的透鏡打開了探索大腦機制的窗口。因此，該領(lǐng)域正在迅速向更精確和基于生物學的診斷以及精確的臨床應(yīng)用發(fā)展。

原文：Deep Learning in Neuroimaging：Promises and challenges

如需原文及補充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務(wù)感興趣也可加此微信號咨詢。另思影提供免費文獻下載服務(wù)，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉(zhuǎn)發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！