精神病學(xué)小數(shù)據(jù)和大數(shù)據(jù)的深度學(xué)習(xí)

如今，我們必須更好地理解精神疾病的共同和獨(dú)特的病理生理機(jī)制，才能提供更有效的、個(gè)性化的治療。為此，使用傳統(tǒng)統(tǒng)計(jì)方法對(duì)“小”實(shí)驗(yàn)樣本的分析在很大程度上不能捕捉到潛在的精神表型的異質(zhì)性。來(lái)自機(jī)器學(xué)習(xí)的現(xiàn)代算法和方法，尤其是深度學(xué)習(xí)，為解決這些問(wèn)題提供了新的希望。但是深度學(xué)習(xí)需要大量的訓(xùn)練(和測(cè)試)樣本。然而，迄今為止人類精神病學(xué)研究中可獲得的都是相對(duì)小的樣本。我們回顧了機(jī)器學(xué)習(xí)方法與更傳統(tǒng)的統(tǒng)計(jì)假設(shè)驅(qū)動(dòng)方法的比較，它們的復(fù)雜性如何與大樣本容量的需求相關(guān)，以及我們可以做什么來(lái)在精神神經(jīng)科學(xué)中優(yōu)化這些強(qiáng)大的技術(shù)。本文發(fā)表在NEUROPSYCHOPHARMACOLOGY雜志。(可添加微信號(hào)siyingyxf或18983979082獲取原文，另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布)。可結(jié)合以下腦影像機(jī)器學(xué)習(xí)相關(guān)文章閱讀，加深理解，感謝幫轉(zhuǎn)支持（直接點(diǎn)擊，即可瀏覽，加微信號(hào)siyingyxf或18983979082獲取原文及補(bǔ)充材料）：

Science:使用對(duì)比機(jī)器學(xué)習(xí)方法揭示自閉癥神經(jīng)解剖學(xué)變異結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)

神經(jīng)影像預(yù)測(cè)精神疾病及心理健康的前景

用于阿爾茨海默癥分期早期檢測(cè)的多模態(tài)深度學(xué)習(xí)模型

深度學(xué)習(xí)在靜息態(tài)功能磁共振成像中的應(yīng)用

腦影像中的深度學(xué)習(xí)研究：前景與挑戰(zhàn)

基于磁共振成像的腦齡研究：可解釋的人工智能的當(dāng)前狀態(tài)和未來(lái)挑戰(zhàn)

BrainAGE作為大腦老化的神經(jīng)影像標(biāo)志物的十年

神經(jīng)影像研究驅(qū)動(dòng)的腦齡估計(jì)作為腦疾病和健康狀況識(shí)別的生物學(xué)標(biāo)記

基于原始影像數(shù)據(jù)的深度學(xué)習(xí)模型預(yù)測(cè)腦齡可獲得可靠的遺傳生物標(biāo)志物 AJP：精神分裂癥患者大腦加速老化的縱向識(shí)別研究 基于全球14468名被試MRI數(shù)據(jù)特征預(yù)測(cè)腦齡和疾病的深度學(xué)習(xí)模型 AJP：有和沒(méi)有內(nèi)化性精神障礙的受虐女孩情緒回路延遲成熟的差異性重度抑郁癥患者的腦齡

SVM在腦影像數(shù)據(jù)中的應(yīng)用

基于深度學(xué)習(xí)和自閉癥腦成像數(shù)據(jù)庫(kù)（ABIDE）識(shí)別自閉癥譜系障礙

Radiology：皮層厚度預(yù)測(cè)輕度認(rèn)知障礙轉(zhuǎn)化為帕金森癡呆癥

阿爾茨海默病及其先兆分期的神經(jīng)影像分類研究及相關(guān)特征提取

Nature子刊：基于深度學(xué)習(xí)預(yù)測(cè)家族性阿爾茲海默癥患者臨床前功能性腦老化

機(jī)器學(xué)習(xí)在重度抑郁癥患者中的應(yīng)用：從分類到治療結(jié)果預(yù)測(cè)

基于功能磁共振成像數(shù)據(jù)的機(jī)器學(xué)習(xí)對(duì)精神分裂癥進(jìn)行分類

使用多元表征方法提升對(duì)大腦-行為 之間關(guān)系的機(jī)器學(xué)習(xí)研究的泛化

用于臨床心理學(xué)和精神病學(xué)的機(jī)器學(xué)習(xí)方法
PLOS Biology：重度抑郁癥多成像中心的泛化腦網(wǎng)絡(luò)標(biāo)志物
Nature Medicine：持續(xù)的實(shí)驗(yàn)性和臨床性疼痛的神經(jīng)影像生物深度學(xué)習(xí)在嬰兒大腦的磁共振圖像分析中的作用（上）參數(shù)選擇對(duì)腦卒中后失語(yǔ)癥預(yù)測(cè)模型的影響大腦數(shù)據(jù)分類時(shí)意外過(guò)擬合的危險(xiǎn)

機(jī)器學(xué)習(xí)在靜息態(tài)功能磁共振成像中的應(yīng)用

有監(jiān)督機(jī)器學(xué)習(xí)在系統(tǒng)神經(jīng)科學(xué)中的作用

Nature Protocols：為解釋神經(jīng)成像中的機(jī)器學(xué)習(xí)模型

Biological Psychiatry: 基于多模態(tài)腦影像的個(gè)體指標(biāo)預(yù)測(cè)-方法

Biological Psychiatry：自閉癥的神經(jīng)亞型研究進(jìn)展

PNAS:灰質(zhì)年齡預(yù)測(cè)作為癡呆風(fēng)險(xiǎn)的生物標(biāo)志物

BRAIN：用于阿爾茨海默病分類的可解釋深度學(xué)習(xí)框架的開(kāi)發(fā)

異質(zhì)性問(wèn)題：識(shí)別精神疾病亞型的方法

NPP:結(jié)構(gòu)MRI數(shù)據(jù)的生理性別分類顯示跨性別者女性的錯(cuò)誤分

利用功能連接對(duì)腦疾病進(jìn)行分類和預(yù)測(cè)

基于腦影像的精神疾病預(yù)測(cè)

基于影像學(xué)和定量感覺(jué)測(cè)試預(yù)測(cè)慢性疼痛的治療結(jié)果

BRAIN：利用機(jī)器學(xué)習(xí)揭示了兩種精神分裂癥的神經(jīng)解剖學(xué)亞型

識(shí)別最優(yōu)的數(shù)據(jù)驅(qū)動(dòng)特征選擇方法以提高分類任務(wù)的可重復(fù)性

Neuron腦影像機(jī)器學(xué)習(xí)：表征、模式信息與大腦特征

Molecular Psychiatry：靜息態(tài)fMRI預(yù)測(cè)青少年認(rèn)知能力

JAMA Psychiatry：腦影像機(jī)器學(xué)習(xí)預(yù)測(cè)精神疾病患者社會(huì)功能

AJP:基于腦網(wǎng)絡(luò)的可卡因戒斷預(yù)測(cè)

基于機(jī)器學(xué)習(xí)的情緒障礙診斷：功能網(wǎng)絡(luò)預(yù)測(cè)藥物反應(yīng)

腦影像特征預(yù)測(cè)散發(fā)性阿爾茨海默病癥狀發(fā)作時(shí)間

1. 介紹

目前的精神病學(xué)診斷和預(yù)后方案需要改進(jìn)。有人認(rèn)為，神經(jīng)動(dòng)力學(xué)的相同變化可能會(huì)根據(jù)環(huán)境產(chǎn)生不同的行為輸出。這些觀察結(jié)果可能部分解釋了為什么只有一小部分患者對(duì)特定疾病的藥物或心理治療有反應(yīng)。因此個(gè)性化的治療形式需要一些不同的特征來(lái)補(bǔ)充常規(guī)診斷。

最近，人們對(duì)人工智能(AI)算法，尤其是深度學(xué)習(xí)(DL)領(lǐng)域的算法寄予了很高的希望。DL算法擅長(zhǎng)處理高度復(fù)雜的數(shù)據(jù)，其中的數(shù)據(jù)特征可能在多個(gè)層次以高度非線性的方式相互作用。例如，深度神經(jīng)網(wǎng)絡(luò)(DNNs)已經(jīng)被成功地用于皮膚癌和乳腺癌的自動(dòng)化檢測(cè)。

建立大型多模態(tài)數(shù)據(jù)庫(kù)無(wú)疑是在無(wú)監(jiān)督的情況下識(shí)別連貫的患者亞組的重要一步，通過(guò)使用不同層次分析之間的相互作用和聯(lián)系，獲得更好的機(jī)制理解，并進(jìn)行個(gè)性化治療。但我們需要多少數(shù)據(jù)，多“大”才足夠大?DNN能否在相對(duì)較小的數(shù)據(jù)庫(kù)上有效地使用?本文試圖從統(tǒng)計(jì)和機(jī)器學(xué)習(xí)(ML)的角度來(lái)解決其中的一些問(wèn)題。
2. 統(tǒng)計(jì)方法和ML中的模型

如前一節(jié)所討論的，精神病學(xué)研究需要應(yīng)對(duì)各種挑戰(zhàn)，包括識(shí)別用于穩(wěn)健診斷的生物標(biāo)記物，識(shí)別具有共同疾病特征和共同治療反應(yīng)特征的亞組，以及通過(guò)對(duì)潛在結(jié)果和疾病軌跡的預(yù)測(cè)進(jìn)行個(gè)性化治療。這些努力的基礎(chǔ)是對(duì)異常認(rèn)知和情緒功能的神經(jīng)生物學(xué)機(jī)制的更深入理解，以及基于這些見(jiàn)解設(shè)計(jì)有效的藥物治療和干預(yù)策略。從統(tǒng)計(jì)學(xué)的角度來(lái)看，前一組挑戰(zhàn)可以用回歸或分類問(wèn)題來(lái)解決，或者用聚類的無(wú)監(jiān)督檢測(cè)來(lái)表述，而后者，可以用統(tǒng)計(jì)方法和ML技術(shù)與計(jì)算建模相結(jié)合來(lái)解決。
例子：

對(duì)于一個(gè)分類問(wèn)題，我們可能希望通過(guò)認(rèn)知任務(wù)中的大腦激活來(lái)預(yù)測(cè)治療反應(yīng)或癥狀的嚴(yán)重程度，或者根據(jù)大腦的結(jié)構(gòu)特征來(lái)區(qū)分個(gè)體。在這兩種情況下，我們都可以用輸出變量y(例如，臨床診斷或癥狀的嚴(yán)重程)與一組輸入變量或特征x(例如，不同大腦區(qū)域的功能激活)之間的關(guān)系來(lái)表達(dá)我們的問(wèn)題。相反，如果我們質(zhì)疑當(dāng)前的診斷方案，并希望在不受當(dāng)前疾病分類學(xué)知識(shí)偏見(jiàn)的特征空間x中確定新的臨床相關(guān)分組，我們將其稱為無(wú)監(jiān)督設(shè)置。

在這兩種情況下，我們經(jīng)常用數(shù)據(jù)的數(shù)學(xué)模型來(lái)表述問(wèn)題，在有監(jiān)督情況下用x和y之間的函數(shù)關(guān)系fθ表示。通過(guò)數(shù)據(jù)進(jìn)行函數(shù)估計(jì)，這個(gè)過(guò)程被稱為模型訓(xùn)練。在無(wú)監(jiān)督的情況下，函數(shù)可能是某種形式的測(cè)量數(shù)據(jù)的結(jié)構(gòu)思想，例如，指定任何可能的數(shù)據(jù)點(diǎn)分配到組之間和組內(nèi)的距離。
2.1 假設(shè)檢驗(yàn)vs預(yù)測(cè)

統(tǒng)計(jì)學(xué)模型和ML模型之間沒(méi)有主要的區(qū)別，兩者都可以用于假設(shè)檢驗(yàn)或預(yù)測(cè)(見(jiàn)圖1)。然而，假設(shè)檢驗(yàn)和預(yù)測(cè)之間的區(qū)別很重要：雖然傳統(tǒng)上統(tǒng)計(jì)學(xué)更關(guān)注假設(shè)檢驗(yàn)，但機(jī)器學(xué)習(xí)對(duì)預(yù)測(cè)更感興趣。在經(jīng)典的統(tǒng)計(jì)假設(shè)檢驗(yàn)中，我們?cè)u(píng)估關(guān)于數(shù)據(jù)的概率性陳述，通常用模型的參數(shù)來(lái)表述。這種概率推理僅基于觀察到的訓(xùn)練數(shù)據(jù)。相比之下，在預(yù)測(cè)中，我們的目標(biāo)是預(yù)測(cè)未觀察到的結(jié)果，例如，給定一個(gè)新的觀測(cè)x(新)的可能輸出y(新)。

圖1 機(jī)器學(xué)習(xí)中的統(tǒng)計(jì)假設(shè)檢驗(yàn)與預(yù)測(cè)。

經(jīng)典統(tǒng)計(jì)假設(shè)檢驗(yàn)(底部路徑)是從總體中抽取隨機(jī)樣本，并估計(jì)模型的參數(shù)。然后根據(jù)模型參數(shù)對(duì)關(guān)于總體的假設(shè)進(jìn)行檢驗(yàn)。相比之下，在預(yù)測(cè)方面，我們應(yīng)該尋找在新樣本(紫色點(diǎn))中預(yù)測(cè)結(jié)果最好的模型。因此，與其在一個(gè)先驗(yàn)?zāi)Ｐ蜕洗_定一個(gè)被認(rèn)為能描述真實(shí)總體的統(tǒng)計(jì)特性，不如訓(xùn)練多個(gè)模型，以便在一個(gè)獨(dú)立的驗(yàn)證集(藍(lán)點(diǎn))上選擇損失最小的模型。

另一個(gè)相關(guān)的問(wèn)題是，所陳述的模型是概率性的還是確定性的:對(duì)于假設(shè)檢驗(yàn)，在某種程度上總是涉及到隨機(jī)變量和概率分布。對(duì)于預(yù)測(cè)，函數(shù)fθ不一定要表達(dá)一個(gè)概率關(guān)系，也就是說(shuō)，我們可能只需要y = fθ(x)，直接將結(jié)果y表示為特征x的某個(gè)(確定性)函數(shù)。

最后，雖然在統(tǒng)計(jì)中函數(shù)或模型fθ通常是非常簡(jiǎn)單的，并且/或允許精確和唯一的解析解，但在ML中fθ的函數(shù)關(guān)系可能非常復(fù)雜，就像DNN一樣。雖然后者在檢測(cè)和利用復(fù)雜的、高階非線性特征組合進(jìn)行預(yù)測(cè)方面可能更強(qiáng)大，但不利的方面在于：它們往往比fθ是一個(gè)簡(jiǎn)單的線性函數(shù)時(shí)更難以解釋。

2.2 DNNs與泛函逼近定理(UAT)

DNNs可能構(gòu)成了最強(qiáng)大的ML模型，至少?gòu)臄?shù)學(xué)計(jì)算的角度來(lái)看，它們最基本和最常用的形式是確定的。DNN內(nèi)部的神經(jīng)網(wǎng)絡(luò)層可以分為三類，輸入層，隱藏層和輸出層。層與層之間是全連接的，也就是說(shuō)，第i層的任意一個(gè)神經(jīng)元一定與第i+1層的任意一個(gè)神經(jīng)元相連。在視覺(jué)上，它們可以被理解為由人工神經(jīng)元、單元或節(jié)點(diǎn)組成的網(wǎng)絡(luò)，排列在前饋層中，稱為前饋神經(jīng)網(wǎng)絡(luò)(FNN，圖2a)，每個(gè)節(jié)點(diǎn)計(jì)算某個(gè)非線性函數(shù)f(所謂的激活函數(shù))對(duì)其輸入的加權(quán)和。

圖2 前饋神經(jīng)網(wǎng)絡(luò)(FNN)和函數(shù)逼近。

a.邏輯回歸模型(上)和FNN模型(下)的示意圖。邏輯回歸模型通過(guò)邏輯(sigmoid)型函數(shù)直接映射加權(quán)輸入，而FNN首先通過(guò)非線性的激活函數(shù)將加權(quán)輸入在多個(gè)階段中傳播。

b.換句話說(shuō)，FNN可以實(shí)現(xiàn)的函數(shù)空間更大，因此模型復(fù)雜度更高。

c.FNN可以用不同類型的激活函數(shù)來(lái)構(gòu)建。

在神經(jīng)科學(xué)和精神病學(xué)中，我們經(jīng)常處理時(shí)間序列數(shù)據(jù)，其中輸入和輸出的序列可能必須相互映射，或者提取時(shí)間結(jié)構(gòu)的一些信息特征。NNs可以通過(guò)合并以前的函數(shù)輸出擴(kuò)展到時(shí)間序列域，這種方式被稱為遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。RNN不僅包括前饋，而且還包括單元之間的遞歸連接，即活動(dòng)可以在單元之間來(lái)回傳播。RNN能夠?qū)W習(xí)序列每一刻的主要原因是它們隨時(shí)間共享參數(shù)，并且序列的每個(gè)輸入處的狀態(tài)變量隨時(shí)間更新。給定先前觀察到的序列值，可以將隨時(shí)間共享的這些參數(shù)與狀態(tài)變量進(jìn)行組合后以預(yù)測(cè)序列中的下一個(gè)值。一些研究人員將RNN中的“深度”更多地指的是它們的時(shí)間深度，可以通過(guò)系統(tǒng)檢測(cè)到觀測(cè)和時(shí)間結(jié)構(gòu)之間的依賴性。在這種意義上，深度RNN架構(gòu)的目的是為了橋接長(zhǎng)時(shí)間延遲，如長(zhǎng)短期記憶(LSTM)或基于門(mén)控循環(huán)單元(GRU)的網(wǎng)絡(luò)。

通過(guò)著名的普遍逼近定理(UAT)，只有一個(gè)非線性隱藏層的神經(jīng)網(wǎng)絡(luò)也能實(shí)現(xiàn)尋找到數(shù)據(jù)中y = f(x)的真正潛在函數(shù)關(guān)系。無(wú)論真實(shí)數(shù)據(jù)中y = f(x)的真正潛在函數(shù)關(guān)系是什么，只要有一個(gè)隱藏層的NN就可以表示它。這就提出了一個(gè)問(wèn)題，為什么在DNN中包含一個(gè)以上的隱藏層是一種明智的做法。為了達(dá)到所需的精度，層數(shù)也需要不斷增長(zhǎng)。除了這些計(jì)算上的原因，DNN有能力進(jìn)行表示學(xué)習(xí)或自動(dòng)特征提取，實(shí)現(xiàn)這些可以直接從跨層構(gòu)建數(shù)據(jù)本身實(shí)現(xiàn)。例如，當(dāng)對(duì)面部圖像進(jìn)行訓(xùn)練時(shí)，DNN將學(xué)會(huì)在早期層中表示簡(jiǎn)單的特征，然后在隨后的層中表示眼睛和鼻子，最后表示整個(gè)臉。

最后，原則上任何前饋或時(shí)變(動(dòng)態(tài))函數(shù)都可以在只有一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)，但它們沒(méi)有說(shuō)明實(shí)現(xiàn)過(guò)程中涉及的困難，也沒(méi)有說(shuō)明需要多少數(shù)據(jù)才能達(dá)到令人滿意的精度。增加單元或?qū)訑?shù)，或更一般地增加函數(shù)fθ的復(fù)雜性，將增加所需的精度，但通常也會(huì)增加模型估計(jì)或訓(xùn)練所需的樣本大小。這是因?yàn)槟Ｐ偷膹?fù)雜性和樣本的大小是密切相關(guān)的，我們將在下文中討論。

如您對(duì)腦影像機(jī)器學(xué)習(xí)等數(shù)據(jù)處理如腦功能，腦網(wǎng)絡(luò)或其他模態(tài)腦影像數(shù)據(jù)處理感興趣，請(qǐng)瀏覽思影以下鏈接（直接點(diǎn)擊即可瀏覽），感謝轉(zhuǎn)發(fā)支持。(可添加微信號(hào)siyingyxf或18983979082咨詢)：

上海：

第二十四屆腦影像機(jī)器學(xué)習(xí)班（上海，10.9-14）

第三十一屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（上海，10.28-11.2）

第六十九屆磁共振腦影像基礎(chǔ)班（上海，11.4-9）

北京：

第十屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（北京，10.20-25）

第十一屆磁共振ASL（動(dòng)脈自旋標(biāo)記）數(shù)據(jù)處理班（北京，11.3-6）

第七十二屆磁共振腦影像基礎(chǔ)班（北京，11.9-14）

第六屆影像組學(xué)班（北京，11.25-30）

第五屆R語(yǔ)言統(tǒng)計(jì)班（北京，11.16-20）

南京：

第三十三屆磁共振腦網(wǎng)絡(luò)數(shù)據(jù)處理班（南京，10.16-21）

第二十二屆磁共振腦影像結(jié)構(gòu)班（南京，10.24-29）

第七十一屆磁共振腦影像基礎(chǔ)班（南京，11.12-17）

重慶：

第九屆腦網(wǎng)絡(luò)數(shù)據(jù)處理提高班（重慶，10.13-18）

第七十屆磁共振腦影像基礎(chǔ)班（重慶，10.22-27）

第二十八屆彌散成像數(shù)據(jù)處理班（重慶，11.5-10）

第六屆彌散磁共振成像提高班（重慶，11.17-22）

數(shù)據(jù)處理業(yè)務(wù)介紹：

思影科技功能磁共振(fMRI)數(shù)據(jù)處理業(yè)務(wù)

思影科技彌散加權(quán)成像（DWI/dMRI）數(shù)據(jù)處理

思影科技腦結(jié)構(gòu)磁共振成像數(shù)據(jù)處理業(yè)務(wù)（T1)

思影科技定量磁敏感（QSM)數(shù)據(jù)處理業(yè)務(wù)

思影科技嚙齒類動(dòng)物（大小鼠）神經(jīng)影像數(shù)據(jù)處理業(yè)務(wù)

思影科技靈長(zhǎng)類動(dòng)物fMRI分析業(yè)務(wù)

思影數(shù)據(jù)處理業(yè)務(wù)三：ASL數(shù)據(jù)處理

思影科技腦影像機(jī)器學(xué)習(xí)數(shù)據(jù)處理業(yè)務(wù)介紹

思影科技微生物菌群分析業(yè)務(wù)

招聘及產(chǎn)品：

思影科技招聘數(shù)據(jù)處理工程師 （上海，北京，南京，重慶）

BIOSEMI腦電系統(tǒng)介紹

目鏡式功能磁共振刺激系統(tǒng)介紹

3. 模型復(fù)雜性、樣本大小和一般化

在醫(yī)療領(lǐng)域，當(dāng)我們?cè)噲D尋找新的生物標(biāo)志物時(shí)，我們最終更關(guān)心的不是假設(shè)檢驗(yàn)，而是預(yù)測(cè)。我們要求，在一組訓(xùn)練數(shù)據(jù)上訓(xùn)練的模型，如果我們將其應(yīng)用于之前訓(xùn)練集中不包含的新的觀察，它需要有助于正確的診斷，或確定最佳的治療形式。與用于模型訓(xùn)練的標(biāo)準(zhǔn)一樣，PE(預(yù)測(cè)誤差)可能基于不同類型的損失函數(shù)，例如MSE損失或基于可能性的標(biāo)準(zhǔn)。至少有三種不同類型的預(yù)測(cè)我們需要區(qū)分(見(jiàn)圖3):樣本內(nèi)PE指的是我們保持一部分?jǐn)?shù)據(jù)固定的情況，例如預(yù)測(cè)值，其目的是確定這組給定的預(yù)測(cè)值的一組新的真實(shí)結(jié)果和預(yù)測(cè)結(jié)果之間的預(yù)期偏差(圖3c)。一個(gè)更有趣的量是樣本外PE，我們?cè)谝恍?shù)據(jù)上訓(xùn)練模型，然后繪制一個(gè)新樣本來(lái)評(píng)估PE(圖3c)。在這個(gè)過(guò)程中，我們經(jīng)常假設(shè)新樣本與訓(xùn)練樣本具有相同的統(tǒng)計(jì)特性，即來(lái)自相同的概率分布。然而，對(duì)于臨床實(shí)踐來(lái)說(shuō)，情況可能并非如此。在這里，我們將其稱為“范圍外”P(pán)E(圖3d)，只有當(dāng)我們擁有來(lái)自不同領(lǐng)域的數(shù)據(jù)，或者我們擁有一個(gè)基于我們的樣本的過(guò)程的良好機(jī)制模型時(shí)，才能現(xiàn)實(shí)地確定這一PE(預(yù)測(cè)誤差)。

圖3 不同類型的預(yù)測(cè)誤差。

(a)與兩個(gè)虛構(gòu)群體(紅色和藍(lán)色)相關(guān)的兩個(gè)高斯分布的等高線，顯示了一個(gè)特征和一個(gè)結(jié)果(例如，腦容量減少和年齡)之間的概率關(guān)系。

(b)從兩個(gè)分布中抽取n = 30點(diǎn)的兩個(gè)隨機(jī)樣本(用對(duì)應(yīng)的顏色表示)。

(c) 50%的紅色樣本(如b所示)用于擬合線性模型(斜紅線)。剩下的50%的樣本點(diǎn)(測(cè)試集)在這里顯示為白色圓圈，用于評(píng)估樣本外誤差(紅色豎線)。另一個(gè)結(jié)果樣本是在用于訓(xùn)練(橙色圓圈)和用于評(píng)估樣本內(nèi)預(yù)測(cè)誤差(橙色豎線)的完全相同的特征值上繪制的。

(d)該模型(紅線，與c中相同)現(xiàn)在被用于預(yù)測(cè)藍(lán)色(更廣泛)樣本(可能在不同地點(diǎn)收集)的結(jié)果。垂直的藍(lán)色線表示域外預(yù)測(cè)誤差。這個(gè)誤差似乎比其他兩個(gè)誤差(c)都要大，表明對(duì)結(jié)果的系統(tǒng)性低估。

3.1 偏差-方差權(quán)衡與模型復(fù)雜性

訓(xùn)練誤差不是一個(gè)很好的衡量我們的模型質(zhì)量的方法。對(duì)于具有給定參數(shù)數(shù)量的給定模型，確實(shí)如此，因此確定模型參數(shù)以使訓(xùn)練損失最小化是完全合理的。然而，當(dāng)我們的模型應(yīng)用于一個(gè)新的樣本時(shí)，這并不是一個(gè)很好可以用于估計(jì)預(yù)期的損失的方法，因此不適合在不同參數(shù)數(shù)量的不同模型之間進(jìn)行選擇。合理復(fù)雜的模型，可以在任意程度上擬合(即近似)任何函數(shù)，從而擬合任何給定的訓(xùn)練數(shù)據(jù)集，使得對(duì)于足夠數(shù)量的參數(shù)，訓(xùn)練誤差實(shí)際上為零(見(jiàn)圖4b, c)。一個(gè)具有相同數(shù)量的預(yù)測(cè)結(jié)果的回歸模型，或者在一個(gè)相當(dāng)強(qiáng)大的模型中具有足夠多的參數(shù)的回歸模型，可以生成一條經(jīng)過(guò)每一個(gè)數(shù)據(jù)點(diǎn)的曲線。在某種程度上，這樣的模型將捕獲包括噪聲在內(nèi)的數(shù)據(jù)的全部可變性，這意味著它將“解釋”純?cè)肼暈橄到y(tǒng)的和有意義的波動(dòng)。這種現(xiàn)象也被稱為過(guò)擬合。過(guò)擬合意味著預(yù)測(cè)中存在較大的方差，因?yàn)槊看挝覀兝L制一個(gè)新的樣本，我們將得到一個(gè)新的模型，如圖4c所示。

圖4 模型復(fù)雜性和偏差-方差權(quán)衡。

(a)隨著模型復(fù)雜性的增加(x軸)，方差增大，偏差減小。我們希望選擇平衡這兩個(gè)量的(最優(yōu))模型，達(dá)到最小的預(yù)測(cè)誤差(y軸，最小的偏差加方差，黑色曲線)。增加樣本量有效地將這個(gè)最小值移向右邊(虛線)，使模型具有更高的復(fù)雜性。

(b)欠擬合示意圖(上)和過(guò)擬合示意圖(下)。

(c)過(guò)擬合細(xì)節(jié):這里我們假設(shè)輸入和輸出之間的真實(shí)關(guān)系是完全線性的，如黑線所示(該線上有5個(gè)數(shù)據(jù)點(diǎn))。假設(shè)我們只觀察了一個(gè)數(shù)據(jù)點(diǎn)(黑實(shí)心圓)，我們可以同樣很好地?cái)M合無(wú)限多條直線。在這個(gè)簡(jiǎn)單的例子中，只要增加一個(gè)數(shù)據(jù)點(diǎn)的樣本量(假設(shè)數(shù)據(jù)中沒(méi)有噪聲)，我們就可以挑選出正確的模型。

在經(jīng)典假設(shè)檢驗(yàn)中，我們假設(shè)我們一開(kāi)始就有一個(gè)相當(dāng)精確的數(shù)據(jù)模型，并在這個(gè)假設(shè)下執(zhí)行所有的概率計(jì)算(圖1)。在許多實(shí)證情況下，特別是在精神病學(xué)研究中，這種方法并沒(méi)有帶來(lái)預(yù)期的進(jìn)展。因此，最近的重點(diǎn)已經(jīng)轉(zhuǎn)移到采用ML方法直接從數(shù)據(jù)推斷更復(fù)雜的模型。在統(tǒng)計(jì)學(xué)上，模型將表現(xiàn)出低偏差，我們指的是真正的數(shù)據(jù)生成函數(shù)與函數(shù)的最佳可能模型估計(jì)之間的系統(tǒng)性偏差。人們可以粗略地將模型復(fù)雜性視為模型與數(shù)據(jù)匹配的通用性和靈活性的度量。理想情況下，我們希望選擇一個(gè)盡可能強(qiáng)大和靈活的模型，同時(shí)以最佳方式平衡偏差和方差。這時(shí)就需要考慮樣本量和“大數(shù)據(jù)”了。更大的數(shù)據(jù)集能夠從數(shù)據(jù)中學(xué)習(xí)更復(fù)雜的關(guān)系，因?yàn)樗鼈冊(cè)试S更復(fù)雜的模型，同時(shí)保持較低的偏差(圖4a)。樣本量有效地轉(zhuǎn)移了偏差和方差之間的權(quán)衡，從而可以在不影響PE的情況下推斷出更復(fù)雜的模型(見(jiàn)圖4a)。

雖然偏差-方差權(quán)衡是傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)理論的核心概念，并決定了模型的選擇，但最近對(duì)DL模型的經(jīng)驗(yàn)觀察令人驚訝地表明，一旦模型強(qiáng)烈過(guò)擬合，超過(guò)了與訓(xùn)練數(shù)據(jù)完美匹配的點(diǎn)，與直覺(jué)完全相反的是，在過(guò)擬合范圍內(nèi)測(cè)試誤差首次達(dá)到最大值后(圖4a)，隨著模型復(fù)雜性的進(jìn)一步增加，它傾向于再次下降。在這種模式下，所有的模型幾乎完美地?cái)M合訓(xùn)練數(shù)據(jù)。然而，重要的是，只有在優(yōu)化函數(shù)中包含所謂的正則化項(xiàng)時(shí)，才會(huì)發(fā)生這種情況。這一現(xiàn)象背后的精確數(shù)學(xué)機(jī)制仍然沒(méi)有被完全理解。

3.2 模型選擇

為了從一大類模型中選擇一個(gè)特定的模型或它的參數(shù)數(shù)量，我們需要估計(jì)樣本外PE。已經(jīng)有人試圖推導(dǎo)出解析公式來(lái)獲得這樣的估計(jì)值，但需要使用大多數(shù)直接基于數(shù)據(jù)的數(shù)值方法來(lái)產(chǎn)生可靠的估計(jì)值。模型選擇的解析公式通?；谟?xùn)練誤差的調(diào)整或懲罰項(xiàng)來(lái)估計(jì)PE。其思想是，訓(xùn)練誤差是對(duì)預(yù)期測(cè)試誤差的過(guò)度樂(lè)觀估計(jì)，因此通過(guò)近似這個(gè)樂(lè)觀估計(jì)并將其添加到訓(xùn)練誤差中，我們應(yīng)該得到一個(gè)更好的PE(預(yù)測(cè)誤差)估計(jì)。

常用的分析公式是Akaike信息準(zhǔn)則(AIC)和貝葉斯信息準(zhǔn)則(BIC)。這些方法通常只提供相對(duì)粗糙的PE近似，AIC和BIC分別被觀察到過(guò)擬合和欠擬合。估計(jì)樣本外PE的最流行的數(shù)值方法可能是交叉驗(yàn)證(CV)，也有點(diǎn)像目前的“金標(biāo)準(zhǔn)”。在CV中，我們用更大比例的可用數(shù)據(jù)訓(xùn)練模型，比如90%，然后用剩下的10%未用于模型訓(xùn)練的數(shù)據(jù)測(cè)試模型性能，從而得到一個(gè)樣本外PE。在K倍CV中，對(duì)每個(gè)K = 10 × 10%的數(shù)據(jù)片段依次重復(fù)此過(guò)程，即每個(gè)10%的片段保留一次用于測(cè)試，而在剩下的90%上訓(xùn)練模型，這樣可以充分利用所有可用的數(shù)據(jù)，在10次迭代中進(jìn)行訓(xùn)練和測(cè)試。最后的PE估值是所有10次運(yùn)行的平均值。CV既可用于選擇模型，也可用于評(píng)估樣本外PE，但不能同時(shí)用于兩者。

如果我們數(shù)據(jù)太少，我們可能無(wú)法負(fù)擔(dān)一個(gè)單獨(dú)的測(cè)試集或只是一個(gè)小的測(cè)試集。當(dāng)然，測(cè)試集越大，平均PE估值的不確定度就越低。事實(shí)上，過(guò)小的測(cè)試(和訓(xùn)練)樣本可能是我們?cè)诰癫W(xué)研究中觀察到模型分類準(zhǔn)確性和樣本量之間存在反直覺(jué)負(fù)相關(guān)的原因之一。

綜上所述，隨著樣本規(guī)模的增加，估計(jì)模型參數(shù)的方差(標(biāo)準(zhǔn)誤差)會(huì)減小。因此，我們可以承擔(dān)更復(fù)雜的模型，這些模型具有更低的偏差。這一權(quán)衡究竟在哪里得到了優(yōu)化，需要通過(guò)正式的程序(如CV)來(lái)確定手頭的特定數(shù)據(jù)和模型類。數(shù)據(jù)的其他屬性，如不可約噪聲的數(shù)量或數(shù)據(jù)的分布類型，也會(huì)影響所需的樣本量。如果分布非常廣泛，例如多模態(tài)，我們可能需要更大的樣本。

3.3 跨地點(diǎn)或范圍外預(yù)測(cè)

當(dāng)我們獲得一個(gè)樣本外PE估計(jì)時(shí)，我們假設(shè)希望任何新數(shù)據(jù)都具有相同的統(tǒng)計(jì)/分布屬性。從本質(zhì)上說(shuō)，這意味著數(shù)據(jù)中的所有來(lái)源的可變性需要在樣本中是相同的。但是某一特征的變異性(如腦容量減少)可能來(lái)自多種來(lái)源。納入標(biāo)準(zhǔn)的差異可能會(huì)限制疾病相關(guān)或生物學(xué)變異性，而不同的測(cè)量設(shè)備(例如多地點(diǎn)研究中不同的MRI機(jī)器)可能會(huì)在樣本中產(chǎn)生不同的誤差，從而可能導(dǎo)致違反常見(jiàn)的分布假設(shè)。這反過(guò)來(lái)可能導(dǎo)致建立臨床相關(guān)預(yù)測(cè)模型所涉及的最大危險(xiǎn)之一。

3.4 時(shí)間序列和順序數(shù)據(jù)的特殊挑戰(zhàn)

我們?cè)跁r(shí)間序列分析中的目標(biāo)可能是雙重的：一方面，我們可能只想從時(shí)間序列中提取時(shí)間特征，如不同頻帶的功率或功能連接，然后我們希望將其用作分類或回歸模型中的預(yù)測(cè)。在這種情況下，假設(shè)我們有來(lái)自N個(gè)獨(dú)立被試的時(shí)間序列，我們可以簡(jiǎn)單地按照前面所述進(jìn)行，因?yàn)樽罱K用于預(yù)測(cè)的模型本身并不是一個(gè)時(shí)間序列模型，而是一個(gè)前饋模型，它只是使用從N個(gè)獨(dú)立時(shí)間序列中提取的特征作為輸入。然而，通常情況下，我們的目標(biāo)是預(yù)測(cè)一個(gè)時(shí)間序列，例如，我們可能希望預(yù)測(cè)股票市場(chǎng)份額，或從跨時(shí)間順序輸入的醫(yī)療記錄中預(yù)測(cè)未來(lái)患者的軌跡，或從各種傳感器和生態(tài)瞬時(shí)評(píng)估等移動(dòng)數(shù)據(jù)中預(yù)測(cè)。在這些情況下，我們必須考慮時(shí)間序列和順序數(shù)據(jù)都有它們自己的具體問(wèn)題。

由于數(shù)據(jù)中的自相關(guān)性(以及潛在的非平穩(wěn)性)，將數(shù)據(jù)分成K次折疊并執(zhí)行CV就不是那么簡(jiǎn)單了。例如，我們不能只是隨機(jī)地遺漏一些數(shù)據(jù)點(diǎn)。同時(shí)，任何被省略的段都將與其他段高度相關(guān)，至少與直接前面的段高度相關(guān)，這意味著它不會(huì)構(gòu)成一個(gè)獨(dú)立的測(cè)試集，而這是通過(guò)CV確定PE的基礎(chǔ)。如果來(lái)自N個(gè)不同的受試者(或相當(dāng)獨(dú)立的試驗(yàn))的時(shí)間序列可用，我們可以執(zhí)行與上面相同的策略，在90%的受試者上訓(xùn)練模型，固定參數(shù)，并在剩下的10%的受試者上測(cè)試它們的預(yù)測(cè)性能。

這就帶來(lái)了另外一些問(wèn)題，我們?cè)谶@里只簡(jiǎn)要介紹一下:

首先，生物學(xué)和心理學(xué)中的時(shí)間序列數(shù)據(jù)是由一些更大的潛在動(dòng)力系統(tǒng)生成的，我們只部分觀察到。當(dāng)我們將訓(xùn)練過(guò)的時(shí)間序列模型應(yīng)用于新的觀測(cè)時(shí)，我們對(duì)初始條件的估計(jì)可能因此是高度模糊的，通常意味著預(yù)測(cè)中存在著令人無(wú)法接受的大方差。

其次，特別是對(duì)于由動(dòng)力系統(tǒng)生成的時(shí)間序列，哪一種度量最適合用于評(píng)估預(yù)測(cè)性能，這實(shí)際上是一個(gè)開(kāi)放的問(wèn)題，這使得傳統(tǒng)的MSE或基于可能性的測(cè)量方法直接在時(shí)間序列上進(jìn)行評(píng)估不合適。

3.5 模型訓(xùn)練、計(jì)算效率和優(yōu)化

另一點(diǎn)要考慮的是，從數(shù)據(jù)推斷統(tǒng)計(jì)模型和ML模型所涉及的計(jì)算和數(shù)值問(wèn)題。與簡(jiǎn)單統(tǒng)計(jì)模型不同的是，許多ML算法，特別是DNN算法的優(yōu)化環(huán)境可能非常復(fù)雜，因此優(yōu)化成為一個(gè)嚴(yán)峻的挑戰(zhàn)。潛在的，即使我們知道模型A在原則上是優(yōu)化給定數(shù)據(jù)集的偏差-方差-權(quán)衡的模型，在實(shí)踐中可能很難找到其多元損失函數(shù)中優(yōu)化該權(quán)衡的特定點(diǎn)，這需要大量的計(jì)算資源。一般來(lái)說(shuō)，更復(fù)雜的模型需要更長(zhǎng)的訓(xùn)練時(shí)間。因此，人們需要意識(shí)到，像DNN這樣更復(fù)雜的模型的適用性不僅受到滿足偏差-方差挑戰(zhàn)所需的樣本量的限制，還受到尋找接近最優(yōu)解所涉及的附加問(wèn)題以及隨之而來(lái)的計(jì)算成本的限制。

總而言之，精神病學(xué)中的回歸和分類問(wèn)題可能需要學(xué)習(xí)特征和結(jié)果之間的復(fù)雜映射，整合來(lái)自多個(gè)領(lǐng)域的數(shù)據(jù)，并結(jié)合時(shí)間和空間信息。然而，由于偏差-方差權(quán)衡和在尋找復(fù)雜模型的最小損失函數(shù)和計(jì)算硬件和時(shí)間資源時(shí)所涉及的計(jì)算問(wèn)題，樣本量可能會(huì)減少所需復(fù)雜性的推斷模型。

4. 精神病學(xué)中的數(shù)據(jù)

雖然DNN能夠揭示復(fù)雜但具有高度預(yù)測(cè)性的特征組合，但它們通常需要大量的參數(shù)。例如，在使用8個(gè)隱藏層和超過(guò)6000萬(wàn)個(gè)參數(shù)的DNN的圖像處理任務(wù)中，超過(guò)1500萬(wàn)的標(biāo)記圖像被用于訓(xùn)練。這些樣本量在精神病學(xué)領(lǐng)域是無(wú)法獲得的，特別是當(dāng)涉及到昂貴而費(fèi)力的技術(shù)時(shí)，比如認(rèn)知任務(wù)中的神經(jīng)成像。然而，這并不意味著我們不能在精神病學(xué)中使用基于DNN的方法。用于數(shù)據(jù)分析的DNN框架包括：(1)模型架構(gòu)，(2)損失函數(shù)，(3)訓(xùn)練算法，以及(4)DNN要在其上訓(xùn)練的數(shù)據(jù)本身。事實(shí)上，我們可以對(duì)所有這四個(gè)組件進(jìn)行調(diào)優(yōu)，使DNN方法適用于中小型數(shù)據(jù)集，下面將簡(jiǎn)要介紹。

4.1 網(wǎng)絡(luò)體系結(jié)構(gòu)

特定的網(wǎng)絡(luò)體系結(jié)構(gòu)決定了哪一類函數(shù)可以在計(jì)算上有效地近似。因此，通過(guò)簡(jiǎn)化訓(xùn)練過(guò)程，選擇合適的模型體系結(jié)構(gòu)可能有助于減少對(duì)樣本量的要求。

CNN是專門(mén)為處理計(jì)算機(jī)視覺(jué)中的圖像信息而設(shè)計(jì)的網(wǎng)絡(luò)的一個(gè)例子。受靈長(zhǎng)類視覺(jué)系統(tǒng)的啟發(fā)，CNN的建立是為了利用圖像中的空間不變量來(lái)提取特征映射。在醫(yī)學(xué)上，當(dāng)基于成像數(shù)據(jù)開(kāi)發(fā)分類器時(shí)，CNN可能是最受歡迎的DNN模型。在精神病學(xué)和神經(jīng)病學(xué)中，它們被用于根據(jù)通過(guò)MRI獲得的腦解剖圖像、功能性腦圖像或由此衍生的功能連接或結(jié)合結(jié)構(gòu)和功能性神經(jīng)成像數(shù)據(jù)對(duì)疾病進(jìn)行分類。

與視覺(jué)域的CNN類似，在時(shí)間域中使用的LSTMs是一種專門(mén)的系統(tǒng)，能夠通過(guò)特殊的“記憶結(jié)構(gòu)”和乘法門(mén)提取時(shí)間序列中的長(zhǎng)期依賴關(guān)系，乘法門(mén)控制信息流入和流出這些記憶結(jié)構(gòu)。例如，在精神病學(xué)中，LSTMs已被用于移動(dòng)數(shù)據(jù)來(lái)預(yù)測(cè)雙相情感障礙患者的抑郁和躁狂狀態(tài)，用于從言語(yǔ)中檢測(cè)精神障礙，用于區(qū)分精神病患者和健康對(duì)照組。

4.2 損失函數(shù)和正則化技術(shù)的選擇

損失函數(shù)的選擇主要取決于數(shù)據(jù)的規(guī)模水平(例如，連續(xù)、順序或分類數(shù)據(jù))，以及我們是在統(tǒng)計(jì)框架內(nèi)工作還是在更確定的ML框架內(nèi)工作。在“傳統(tǒng)的”確定性ML中，我們經(jīng)常簡(jiǎn)單地采用MSE準(zhǔn)則。在統(tǒng)計(jì)框架中，我們通常希望對(duì)包含不確定性度量的數(shù)據(jù)的分布進(jìn)行建模，因此使用基于可能性的標(biāo)準(zhǔn)或貝葉斯方法進(jìn)行模型訓(xùn)練。

除了考慮我們是想在統(tǒng)計(jì)的還是確定的ML框架中工作外，損失函數(shù)可以通過(guò)特定的方式修改，以鼓勵(lì)訓(xùn)練算法找到解，從而以特定的方式減少有效參數(shù)數(shù)量或模型復(fù)雜性。這被稱為正則化。最流行的技術(shù)是L1和L2正則化，后者也被稱為“權(quán)重衰減”，Tikhonov正則化。L2 正則化公式非常簡(jiǎn)單，是直接在原來(lái)的損失函數(shù)基礎(chǔ)上加上權(quán)重參數(shù)的平方和。L1 正則化公式是直接在原來(lái)的損失函數(shù)基礎(chǔ)上加上權(quán)重參數(shù)的絕對(duì)值。

L1和L2正則化在所有類型的統(tǒng)計(jì)模型和ML模型中都很常見(jiàn)，包括FNN和RNN。對(duì)于DNN，開(kāi)發(fā)了更具體的技術(shù)，以防止過(guò)擬合，并鼓勵(lì)更稀疏和更簡(jiǎn)單的解決方案。一個(gè)特別有效的方法是參數(shù)退出。在這里，一部分單元被臨時(shí)隨機(jī)地從網(wǎng)絡(luò)中移除(例如，通過(guò)將它們的輸出乘以0并有效地將它們從損失函數(shù)中刪除)，以便在任何時(shí)候只訓(xùn)練一個(gè)“變薄”的網(wǎng)絡(luò)。

4.3 訓(xùn)練算法

我們已經(jīng)將訓(xùn)練(優(yōu)化或推斷)算法確定為另一個(gè)可能影響所需樣本大小的潛在瓶頸。我們可以采取幾個(gè)步驟來(lái)改進(jìn)。首先，任何訓(xùn)練算法都從初始提取參數(shù)估計(jì)開(kāi)始，也稱為初始化，大量的研究完全集中于在DNNs中開(kāi)發(fā)有效的初始化過(guò)程。Hinton等人介紹了一種巧妙的訓(xùn)練技術(shù)，在該技術(shù)中，層層預(yù)先訓(xùn)練，在整個(gè)網(wǎng)絡(luò)完全訓(xùn)練之前，網(wǎng)絡(luò)參數(shù)已經(jīng)被初始化(見(jiàn)圖5)。雖然這聽(tīng)起來(lái)像是一個(gè)相當(dāng)小的修改，但這一見(jiàn)解對(duì)DNN算法的突破性成功貢獻(xiàn)很大。

圖5 DNNs用于個(gè)體化(治療)預(yù)測(cè)。

為了使用更復(fù)雜的FNN或RNN模型進(jìn)行量身定制的預(yù)測(cè)，我們可以在多個(gè)個(gè)體上預(yù)訓(xùn)練。我們首先減少輸入維度，例如使用自動(dòng)編碼器(步驟1)，然后對(duì)減少的大樣本輸入預(yù)訓(xùn)練DNN(步驟2)。然后在第三步對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)對(duì)特定個(gè)體進(jìn)行微調(diào)。

另一種方法是annealing方法，此方法在整個(gè)訓(xùn)練過(guò)程中逐步修改損失函數(shù)，這樣訓(xùn)練算法首先被引導(dǎo)到參數(shù)空間的區(qū)域，在那里通?？梢哉业礁叩目赡苄?/span>(更低的損失)解，然后迭代地改進(jìn)這些解。

此外，更新參數(shù)的具體過(guò)程也會(huì)產(chǎn)生重要影響。也許訓(xùn)練過(guò)程中最具決定性的方面是(1)它如何隨數(shù)據(jù)大小和參數(shù)擴(kuò)展，(2)它利用數(shù)據(jù)中的哪些信息，(3)它采取哪些步驟來(lái)遠(yuǎn)離局部極小值，以及(4)如何處理?yè)p失函數(shù)中斜率不同的區(qū)域。也許DNN最流行的訓(xùn)練方案是隨機(jī)梯度下降(SGD)。一般來(lái)說(shuō)，梯度下降背后的思想是為了向一個(gè)函數(shù)的局部最小值移動(dòng)，我們只需要遵循與該函數(shù)的負(fù)梯度成正比的步驟。SGD利用了這一原理，但它不是計(jì)算整個(gè)數(shù)據(jù)集的梯度，而是從(隨機(jī)抽取的)樣本的一小部分或小批量中計(jì)算梯度，因此在訓(xùn)練過(guò)程中注入了一些噪聲，可能有助于避免局部極小值。特別是對(duì)于大量數(shù)據(jù)，SGD計(jì)算效率高，速度相對(duì)較快。

最后，現(xiàn)代DNN研究已經(jīng)提出了一些通用程序，以促進(jìn)獨(dú)立于推理框架的模型的可泛化性，這些推理框架現(xiàn)在是許多標(biāo)準(zhǔn)協(xié)議的一部分。這些方法包括早期停止或?qū)剐杂?xùn)練程序。

4.4 數(shù)據(jù)本身處理

特征選擇：

我們還可以對(duì)數(shù)據(jù)本身采取各種步驟，以減輕模型方面的負(fù)擔(dān)，并幫助推廣到新觀察。一種想法是降低數(shù)據(jù)的維數(shù)，或以某種方式對(duì)其進(jìn)行預(yù)處理?；谖覀冏约旱念I(lǐng)域知識(shí)，我們可以預(yù)選我們認(rèn)為信息豐富的特征。例如，使用來(lái)自sMRI圖像的平均區(qū)域灰質(zhì)體積作為特征，將省去神經(jīng)網(wǎng)絡(luò)基于個(gè)體素值識(shí)別和表示不同分離區(qū)域的工作。大多數(shù)精神病學(xué)研究事先手工選擇特征，例如，通過(guò)從BOLD時(shí)間序列中計(jì)算功能連接值，為神經(jīng)網(wǎng)絡(luò)省去了學(xué)習(xí)哪些時(shí)間表示是相關(guān)的工作。事實(shí)上，任何數(shù)據(jù)處理步驟都可以被視為一種特征選擇，包括預(yù)處理、縮放或感興趣區(qū)域的選擇。

然而，這種基于領(lǐng)域知識(shí)的預(yù)處理和特征選擇的缺點(diǎn)可能是我們會(huì)忽略一些數(shù)據(jù)的重要性和高度預(yù)測(cè)性的方面。在某種意義上，這與DL的精神相矛盾，DL應(yīng)該自己找到有用的數(shù)據(jù)表示和特性。

數(shù)據(jù)增強(qiáng)：

我們也可以人為地增加樣本的大小和樣本內(nèi)部的變化，而不是減少輸入維度，這種方法被稱為數(shù)據(jù)增強(qiáng)。對(duì)于圖像數(shù)據(jù)，這包括旋轉(zhuǎn)、平移、縮放、翻轉(zhuǎn)、剪切或拉伸原始圖像，或簡(jiǎn)單地添加噪聲。這些操作背后的想法是，它們將幫助網(wǎng)絡(luò)學(xué)習(xí)不變的、更一般的表示。例如，在識(shí)別一張臉上的微笑時(shí)，圖像是否模糊或臉是否倒置并不重要。另一種數(shù)據(jù)增強(qiáng)策略涉及生成模型，如果經(jīng)過(guò)適當(dāng)訓(xùn)練，就可以生成與原始數(shù)據(jù)具有相同分布屬性的數(shù)據(jù)。為此目的，最近流行的一種框架被稱為生成對(duì)抗網(wǎng)絡(luò)(GANs)。GANs試圖通過(guò)訓(xùn)練兩個(gè)相互競(jìng)爭(zhēng)的網(wǎng)絡(luò)(生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò))來(lái)接近真實(shí)的數(shù)據(jù)生成分布。生成器試圖創(chuàng)建與真實(shí)數(shù)據(jù)盡可能相似的數(shù)據(jù)樣本，而鑒別器則努力區(qū)分真實(shí)和假(生成的)樣本。生成器將學(xué)習(xí)近似數(shù)據(jù)生成分布，從中可以生成新的(模擬的)數(shù)據(jù)樣本并用于訓(xùn)練。

遷移學(xué)習(xí)：

遷移學(xué)習(xí)是另一種改善數(shù)據(jù)狀況的技術(shù)，它通過(guò)將在一個(gè)數(shù)據(jù)域中獲得的知識(shí)轉(zhuǎn)移到另一個(gè)的問(wèn)題設(shè)置中。例如，機(jī)器學(xué)習(xí)者經(jīng)常使用已經(jīng)公開(kāi)可用的經(jīng)過(guò)訓(xùn)練的DNN模型，如AlexNet或VGGNet，而不是每次面對(duì)一個(gè)新的問(wèn)題設(shè)置時(shí)就從頭開(kāi)始訓(xùn)練DNN進(jìn)行對(duì)象識(shí)別任務(wù)，并簡(jiǎn)單地調(diào)整當(dāng)前任務(wù)的參數(shù)。這種預(yù)訓(xùn)練或遷移學(xué)習(xí)節(jié)省了數(shù)據(jù)資源和訓(xùn)練時(shí)間。在這方面，開(kāi)放數(shù)據(jù)可能會(huì)提供巨大的幫助。模型可以在當(dāng)前應(yīng)用程序中針對(duì)類似的，或者理想情況下甚至是相同的紊亂進(jìn)行預(yù)先訓(xùn)練，然后只對(duì)目標(biāo)數(shù)據(jù)進(jìn)行微調(diào)。

元學(xué)習(xí)：

將知識(shí)從其他領(lǐng)域或任務(wù)轉(zhuǎn)移到當(dāng)前問(wèn)題設(shè)置的另一種方法是元學(xué)習(xí)。元學(xué)習(xí)，又稱“學(xué)會(huì)學(xué)習(xí)“，即利用以往的知識(shí)經(jīng)驗(yàn)來(lái)指導(dǎo)新任務(wù)的學(xué)習(xí)，使網(wǎng)絡(luò)具備學(xué)會(huì)學(xué)習(xí)的能力，是解決小樣本問(wèn)題常用的方法之一。一個(gè)特別有趣的方面是，這樣的算法成功地設(shè)計(jì)了很多分類器，這些分類器只從少量數(shù)據(jù)實(shí)例中學(xué)習(xí)。可以想象的是，沿著類似的路線，匯集多個(gè)精神病數(shù)據(jù)集并使用元學(xué)習(xí)原則，可以產(chǎn)生在新問(wèn)題設(shè)置中快速學(xué)習(xí)的分類器集。

5. 未來(lái)的研究方向

為了設(shè)計(jì)有效的治療方法，我們需要在跨診斷水平上更好地理解病理下的神經(jīng)生物學(xué)機(jī)制?，F(xiàn)代ML算法，如DNN，由于其在其他醫(yī)療領(lǐng)域的出色表現(xiàn)，提供了新的希望。乍一看，DNN的復(fù)雜性(以及計(jì)算強(qiáng)度)是有代價(jià)的——大量的樣本。然而，正如我們?cè)谶@里討論的，有幾種方法可以使DNN適用于更小的樣本容量。因此，DNN方法在神經(jīng)科學(xué)領(lǐng)域也是有一定的未來(lái)的。

對(duì)DNN中隱藏的網(wǎng)絡(luò)表征的更深入的理解，即“打開(kāi)黑匣子”，可以在另一方面揭示新的見(jiàn)解或產(chǎn)生關(guān)于病理神經(jīng)生物學(xué)機(jī)制的新假設(shè)。事實(shí)上，一些研究已經(jīng)證明DNN表示可能產(chǎn)生可解釋的特征。評(píng)估DNN的可視化方法目前是ML領(lǐng)域的一個(gè)熱門(mén)話題，這一方向的未來(lái)發(fā)展可能有助于發(fā)現(xiàn)可解釋的精神疾病的多模態(tài)生物標(biāo)志物。

如需原文及補(bǔ)充材料請(qǐng)?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對(duì)思影課程及服務(wù)感興趣也可加此微信號(hào)咨詢。另思影提供免費(fèi)文獻(xiàn)下載服務(wù)，如需要也可添加此微信號(hào)入群，原文也會(huì)在群里發(fā)布，如果我們的解讀對(duì)您的研究有幫助，請(qǐng)給個(gè)轉(zhuǎn)發(fā)支持以及右下角點(diǎn)擊一下在看，是對(duì)思影科技的支持，感謝！