近年來,許多學(xué)者已經(jīng)提出了多種分割方法來自動描繪胎兒和新生兒腦MRI。這些方法旨在定義不同粒度的感興趣區(qū)域:大腦、組織類型或更局部的結(jié)構(gòu)。不同的方法已應(yīng)用于此分割任務(wù),可分為無監(jiān)督、參數(shù)化、分類、atlas融合(atlas fusion)和可變形(deformable)模型。Brain atlas通常在分割過程中用作訓(xùn)練數(shù)據(jù)。然而,與圖像采集、快速的大腦發(fā)育以及較少可用的成像數(shù)據(jù)相關(guān)的問題阻礙了這類分割任務(wù)的發(fā)展。本文回顧了圍產(chǎn)期(懷孕28 周到產(chǎn)后一周)大腦分割采用的方法,并根據(jù)目標(biāo)人群、結(jié)構(gòu)分割和方法類型對它們進(jìn)行了分類。本文概述了文獻(xiàn)中提出的各種方法,并討論了它們的主要貢獻(xiàn)。提出了評估分割精度和分割質(zhì)量基準(zhǔn)的不同方法。本文以圍產(chǎn)期大腦分割可能存在的問題和可能的未來發(fā)展方向的討論作為總結(jié)。
1. 介紹
圍產(chǎn)期大腦的自動形態(tài)分析對于定量評估正常的大腦發(fā)育和研究認(rèn)知障礙的神經(jīng)解剖學(xué)相關(guān)性至關(guān)重要。大腦異常發(fā)育與幾種神經(jīng)系統(tǒng)缺陷有關(guān),為治療干預(yù)提供了一個窗口。大約10%的早產(chǎn)兒會發(fā)展為腦癱,多達(dá)50%的兒童會發(fā)展成認(rèn)知和/或行為問題。有問題的病例最早可以追溯到胎兒期(fetal age)。腦室擴大是胎兒大腦中最常見的異常,并與精神病、自閉癥和癲癇等神經(jīng)系統(tǒng)疾病有關(guān)。
隨著磁共振成像(MRI)的進(jìn)步,胎兒(fetal)和新生兒(neonatal)大腦的詳細(xì)圖像可以無創(chuàng)地在毫米水平顯示。使用核磁共振成像的定量神經(jīng)影像學(xué)研究越來越多地用于評估圍產(chǎn)期大腦的生長和發(fā)育。分割MRI大腦是獲得區(qū)域大腦結(jié)構(gòu)定量測量的先決條件。大腦的區(qū)域體積和形狀測量結(jié)果是根據(jù)大腦的結(jié)構(gòu)分割得出的。覆蓋在圖像上的分割圖對于可視化而言更為重要。擴散加權(quán)成像(DWI)和功能MRI(fMRI)可以與結(jié)構(gòu)MRI的分割結(jié)果一起使用,以計算與結(jié)構(gòu)連接和功能連接相關(guān)的區(qū)域測量值。在人群研究中對這些測量值進(jìn)行系統(tǒng)評估,對于識別大腦中受病理影響的區(qū)域以及提供大腦正常發(fā)育的信息來說是至關(guān)重要的。
體積和皮層表面的定量測量對于描述正常的大腦發(fā)育很重要,并且有潛力預(yù)測長期的神經(jīng)發(fā)育表現(xiàn)。但是,MR圖像的手動分割非常耗時。此外,手動分割會受到觀察者之間和觀察者內(nèi)部差異的影響,從而限制了其可重復(fù)性。手工方法的這些局限性使得標(biāo)記人群研究所需的大量被試構(gòu)成了障礙。因此,需要精確的自動化技術(shù)來將大腦分割成感興趣的結(jié)構(gòu)。新生兒和胎兒大腦的自動分割比成人大腦更具挑戰(zhàn)性。圍產(chǎn)期腦MRI的對比噪聲比(CNR)要低得多,由于腦的體積小,其信噪比常常較低,由于這一時期腦的快速發(fā)育,其腦形態(tài)和外觀也有很大差異。在圖像采集過程中,腦MRI進(jìn)一步受到嬰兒運動偽影的影響(胎兒大腦會因為孕婦的自主呼吸、胎兒的自主運動而不可避免的產(chǎn)生運動偽影,而新生兒腦圖像的采集需要新生兒處于沉睡情況下進(jìn)行采集)。
這項研究的目的是對用于胎兒和新生兒腦自動分割的技術(shù)進(jìn)行全面的綜述。Devi等人(2015)最近的一篇綜述介紹了為新生兒大腦開發(fā)的分割技術(shù)。在這里,作者將分割技術(shù)的綜述擴展到了胎兒和新生兒期。此外,作者還提供了這一時期現(xiàn)有腦圖譜(brain atlas)資源的總結(jié)、基于方法學(xué)的技術(shù)的詳細(xì)分類以及未來的發(fā)展方向。作者在PubMed上通過搜尋“fetal brain MRI segmentation”和“neonatal brain MRI segmentation” 查找到相關(guān)的方法論文。在NeoBrainS12挑戰(zhàn)賽(之后會介紹)中使用過的方法也被納入了本篇綜述。本文主要介紹自動化技術(shù),因此需要人介入的半自動化方法不會介紹。這些方法根據(jù)目標(biāo)人群(胎兒、新生兒)、被分割出來的結(jié)構(gòu)(大腦、組織、區(qū)域結(jié)構(gòu))和采用的方法(無監(jiān)督、參數(shù)化、分類、圖譜融合(atlas fusion)、可變形(deformable)模型)進(jìn)行分類。
本文的組織如下。在第2節(jié)中討論了發(fā)育中大腦的自動分割所面臨的挑戰(zhàn)。第3節(jié)中介紹了通常作為分割的先驗信息提供的圖譜。第4和第5節(jié)簡要總結(jié)了在分割之前需要使用的圖像采集和預(yù)處理技術(shù)。第6節(jié)介紹了在本綜述中不同類別的分割方法。第7節(jié)和第8節(jié)介紹了胎兒和新生兒文獻(xiàn)中提出的不同的分割方法。對分割技術(shù)的評價介紹在第9節(jié)。最后,總結(jié)并討論了該領(lǐng)域未來可能的發(fā)展方向。
2. 挑戰(zhàn)
盡管在獲取磁共振圖像方面取得了一些進(jìn)展,但自動化的大腦分割仍然是一項艱巨的任務(wù)。在MR圖像中有一些重要的挑戰(zhàn),這些挑戰(zhàn)阻礙了分割,而與當(dāng)前的應(yīng)用無關(guān)。不同組織類別的強度不是均勻的,而是在圖像空間上逐漸變化的。這種強度非均勻性(INU)是由非單形射頻(RF)場和接收靈敏度以及與身體的電磁相互作用造成的。更高場強的掃描儀會導(dǎo)致更大的強度變化。圖1展示了INU效應(yīng)。在單個體素中混合不同組織類別的部分容積(PV)效應(yīng)給組織邊界的精確描繪帶來了額外的困難。由于圖像分辨率有限,包含多個組織的體素產(chǎn)生的強度表示體素中多種組織的混合強度。圖像噪聲經(jīng)常是比較明顯的,可能是由于人體中的電磁噪聲和接收電子設(shè)備中的小異常造成的。胎兒和新生兒腦MRI的自動分割比成人腦分割具有更大的挑戰(zhàn)性。圍產(chǎn)期腦MR圖像進(jìn)一步顯示了該領(lǐng)域特有的挑戰(zhàn):
a) 與成年人相比,嬰兒腦MRI運動偽影的發(fā)生率更高。胎兒和未鎮(zhèn)靜的新生兒表現(xiàn)出明顯的運動,這就需要采用更快的采集技術(shù)或多次采集大腦影像來校正運動。運動偽像表現(xiàn)為未對齊的圖像切片和沿相位編碼方向的重影(ghosting effects)現(xiàn)象(如圖2所示)。
b) 由于胎兒/新生兒的大腦體積小,掃描時間短,所以對比度較低(CNR)。
c) CSF-WM 部分容積(PV)效應(yīng)。胎兒/新生兒MR圖像與成人圖像相比,表現(xiàn)為反轉(zhuǎn)的WM(白質(zhì))/GM(灰質(zhì))強度對比。WM在圍產(chǎn)期腦內(nèi)無髓鞘,在T2加權(quán)像上比GM更亮,而在成人圖像上GM比WM具有更大的強度值。CSF和GM在CSF-CGM(CG即cortical GM)邊界上的混合導(dǎo)致了其與WM相似的強度(見圖3)。這種PV效應(yīng)導(dǎo)致了CSF-CGM界面將PV(部分容積)體素錯誤地標(biāo)記為WM。
d) 由于在此期間大腦的快速發(fā)育,圍產(chǎn)期大腦的形狀和結(jié)構(gòu)外觀差異很大。皮質(zhì)帶迅速折疊并形成深的灰質(zhì)結(jié)構(gòu)。此外,WM髓鞘形成在大腦發(fā)育過程中是一個持續(xù)的過程,在不同的WM區(qū)域逐漸明顯。由于不同掃描年齡的受試者在解剖學(xué)特征上存在這些差異,因此對其進(jìn)行精確的定位具有挑戰(zhàn)性。圖4展示了在新生兒大腦中隨著掃描年齡的增加所發(fā)生的變化。
e) 缺乏跨越不同掃描年齡的手工標(biāo)記圖譜。人工描繪精細(xì)的解剖結(jié)構(gòu)需要專業(yè)的解剖學(xué)知識,而且非常耗時。與成人大腦圖譜(atlas)資源不同,圍產(chǎn)期腦圖譜數(shù)據(jù)資源非常有限。大腦形態(tài)的巨大變異性加上缺乏大腦圖譜資源對分割技術(shù)提出了挑戰(zhàn),因為訓(xùn)練數(shù)據(jù)是稀缺的。
圖1.新生兒T2 MR圖像上顯示的MRI強度不均勻性(A)。圖像(B)和(C)使用N4偏置場校正分別呈現(xiàn)估計的偏置場和偏置校正后的圖像。
圖2所示。胎兒(1)和新生兒(2)T2 MR圖像上的運動偽影。在相位編碼方向切片的模糊和重影效應(yīng)(1.A,2.A)以及切片沿方向的錯位(1.B,2.B)表明了明顯的運動。
圖3所示。CSF-WM 部分容積效應(yīng)明顯存在于CSF-CGM邊界。新生兒T2 MR圖像(A)分為不同的組織類型(黃色:CSF,紅色:WM,藍(lán)色:GM,綠色:背景) (B)箭頭所指的區(qū)域是CSF和CGM的部分容積,使得其強度與WM的強度相似。
圖4所示。分別在PMA 28周、32周、36周和44周時獲得新生兒大腦T2 MR圖像(從左至右)。
2. 圖譜(Atlases)
腦圖譜(atlas)是經(jīng)過標(biāo)記的數(shù)據(jù),它表明了大腦不同結(jié)構(gòu)的位置,通常用作自動分割算法的范例。術(shù)語atlas經(jīng)常以一種含糊不清的方式使用。在這篇綜述中,將使用術(shù)語atlas來指代一對圖像:一個是腦模板(atlas template)圖像(例如大腦的MR圖像),另一個是圖譜分割標(biāo)簽(atlas label)圖像。圖譜標(biāo)簽圖像表明每個體素處的解剖結(jié)構(gòu)或組織。有兩種類型的腦圖譜:一種是在每個體素上指定單個結(jié)構(gòu)/組織標(biāo)簽的個體圖譜(single-subject atlas),另一種是定義了每個體素上每個結(jié)構(gòu)/組織的結(jié)構(gòu)概率的概率圖譜(probabilistic atlas)。個體圖譜通常是手工繪制的,而概率圖譜通常是通過將一批通過自動化程序得到的分割圖像進(jìn)行平均得到的。
圖譜標(biāo)簽可以通過將圖譜(源)的MR圖像配準(zhǔn)到待分割的被試(目標(biāo))的MR圖像上從而可以得到待分割的被試的分割圖像。配準(zhǔn)過程估計了圖像之間的轉(zhuǎn)換和映射,從而最大化了源圖像和目標(biāo)圖像之間的相似性。配準(zhǔn)可以是全局的,也可以是局部的,分別估計源到目標(biāo)圖像的線性(剛性或仿射運動)或非線性變換(局部運動)。然后可以將估計出來的變換將圖譜圖像和圖譜標(biāo)簽變換到個體(被試)空間中。早期的基于圖譜的分割方法就是通過將單個標(biāo)記好的圖譜標(biāo)簽變換到目標(biāo)圖像空間完成分割的。但是,如果只使用單個圖譜,那么分割僅限于一對大腦之間的精確配準(zhǔn),由于被試的解剖結(jié)構(gòu)差異很大,因此這不是一個簡單的問題。所以引入概率圖譜來解決此類問題。概率圖譜是通過對大量被試的腦圖像和相應(yīng)的分割圖像求平均而構(gòu)建的。將個體圖像配準(zhǔn)到平均模板通常比向另一個個體圖像配準(zhǔn)所出現(xiàn)的挑戰(zhàn)要少,因為平均圖譜已消除了很大的解剖差異。 另外,概率圖譜在每個體素上提供了每個結(jié)構(gòu)的概率估計。這對于要求每個標(biāo)簽都具有先驗概率模型的概率分割方法至關(guān)重要。解決單個圖譜配準(zhǔn)不準(zhǔn)確的另一種方法是使用多個圖譜,其中將不同的圖譜獨立地與被試數(shù)據(jù)進(jìn)行配準(zhǔn)。這樣可以使用多個圖譜對單個圖譜所引入的誤差進(jìn)行平均,并提高結(jié)果的準(zhǔn)確性。通常,會使用多個單個被試圖譜或概率圖譜用于分割,以適應(yīng)個體大腦的解剖變異性。基于single-atlas的分割框架基本上可以用下圖來表示:
基于single-atlas的分割框架。首先個體圖像和圖譜圖像輸入到一個廣義的計算模型中,計算從圖譜空間變換到個體空間的形變場,然后再將計算得到的形變場應(yīng)用到圖譜分割上,將圖譜分割從圖譜空間變換到個體空間得到個體分割圖像(注意,這只是個簡化模型,現(xiàn)在的基于圖譜的分割算法多是基于multi-atlas的)。
以下各節(jié)介紹了新生兒和胎兒領(lǐng)域中存在的個體(single subject)圖譜和概率圖譜。表1總結(jié)了不同的圖譜。表3進(jìn)一步列出了圍產(chǎn)期大腦的公開圖譜。表1 與胎兒和新生兒腦圖譜構(gòu)建相關(guān)的研究
3.1. 個體圖譜(single-subject atlases)
現(xiàn)有文獻(xiàn)中為圍產(chǎn)期大腦構(gòu)建的個體圖譜有限。Oishi等人(2011)構(gòu)建了一個由T1、T2和DTI組成的多模態(tài)新生兒腦圖譜,并在單個被試腦圖像上手工劃分了122個區(qū)域。手工劃分是基于DTI數(shù)據(jù)上觀察到的白質(zhì)束和回旋模式。相反,Gousias等人根據(jù)T1和T2數(shù)據(jù)生成了多個個體圖譜。他們在大約足月年齡的不同掃描時間的20名新生兒上手工描繪了50個結(jié)構(gòu)(Gousias等人(2012)的一個圖譜如圖5所示)。de Macedo Rodrigues等人(2015)使用T1圖像構(gòu)建了不同年齡的多個個體圖譜。將23例掃描年齡在0至2歲之間的嬰兒(包括4名新生兒)的腦部MR圖像手動分割為32個區(qū)域。Alexander等人(2016年)建立了最新的腦圖譜,在10例足月新生兒的T2圖像中描繪了100個區(qū)域。該圖譜的一個重要特征是它復(fù)制了Desikan-Killiany方案,該方案在成人研究中廣泛使用并用于新生兒大腦(見圖6)。
圖5 由Gousias等人(2012)手動描繪的圖譜將大腦分為50個區(qū)域。
3.1. 概率圖譜
目前已經(jīng)為新生兒大腦建立了幾套概率圖譜。Kuklisova-Murgasova等人(2011年)使用非參數(shù)核回歸方法構(gòu)建了掃描年齡在28-44周之間的第一個新生兒大腦時空圖譜(時空圖譜即在不同年齡的時期上構(gòu)建了三維腦圖譜,借此可研究縱向的影像數(shù)據(jù))。他們基于142個仿射配準(zhǔn)到公共空間的圖像計算了平均T1和T2模板。每一個年齡段的圖譜進(jìn)一步伴隨著從被試腦圖像的組織自動分割中估計出的組織概率圖。Serag等人(2012)使用類似的方法開發(fā)了具有時空模板和組織概率圖的“高清”腦圖譜。Schuh等人(2015)遵循了相同的原則,但是使用了不同的配準(zhǔn)方法(源數(shù)據(jù)和目標(biāo)數(shù)據(jù)之間的對稱配準(zhǔn)以產(chǎn)生反向一致的空間變換),使用118例新生兒掃描數(shù)據(jù)創(chuàng)建了年齡段位于28到44周的腦圖譜。Makropoulos等人(2016)利用時空概率圖和標(biāo)簽圖進(jìn)一步改進(jìn)了Serag等人(2012)的腦圖譜,利用420幅自動分割的新生兒MR圖像對87個結(jié)構(gòu)進(jìn)行了估計。Shi等人(2011b)基于三個年齡層掃描的95名受試者,提出了第一個包含三個嬰兒大腦時間點的縱向腦圖譜: 新生兒、1歲和2歲。采用縱向組織分割、基于自動解剖標(biāo)記(AAL)圖譜(Tzourio-Mazoyer et al.,2002)和groupwise配準(zhǔn)計算三個模板(新生兒為T2, 1歲和2歲為T1)、組織概率圖和90個結(jié)構(gòu)的分割標(biāo)簽圖。最近,Shi等人(2014)使用基于稀疏patch的技術(shù)構(gòu)建了一個由T2模板和組織概率圖構(gòu)建的圖譜。他們使用了73名新生兒的MR圖像,并按照Wang等人(2011)提出的方法進(jìn)行group-wise配準(zhǔn),自動分割成不同的組織類型。Zhang等(2016)也采用了基于patch的方法,將小波分解后的大腦圖像分割成不同的頻帶。其T2模板和組織概率圖與Shi等人(2014)使用相同數(shù)量的被試數(shù)據(jù)得到。Blesa等人(2016)制作了一個單一時間點的多模態(tài)腦圖譜,他們使用了T1、T2、FA、MD模板和33名被試的MR圖像。基于自動分割的組織概率圖,根據(jù)AAL圖譜中標(biāo)簽的傳播,構(gòu)建了具有107個標(biāo)簽的標(biāo)簽圖像。
Habas等(2010a)構(gòu)建了第一個胎兒大腦時空圖譜。他們在被試之間使group-wise配準(zhǔn),并用多項式來建模磁共振強度、組織概率和胎兒大腦形狀的變化。他們的圖譜使用了20個胎兒大腦的T2圖像和手工分割標(biāo)簽。 Serag等人(2012)在新生兒腦圖譜的基礎(chǔ)上,使用80個胎兒腦圖像數(shù)據(jù),得到了處于23 ~ 37周胎兒大腦和組織概率圖的時空圖譜。
圖6所示。Serag等人(2012)構(gòu)建的新生兒大腦時空概率圖譜。
4. 圖像采集
圍產(chǎn)期大腦的MR成像需要不同于成人大腦的采集協(xié)議。未成熟的圍產(chǎn)期大腦含水量比成熟的高,需要不同的掃描參數(shù)。另外,由于患者運動,需要更快的掃描序列,例如快速自旋回波技術(shù),以獲得具有較少的運動偽影的圖像。這是由于胎兒運動和產(chǎn)婦呼吸,運動在胎兒腦MRI中尤為明顯。胎兒腦MRI通常是通過非常快速地獲取2D切片來獲取的,從而“凍結(jié)”切片中的運動。但是,二維切片通常彼此不對齊,因此妨礙了自動大腦分割。三維重建技術(shù)通常用于校正此類問題。Slice-to-volume(SVR)技術(shù)通常在兩個迭代步驟中執(zhí)行此校正:
a)從2D切片進(jìn)行3D重建,以及b)將2D切片重新對齊到3D volume。一個替代的重建技術(shù)通過優(yōu)化所有切片對的交點來對齊切片。文獻(xiàn)中已經(jīng)提出了許多運動校正技術(shù)來糾正運動,要么在圖像采集過程中進(jìn)行校正,要么在k空間中進(jìn)行重建。
5. 圖像預(yù)處理
在分割之前,通常會采用不同的預(yù)處理步驟。最常見的是強度校正和顱骨剝離。強度不均勻性(INU)校正旨在消除在整個圖像上顯示為平滑變化信號的強度偏差。INU校正可以在分割之前和/或在分割過程中執(zhí)行。N3和N4算法通常用于圍產(chǎn)期大腦中的INU校正。文獻(xiàn)中還進(jìn)一步采用了諸如各向異性擴散之類的濾波技術(shù),以在保留邊緣的同時減少圖像中的噪聲。組織和結(jié)構(gòu)分割方法在處理之前通常先進(jìn)行腦提取。在本文中,作者將腦提取技術(shù)描述為一種特殊的分割方法,并在第7.1節(jié)和第8.1節(jié)中對胎兒和新生兒的腦提取技術(shù)進(jìn)行回顧。
6. 不同類型的分割方法
這篇綜述的分割技術(shù)分類如下:
a) 將目標(biāo)人群分為胎兒或新生兒。
b) 被分割成腦、組織或結(jié)構(gòu)的分割方法。
c) 采用不同類型的分割方法:無監(jiān)督、參數(shù)化、分類、地圖集融合、可變形模型。 以下各節(jié)詳細(xì)介紹了方法類別。因此,第7節(jié)和第8節(jié)分別詳細(xì)介紹了胎兒和新生兒文獻(xiàn)中針對不同類別提出的分割技術(shù)。表2展示了此綜述中針對其類別討論的不同細(xì)分方法。表3列出了本綜述中討論的公開可用方法。
6.1. 無監(jiān)督技術(shù)
無監(jiān)督技術(shù)根據(jù)腦圖像內(nèi)固有的相似性對數(shù)據(jù)進(jìn)行分類,所以不需要訓(xùn)練數(shù)據(jù)。無監(jiān)督技術(shù)通過挖掘基于圖像的特征,把腦圖像分割成強度不同的區(qū)域。在醫(yī)學(xué)圖像分割中使用的方法通常是從標(biāo)準(zhǔn)圖像處理中采用的:閾值化,區(qū)域增長,形態(tài)運算,分水嶺分割,邊緣檢測和聚類技術(shù)。無監(jiān)督技術(shù)本身很容易受到噪聲、強度不均勻性和部分容積效應(yīng)的影響,因此很難適應(yīng)不同的掃描序列和具有較大的解剖學(xué)差異的腦圖像數(shù)據(jù)。在圍產(chǎn)期腦分割文獻(xiàn)中,這些方法主要用于其他方法的預(yù)處理和后處理目的,例如:參數(shù)化技術(shù)。聚類技術(shù)已被用來計算特定對象的組織先驗來初始化參數(shù)技術(shù)。已使用區(qū)域生長、形態(tài)學(xué)操作和分水嶺分割來識別/分離圖像中的連接區(qū)域,并根據(jù)重疊的組織強度分布(例如WM與CSF或CGM與背景之間的強度)校正部分體素。然而,結(jié)合無監(jiān)督技術(shù)也成功地用于大腦和組織的分割。
6.2.圖譜融合(atlas fusion)技術(shù)
圖譜融合方法是基于已對齊圖譜的標(biāo)簽對圖像進(jìn)行分割的方法。標(biāo)簽融合技術(shù)通過投票法來融合來自不同圖譜的標(biāo)簽。研究人員提出了多種投票方案,可以根據(jù)圖譜MR圖像與待分割圖像之間的相似性(無論是全局的還是局部的),對每個圖譜的貢獻(xiàn)進(jìn)行加權(quán)平均?;?/span>patch(所謂patch即將3D的腦圖像切成一個一個的2D圖像塊或者3D圖像cube)的技術(shù)為標(biāo)簽融合技術(shù)提供了一種非局部的替代方法。在基于patch的方法中,圖譜中最相似的patch位于圖像的每個patch的中心體素附近。圖像patch中心體素的標(biāo)簽是是由一系列權(quán)重融合得到的,這些權(quán)重是由圍繞這些中心體素的圖譜patch與中心體素的patch之間的相似性定義的。這些權(quán)重可以減少由多個不同圖譜所導(dǎo)致的聯(lián)合誤差。Warfield等人(2004)提出了另一類圖譜融合技術(shù)STAPLE(Simultaneous Truth and Performance Level Estimation)。STAPLE計算真實分割的估計,并根據(jù)每個圖譜在分割上的性能對圖譜進(jìn)行加權(quán)。重復(fù)該過程,直到算法在EM框架中收斂為止。在圍產(chǎn)期文獻(xiàn)中,使用圖譜融合的技術(shù)進(jìn)行分割是相對有限的。這是由于大腦在不同年齡的掃描時間會發(fā)生較大的發(fā)育變化,并且不同年齡的圖譜分割標(biāo)簽數(shù)量有限。在被試年齡不同的圖譜之間進(jìn)行配準(zhǔn)是一個較為困難的任務(wù),例如將足月孩子的大腦配準(zhǔn)到早產(chǎn)兒的大腦上。但是,通常使用圖譜融合技術(shù)來得出不同結(jié)構(gòu)的初始概率估計值,然后通過諸如參數(shù)化或可變形技術(shù)之類的自適應(yīng)技術(shù)對其進(jìn)行完善。
6.3. 參數(shù)化技術(shù)
參數(shù)化模型通過對數(shù)據(jù)進(jìn)行擬合來解決分割問題。(后驗)體素概率由空間先驗項和強度項組成??臻g先驗分布本質(zhì)上是對每個結(jié)構(gòu)的空間位置進(jìn)行編碼,通?;趫D譜數(shù)據(jù)。強度模型參數(shù)分布的典型選擇是高斯混合模型(GMM),其中每個大腦結(jié)構(gòu)的強度似然采用高斯分布建模。然后,使用期望最大化算法(EM)、迭代條件模式法(ICM)或圖割法(graph-cut method, 在前深度學(xué)習(xí)時代,圖割法是圖像分割領(lǐng)域很常用的一種方法。它通過把圖像轉(zhuǎn)化為由多個超像素構(gòu)建的圖像,每個超像素包含多個空間鄰近且強度相似的像素,每個超像素作為一個結(jié)點,超像素之間的相似關(guān)系構(gòu)建為邊,這樣可以把一張圖像建模成圖模型)來將模型擬合到數(shù)據(jù)中。參數(shù)模型的一般擴展包括: MRF正則化來建模結(jié)構(gòu)的空間相互作用,偏場校正來解釋強度的不均勻性,以及先前的松弛來緩解錯誤配準(zhǔn)和病理的影響。由于其準(zhǔn)確性和對解剖結(jié)構(gòu)差異的魯棒性,該系列模型已被大多數(shù)新生兒和胎兒分割方法采用。強度建模允許根據(jù)圖像的強度信息來適配,通常從概率圖譜或圖譜融合中得出空間先驗信息。圖割法已用于腦分割,而EM用于腦、組織和結(jié)構(gòu)分割。
6.4. 分類技術(shù)
在圖譜上直接訓(xùn)練分類器,以基于圖像衍生的特征(例如,單模態(tài)或多模態(tài)的強度和空間特征)來學(xué)習(xí)分割標(biāo)簽。由其他分割技術(shù)計算得到的估計標(biāo)簽可以進(jìn)一步合并為特征,以進(jìn)一步糾正分類技術(shù)導(dǎo)致的細(xì)分偏差。然后,分類器基于學(xué)習(xí)的模型在對象圖像中標(biāo)記體素。分類技術(shù),尤其是卷積神經(jīng)網(wǎng)絡(luò),由于其在計算機視覺任務(wù)中的出色準(zhǔn)確性以及對不同領(lǐng)域的模型的適應(yīng)性,成為近年來最受歡迎的分割方法之一。圍產(chǎn)期文獻(xiàn)中的示例分類技術(shù)采用了k-NN、樸素貝葉斯(Bayes)、決策森林、SVM分類器和最近的卷積神經(jīng)網(wǎng)絡(luò)。(換句話來說,基于分類技術(shù)的分割算法,實際上就是提取每個體素的特征,可以是強度特征、圖像紋理特征或者上下文特征,把這些特征放入分類器中訓(xùn)練,讓分類器可以為每個體素進(jìn)行分類)
6.5. 可變形模型
可變形模型是基于物理的模型,它通過對一個封閉的表面進(jìn)行變形來分割一個物體。這個表面在內(nèi)外能的影響下不斷地膨脹或收縮(編者注:可以理解為氣球模型,只不過氣球需要從卷曲的表面映射回光滑的球狀面,而可變形模型相當(dāng)于氣球模型的反轉(zhuǎn),從光滑的球表面通過內(nèi)外力的作用下,收縮到卷曲的表面,收縮的過程是由外力驅(qū)動,而卷曲表面邊界的穩(wěn)定則是由內(nèi)力維持)。外部能量通常是一個圖像驅(qū)動的數(shù)據(jù)擬合項,它將表面移動到所需的對象邊界。內(nèi)能保證了傳播面的平穩(wěn)性,約束了由外能驅(qū)動的演化。內(nèi)能可以進(jìn)一步包含有關(guān)目標(biāo)物的先驗知識。可變形模型分為兩類:參數(shù)模型和幾何模型。參數(shù)模型提供了曲面的顯式參數(shù)化。一個使用參數(shù)可變形模型的示例方法是廣泛使用的大腦提取算法BET,由Smith(2002)提出(作為FSL軟件的一部分實現(xiàn))。幾何模型,又稱水平集可變形模型,將曲面隱式表示為高維函數(shù)的零水平集。幾何模型被用來約束皮層外表面(CSF-GM邊界)和皮層內(nèi)表面(GM-WM邊界)之間的距離??勺冃文P屯ǔS糜趩蝹€結(jié)構(gòu)的分割,其中形狀的先驗知識對于分割非常重要,例如大腦的分割(特定形狀)或皮層帶的分割(特定厚度)。
表2 本文中按類別討論的細(xì)分方法
表3 可公開獲得的用于腦部MRI分割的圖譜和軟件
7. 胎兒期分割
在本節(jié)中,將會介紹以往的研究文獻(xiàn)中所提出的胎兒期大腦分割算法。第7.1節(jié)介紹了大腦提取方法,第7.2節(jié)介紹了對不同組織類型的分割方法。
7.1.大腦分割(提?。?/span>
大腦提取是指從磁共振圖像中去除頭皮和頭骨,只留下腦脊液和腦組織。胎兒大腦的分割是一項具有挑戰(zhàn)性的任務(wù),因為胎兒的大腦需要與母體進(jìn)一步分離。此外,胎兒大腦的運動也會使這一分割任務(wù)明顯復(fù)雜化。
a) 參數(shù)化技術(shù)
Anquez等人(2009年)采用了三階段的顱骨分割過程。他們首先通過模板匹配和對比度、形態(tài)和生物特征識別先驗信息來檢測胎兒的眼睛。之后,他們將大腦在矢狀平面內(nèi)分割。最終將形狀配準(zhǔn)到這個volume上并用于分割3D大腦。使用圖割法進(jìn)行分割。如果在較寬年齡范圍內(nèi)對胎兒大腦使用該方法進(jìn)行分割,則單一形狀的配準(zhǔn)可能會出現(xiàn)問題,并且具有運動偽影的圖像中容易出現(xiàn)錯誤。
b) 分類技術(shù)
Ison等人(2012)使用隨機森林分類器來抑制母體組織的影響并基于3D Haar特征識別大腦的可能位置。因此,使用高階MRF對大腦進(jìn)行了分割。Keraudren等人(2014)開發(fā)了用于從具有運動偽影的3D volume中進(jìn)行大腦檢測的方法。最初檢測到最大穩(wěn)定極值區(qū)域(MSER),即內(nèi)部強度均勻,邊界強度高的區(qū)域。然后針對這些區(qū)域計算尺度不變特征變換(SIFT)特征,使用k-means算法進(jìn)行聚類,然后使用支持向量機(SVM)分類器將其分類為大腦/非大腦。然后,通過將隨機森林分類器應(yīng)用于2D切片的patch上并使用條件隨機場(CRF)來細(xì)化初始分割。Kainz等人(2014年)采用了類似的方法,但是在3D Gabor特征上訓(xùn)練了隨機森林分類器。因此,使用2D水平集對分割進(jìn)行了細(xì)化。 該方法已針對GPU實現(xiàn),并且僅需7s即可進(jìn)行大腦分割。Rajchl等人(2016)最近提出了一種基于3D卷積神經(jīng)網(wǎng)絡(luò)和CRF的方法。迭代計算CNN和CRF,直到收斂為止。他們的方法是通過在一組使用邊框框住大腦的數(shù)據(jù)上進(jìn)行訓(xùn)練來執(zhí)行腦分割的,而不是在一堆經(jīng)過手工分割的大腦數(shù)據(jù)上。
c) 圖譜融合技術(shù)
Wright等人(2014)利用Eskildsen等人提出的(2012)基于patch的大腦分割技術(shù)從胎兒MR圖像中提取大腦。Eskildsen 等人(2012)的方法是一種多分辨率的基于patch 的Coupéet 等人(2011)提出的技術(shù)的拓展版本,這個技術(shù)原來用于從成人MRI圖像中提取大腦。Tourbier等人(2015)也使用了多圖譜分割。他們采用了基于歸一化相關(guān)系數(shù)(NCC)的全局權(quán)重對多個圖譜融合。圖譜融合技術(shù)對于配準(zhǔn)錯誤十分敏感,而配準(zhǔn)錯誤經(jīng)常發(fā)生在具有運動偽影的胎兒圖像上。為了緩解這個問題,Wright等人(2014)、Tourbier等人(2015)在執(zhí)行大腦提取任務(wù)之前使用了SVR技術(shù)。
7.2.組織分割
一些技術(shù)也提出了對胎兒大腦進(jìn)行組織分割。胎兒大腦的組織分割已經(jīng)在用SVR重建或沒有明顯運動的胎兒圖像上進(jìn)行了。
a) 參數(shù)化技術(shù)
Habas等(2008,2010b)最早提出了一種胎兒腦組織分割的方法。他們采用了與Van Leemput等人(1999)類似的帶有偏差校正的EM模型,并進(jìn)一步引入了MRF懲罰項,以確保對附近的體素進(jìn)行類似的標(biāo)記。在他們后期的工作中,Habas等人(2009)將atlas先驗與層間先驗相結(jié)合,對模型進(jìn)行了擴展,層流先驗是基于深度的先驗,使用拉普拉斯方程進(jìn)行估計(Jones等人,2000)。Cuadra等人(2009)提出了一種無atlas組織分割的EM方案。他們將兩種高斯函數(shù)混合用于CGM和WM,而不是單一的類。用經(jīng)驗值初始化GMM的高斯參數(shù)。但是對于在不同年齡的胎兒分割任務(wù)上這種方法可能會出現(xiàn)一些問題,這是因為在不同年齡下大腦的發(fā)育和髓鞘形成存在差異。他們進(jìn)一步提出了基于體素鄰域的具有局部成分的MRF和基于皮層厚度圖譜的具有全局成分的MRF。PV校正使用基于知識的規(guī)則執(zhí)行。對四名受試者進(jìn)行了有限的評估。Wright等人(2014)同樣使用Ledig等人(2012)開發(fā)的EM-MRF分割方法對新生兒圖像(下一節(jié)將介紹)進(jìn)行分割,以便從胎兒MRI中分割組織。
b) 可變形模型
Dittrich等人(2011)提出了一種基于水平集的組水平分割技術(shù),這個算法從數(shù)據(jù)中推斷出一個潛在的圖譜,這反過來又約束了個體的分割。他們用一個包含圖像似然項、空間先驗項和平滑約束的水平集的概率公式對分割進(jìn)行建模。每一項的參數(shù)以交錯方式最小化。圖像似然項的參數(shù)用一個GMM建模,然后用EM算法對每個圖像進(jìn)行優(yōu)化??臻g項參數(shù)估計為所有個體分割的年齡加權(quán)概率平均值,可以認(rèn)為是一個“時空隱圖譜(spatio-temporal latent atlas)”。所有的圖像在分割前用組配準(zhǔn)技術(shù)對齊。分割是針對單個結(jié)構(gòu)執(zhí)行的,并且基于單個手工分割的圖譜。Gholipour等(2012)提出了一種基于形狀的分割技術(shù),用于胎兒MRI中腦室的分割。通過使用STAPLE (Warfield et al., 2004)得到初始分割。然后通過結(jié)合強度和局部空間信息的概率形狀分割得到分割結(jié)果。引入懲罰項來考慮不同形狀的交點和區(qū)域的平滑度。
8. 新生兒期分割
分割方法在新生兒大腦中的應(yīng)用越來越廣泛。第8.1節(jié)介紹了用于大腦分割(腦提取,也叫顱骨剝離)的方法,第8.2節(jié)介紹了用于組織分割的方法,第8.3節(jié)介紹了用于更細(xì)致的結(jié)構(gòu)分割的方法。
8.1. 腦提取
用于成人大腦的大腦提取技術(shù),如BET (Smith, 2002)和BSE (Shattuck et al., 2001),通常會用于新生兒大腦,并已在相關(guān)論文中使用。然而,也已經(jīng)開發(fā)了提取新生兒大腦的算法,并在以下介紹。大多數(shù)已開發(fā)的技術(shù)將其準(zhǔn)確性與BET和BSE進(jìn)行比較。
a) 無監(jiān)督分類技術(shù)
Peporte 等人(2011)開發(fā)了一個atlas-free分割方法,這個方法基于形態(tài)學(xué)操作的組合、區(qū)域增長和邊緣檢測以提取大腦區(qū)域。通過在每個2D切片上分別使用k-means聚類得到的閾值來執(zhí)行自適應(yīng)閾值。然而,在Peporte等人(2011)的工作中,只是用了5個被試的數(shù)據(jù)用于評估驗證。
b) 參數(shù)化技術(shù)
Mahapatra(2012)提出了一種基于圖割法的顱骨剝離方法。他們合并了來自概率mask的先驗信息,并引入了利用梯度信息的平滑項。Serag等人(2016)將他們的方法與其他11種大腦分割技術(shù)進(jìn)行了比較,包括BET和BSE。
c) 分類技術(shù) Serag等人(2016)提出了一種將MRI分為大腦和非大腦區(qū)域的方法,該方法使用樸素貝葉斯或線性判別分析分類器。選擇那些可在整個圖譜數(shù)據(jù)庫中提供補充信息的圖譜。
d) 可變形模型
Yamaguchi等人(2010)提出了一種基于主動表面模型的顱骨剝離方法。使用貝葉斯分類方案下的高斯混合模型對強度信息進(jìn)行建模。從構(gòu)造的圖譜的組織概率圖中合并先驗信息。Yamaguchi等人(2010)沒有對他們的方法進(jìn)行定量驗證,而是依賴于對結(jié)果的視覺檢驗。類似地,Kobashi和Udupa(2013)提出了一種基于模糊對象模型的技術(shù),這是一種使用先驗形狀模型的主動表面模型。Kobashi和Udupa(2013)對10個實驗對象的結(jié)果進(jìn)行了定量評估,但是沒有將他們的方法與其他的大腦提取技術(shù)進(jìn)行比較。Yamaguchi等人(2010)和Kobashi和Udupa(2013)進(jìn)一步將腦脊液從腦組織中分離出來。Shi等人(2012)開發(fā)了一種結(jié)合BET和BSE兩種腦提取技術(shù)的元算法。對這兩種技術(shù)的參數(shù)進(jìn)行優(yōu)化,然后用于被試的分割。采用基于水平集的分割算法對不同參數(shù)的腦提取進(jìn)行融合和細(xì)化。為了降低計算復(fù)雜度,Shi等人(2012年)使用親和力傳播技術(shù)基于圖譜的強度相似度選擇圖譜。 他們對246名被試數(shù)據(jù)(包括75名新生兒數(shù)據(jù))進(jìn)行了廣泛的數(shù)據(jù)庫驗證,并將他們的技術(shù)與其他六種方法(包括BET,BSE和STAPLE)進(jìn)行了比較。
8.2. 組織分割
在新生兒分割領(lǐng)域的研究主要集中于腦MR圖像的組織分割。本節(jié)介紹文獻(xiàn)中用于新生兒組織分割的方法。圖7給出了不同組織類型的分割示例。
a) 無監(jiān)督分類技術(shù)
Gui等(2012a,b)提出了一種基于腦形態(tài)學(xué)先驗知識的無atlas 分割方法。在他們的工作中,Gui等(2012b)使用T1和T2兩種模態(tài)數(shù)據(jù),并應(yīng)用分水嶺分割、區(qū)域生長、主動輪廓分割和形態(tài)學(xué)操作對腦組織進(jìn)行分割。由于Gui等人(2012b)不依賴圖譜,他們的方法不受圖譜配準(zhǔn)錯誤的影響。
b) 參數(shù)化技術(shù)
Prastawa等人(2005)基于Van Leemput等人(1999)的EM算法開發(fā)了一種組織分割方法。這項工作的新穎之處包括根據(jù)基于圖的聚類技術(shù)(最小生成樹)區(qū)分有髓鞘和無髓鞘的WM類,并使用最小協(xié)方差行列式(MCD)估計去除異常值。使用MCD估計器估計高圖譜概率的樣本位置的初始強度估計。利用非參數(shù)核密度估計進(jìn)一步細(xì)化分割結(jié)果。該技術(shù)的一個缺點是通過對三個被試的半自動分割結(jié)果平均來創(chuàng)建圖譜,因此很難捕獲新生兒人群中存在的巨大腦解剖差異。 Xue等人(2007年)類似地實現(xiàn)了帶有MRF正則項的EM方案。但是,Xue等人(2007年)放棄了使用圖譜作為腦組織先驗信息,而是依靠k均值聚類來獲得特定于被試的組織先驗。在處理之前,根據(jù)手動分割的圖譜去除深層灰質(zhì)組織。Xue等人(2007年)使用一種基于知識的方法對CSF-WM部分容積效應(yīng)(partial volume effect)問題進(jìn)行了解決,該方法使用連通分量label來實現(xiàn)。作者還介紹了大腦在不同區(qū)域的局部分裂,并以局部方式估算了高斯參數(shù)。Cardoso等人(2011,2011,2013)提出了另一種解決圖譜配準(zhǔn)錯誤的方法,提出了一種類似于Shiee等人(2011)的適用于圖譜先驗的EM-MRF方案。由圖譜提供的圖譜先驗?zāi)P徒閺?/span>Dirichlet分布中抽取的樣本,并根據(jù)每次EM迭代的后驗進(jìn)行了調(diào)整。將CSF-WM 部分容積效應(yīng)建模為不同組織之間的混合分布。此外,他們通過在組織上引入半共軛高斯先驗而偏離了經(jīng)典的高斯模型,該方法是通過手動選擇的代表不同組織的patch初始化的高斯方法。Melbourne等人(2012年)擴展了Cardoso等人(2011年,2013年)的工作,以進(jìn)一步對與估計模型具有較大馬氏距離的強度聚類進(jìn)行離群值剔除,以減少其在參數(shù)估計中的影響。 Makropoulos等人(2012b)提出了一種具有圖譜適應(yīng)性的分割方法,類似于Cardoso等人(2011,2013)的工作。 如Xue等人(2007)所述,對CSF-WM強度重疊進(jìn)行部分容積校正。添加了第二個部分容積校正步驟以校正WM-GM邊界,從而可以更細(xì)致地描繪皮質(zhì)帶。結(jié)構(gòu)先驗是由Atlas先驗和特定于被試的先驗的組合而獲得的,這些先驗是通過用k均值進(jìn)行強度聚類得到的,以提供對先驗更好的初始估計。 Ledig等人(2012)通過引入二階MRF和Cardoso等人(2011)的MRF模型,擴展了Cardoso等人(2011,2013)的EM-MRF模型。如果在該類的鄰域中存在一對類,則二階MRF會對該類的存在進(jìn)行懲罰。Shi等人(2010年)提出了一種利用特定于被試的概率圖譜進(jìn)行新生兒組織分割的框架,該圖譜是根據(jù)以后獲取的縱向數(shù)據(jù)生成的。該圖譜是使用AFCM(一種模糊聚類技術(shù))構(gòu)建的。之后,將圖譜用于聯(lián)合配準(zhǔn)分割框架中,該框架在改進(jìn)的EM算法中迭代執(zhí)行圖譜配準(zhǔn)、偏置場校正和基于圖譜的組織分割。在他們后來的工作中(Shi等人,2011a),根據(jù)Shi等人(2010)計算的新生兒大腦分割,根據(jù)其與被試的相似性,構(gòu)建了特定于被試的圖譜。使用Hessian濾波器在被試的皮質(zhì)GM置信度圖上測量相似度。像Shi等人(2010)一樣,使用構(gòu)建的特定被試的圖譜以聯(lián)合配準(zhǔn)分割的方式分割圖像。由于是縱向數(shù)據(jù)框架,Shi等人(2010年)的方法需要隨之而來的新生兒大腦成像數(shù)據(jù)。 Liu等人(2016)研究了EM框架中基于patch的先驗的使用。他們最初得出的特定于被試的圖譜具有類似于Habas等人(2010b)的模板和組織概率。通過在特定于被試的圖譜上進(jìn)行基于patch的搜索策略來定義其他組織概率。這兩個概率在空間上與patch貢獻(xiàn)度量(基于patch及其鄰域的強度結(jié)構(gòu))和基于交叉驗證計算的體素標(biāo)簽準(zhǔn)確性度量進(jìn)行了融合。他們進(jìn)一步研究了基于圖譜的局部可變性在基于patch的搜索中改變搜索窗口的效果。
對成人腦分割軟件的改進(jìn)也已在相關(guān)文獻(xiàn)中提出。Wang等人(2012c)將SPM分割軟件改造為新生兒腦分割軟件。SPM分割算法可迭代地修改概率圖譜中的組織分割、偏差校正和非線性配準(zhǔn)。SPM的組織分割方法基于EM方案,并使用ICM優(yōu)化了聯(lián)合代價函數(shù)。當(dāng)函數(shù)收斂后,使用連通分量label進(jìn)行部分容積校正。 Wu 和Avants(2012)提出了一種基于Atropos工具的技術(shù)(Avants等,2011)。EM-MRF技術(shù)與ICM參數(shù)優(yōu)化一起使用。T1和T2圖像均用于多元數(shù)據(jù)項。根據(jù)基于圖譜的先驗概率對分類錯誤的體素進(jìn)行校正。Beare等人(2016)使用形態(tài)學(xué)操作、分水嶺變換和通過擴張重建的方法,將SPM中實現(xiàn)的分割方法擴展到了新生兒腦分割。
c) 分類技術(shù)
Anbeek等(2008,2013)提出了一種基于k-NN分類的組織分割方法。基于訓(xùn)練圖像的強度和空間特征,構(gòu)造多維特征空間。分割是根據(jù)圖像中每個體素在多維空間中與k個最近鄰的親和力來估計的。在Anbeek等人(2008)中,他們直接從圖像的坐標(biāo)計算空間特征。在Anbeek等人(2013)的后期工作中,他們利用平均大腦圖像的空間坐標(biāo)改進(jìn)了空間特征的定義。Srhoj-Egekher等(2012)提出了一種基于標(biāo)簽融合和監(jiān)督分類的方法。初始標(biāo)簽融合步驟的先驗值與每個組織的獨立2類k-NN分類的概率相結(jié)合。k-NN分類是根據(jù)T1和T2模態(tài)的強度特征進(jìn)行的。最后一步是利用主成分分析得到的降維空間中的樸素貝葉斯分類器對多個組織類別的體素進(jìn)行分類。Chita 等人(2013)和Moeskops 等人(2015)提出了一種多級監(jiān)督分類方法用于新生兒圖像的分割。圖像體素分類分為三個階段:
1. 算法的特征空間由空間特征、強度特征和當(dāng)前的概率輸出組成;
2. 從Moeskops等人的方法中得到T2圖像的強度特征,從Chita等人的方法中得到T1和T2圖像的強度特征;
3. 第一個階段和第二個階段分別對每個組織進(jìn)行獨立的2類分類,第三個階段對所有的類都使用4類分類。Chita等人(2013)在所有階段都使用k-NN分類器。Moeskops等人(2015)在第一階段和第三階段使用了k-NN分類器,在第二階段使用了SVM分類器。采用正向特征選擇方案選擇各階段的最佳特征。與Chita et al(2013)類似,Wang et al(2015)使用基于強度特征和當(dāng)前概率輸出的多階段分類方案。使用這種方案,他們估計了概率圖,并使用稀疏表示法對其進(jìn)行了修正。使用隨機森林進(jìn)行分類,并在T1、T2和FA圖像上進(jìn)行訓(xùn)練。最近,Moeskops等人(2016)利用多尺度CNN分割腦組織。在采集平面上使用2D patch。在輸出層中組合了多個大小的patch和卷積核,以進(jìn)行最終分割。Sanroma等人(2016)將分割問題以集成的方式轉(zhuǎn)換為方法的組合。他們結(jié)合了兩種方法,一種是基于Wang等人(2012a)的聯(lián)合標(biāo)簽融合方法,另一種是基于強度的方法,并在模板圖像的超體素上訓(xùn)練了SVM。然后,他們在基于兩種方法的預(yù)測和概率估計的集成方法中學(xué)習(xí)兩種方法的區(qū)域加權(quán)。分類技術(shù)在新生兒組織分割挑戰(zhàn)賽NeoBrainS12(詳見9.1節(jié))中獲得了精度非常好的結(jié)果。然而,它們比參數(shù)化和非監(jiān)督技術(shù)對大腦圖像強度的差異更敏感。
d) 圖譜融合技術(shù)
Weisenfeld等人(2006)和Weisenfeld and Warfield(2009)使用迭代樣本估計過程對腦組織進(jìn)行分割。最初,圖譜標(biāo)簽被變換到被試空間,以得到被試分割的初步估計。然后,他們使用分割迭代地優(yōu)化每個atlas的樣本,并使用staples算法重新估計分割。他們用MRF項來模擬空間同質(zhì)性。Weisenfeld和Warfield(2009)進(jìn)一步采用類似于Xue等人(2007)的方法對CSF-WM 的部分容積效應(yīng)進(jìn)行校正。Weisenfeld和Warfield(2009)的組織分割需要精確的圖譜對齊,這是一個重要的問題,因為新生兒的大腦經(jīng)歷了巨大的發(fā)育變化。Kim等人(2015)開發(fā)了一種用于新生兒大腦分割和表面重建的工作流程。他們采用Coupe等(2011)的基于patch的模型和Wang等人(2012a)開發(fā)的聯(lián)合圖譜誤差估計相結(jié)合的技術(shù)對新生兒大腦進(jìn)行分割。基于Wang等人(2012a)的方法,將圖譜中的相似patch與聯(lián)合圖譜錯誤的加權(quán)系數(shù)進(jìn)行融合。Kim等人(2015)將大腦分為兩部分,皮質(zhì)帶以及作為一個整體的剩余大腦區(qū)域。
e) 可變形模型
Wang等人(2011)提出了一種基于局部強度信息項、圖譜組織先驗和皮層厚度約束的耦合水平集的分割算法。用具有空間變化均值和方差的高斯分布對局部強度信息進(jìn)行建模。使用皮層厚度約束將CSF/GM和GM/WM表面距離約束在預(yù)定范圍內(nèi)。采用類似于Xue等(2007)的方法將CSF-WM 部分容積校正納入模型。他們后來(Wang et al . 2012b)在多模態(tài)和縱向框架工作中擴展了他們的方法。結(jié)合使用T1、T2和FA圖像進(jìn)行多模態(tài)圖像分割任務(wù)。此外,在不同時間點獲得的圖像被納入縱向的水平集分割。采用4D配準(zhǔn)方法對不同的時間點進(jìn)行迭代配準(zhǔn),并根據(jù)相鄰時間點的約束條件進(jìn)行縱向分割。Wang 等人(2014)提出使用空間一致的特定于被試的圖譜進(jìn)行基于patch的分割。Wang等人(2011,2012b,2014)專注于WM、GM和CSF的分割,未將深層GM和皮層GM分離開,也沒有分割腦干和小腦。
8.3. 結(jié)構(gòu)分割
對大腦局部結(jié)構(gòu)的繪制比較困難,這是因為缺乏細(xì)致的的手工分割圖譜。早期的方法是基于人工放置在腦軸上的CGM和WM區(qū)域的分割。這些軸將CGM / WM分為16個部分:額葉、中央前、中央和枕骨區(qū),分為左右半球的上半部和下半部。Oishi等人(2011)和Gousias等人(2012)手動描繪了大腦的第一個區(qū)域圖譜?,F(xiàn)有的分割方法使用這些圖譜或從成人圖譜中的label來描繪嬰幼兒大腦的區(qū)域結(jié)構(gòu)。使用成人大腦結(jié)構(gòu)的label進(jìn)行分割可能會出現(xiàn)問題,因為發(fā)育中的大腦可能尚未形成不同的大腦結(jié)構(gòu)。圖8中展示了了分割為不同結(jié)構(gòu)的示例。
a) 參數(shù)化技術(shù)
Makropoulos等人(2012a,2014)利用Gousias等人(2012)的圖譜通過類似于Makropoulos等人(2012b)的EM方法自動將新生兒大腦分為87個區(qū)域。 在Makropoulos等人(2014)的方法中,他們根據(jù)MR圖像中的局部強度梯度將EM方法與加權(quán)標(biāo)簽融合相結(jié)合。Makropoulos等人(2016)擴展了Makropoulos等人(2014)中提出的方法,使用基于厚度的校正和WM-CGM邊界的部分容積校正對皮質(zhì)帶進(jìn)行了更細(xì)致的分割。Makropoulos等人(2014年)從早產(chǎn)兒到足月兒對不同年齡的新生兒大腦進(jìn)行了分割。但是,受限于手工分割,因此提出了對早產(chǎn)兒大腦結(jié)構(gòu)的定量評估。Wu et al(2014)從20個成人OASIS模板中將標(biāo)簽變換到新生兒圖像上。在基于EM的初始組織分割之后,他們使用Wang等人(2012a)提出的標(biāo)簽融合方法將皮質(zhì)帶分成62個區(qū)域。
b) 圖譜融合技術(shù)
Gousias等人(2013)利用了他們手動分割的圖譜(Gousias et al(2012)),并研究了基于圖譜的標(biāo)簽融合方法或最大概率圖譜對齊的分割方法。標(biāo)簽融合需要對圖譜進(jìn)行精確地配準(zhǔn),這在不同年齡之間新生兒大腦上很難實現(xiàn)。
圖7 使用Draw-EM的新生兒MRI的組織分割示例。
圖8.使用Draw-EM的新生兒MRI結(jié)構(gòu)分割的示例。
9. 評估分割方法
分割方法的準(zhǔn)確性是根據(jù)作為“金標(biāo)準(zhǔn)”的手工標(biāo)注進(jìn)行定量評估。精度通常用重疊測量和/或表面距離測量來估計。胎兒和新生兒文獻(xiàn)中最常用的重疊度量是Dice系數(shù)。在兩個分割完全重合的情況下,Dice系數(shù)為1,在兩個分割結(jié)果沒有重合的情況下,Dice系數(shù)為0。有時會報告基于皮層表面的距離度量。一個曲面S’a和S’m之間的平均表面距離,分別由Sa和Sm的分割計算得到,定義為兩個曲面對應(yīng)點(如最近點)之間的平均距離。因此,計算Hausdorff距離為兩個曲面對應(yīng)點之間的最大距離(編者注:還有一種常用的度量是基于分割結(jié)果的modified-Hausdorff距離,這個距離度量了兩個分割點集的輪廓的相似性)。
由于人工標(biāo)注的數(shù)據(jù)量有限,并且圍產(chǎn)期大腦快速發(fā)育造成的個體差異,定量評估相對有限。通常以交叉驗證的方式在以手工分割的圖譜作為訓(xùn)練數(shù)據(jù)的算法上進(jìn)行評估,以比較評估自動化算法與人類專家之間的分割差異。此外,有時通過與未用于算法訓(xùn)練的手共分割數(shù)據(jù)進(jìn)行比較來補充定量評估的結(jié)果。這些數(shù)據(jù)可以全部標(biāo)記,也可以部分標(biāo)記在選定的切片和/或結(jié)構(gòu)上。由于不同的數(shù)據(jù)采集參數(shù),不同的手動參考分割以及不同的結(jié)構(gòu)定義和分割的結(jié)構(gòu)數(shù)量,對不同的分割技術(shù)進(jìn)行直接比較并不容易。為了解決這個問題并為社區(qū)提供最新技術(shù)成果,I?gum等人(2015年)在MICCAI 2012上組織了新生兒腦組織分割挑戰(zhàn)賽NeoBrainS12。下一節(jié)簡要介紹了這一挑戰(zhàn)賽。
9.1. NeoBrainS12
最近舉行的新生兒腦分割挑戰(zhàn)賽NeoBrainS12,目的是評估提交的新生兒組織分割算法的性能。作為NeoBrainS12挑戰(zhàn)的一部分,研究人員提供了三組不同的T1和T2圖像:在校正年齡為40周時獲得的軸位掃描(第1組)、在校正年齡為30周時獲得的冠狀位掃描(第2組)以及在校正年齡為40周時獲得的冠狀位掃描(第3組)。包括來自第1組和第2組的7例嬰兒的影像數(shù)據(jù),以及來自第3組的5例嬰兒的影像數(shù)據(jù)。人工將大腦MR圖像分為八個區(qū)域:皮質(zhì)灰質(zhì)(CGM)、無髓白質(zhì)(WM)、有髓白質(zhì)(MWM)、腦干、基底節(jié)和丘腦(BGT)、小腦、腦脊液和心室。挑戰(zhàn)賽網(wǎng)頁http://neobrains12.isi.uu.nl中描述了比賽的規(guī)則。 這個挑戰(zhàn)賽包括兩個階段:挑戰(zhàn)賽之前的一部分和on-site上的一部分。挑戰(zhàn)賽之前的部分中提供了每組3名嬰兒的數(shù)據(jù)集作為測試數(shù)據(jù),而on-site部分則提供了每組2名嬰兒的數(shù)據(jù)集,沒有進(jìn)行人工分割。在這些數(shù)據(jù)集上評估了算法。團(tuán)隊可以選擇要分割的數(shù)據(jù)集和組織類型。on-site部分設(shè)置了兩個小時的時間范圍。提供每個第1組和第2組的兩個嬰兒的其余數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)提供,并帶有手工分割。圖9展示了不同方法提交到挑戰(zhàn)賽上的圖示結(jié)果。
分別對on-site部分和挑戰(zhàn)賽前部分的分割結(jié)果進(jìn)行了評估。 表4列出了不同技術(shù)得到的分割結(jié)果與手工分割標(biāo)準(zhǔn)之間的Dice系數(shù)。這里應(yīng)該注意,NeoBrainS12仍然可以提交結(jié)果,并且是進(jìn)行基準(zhǔn)測試的重要資源。 自NeoBrainS12挑戰(zhàn)賽結(jié)束以來,越來越多的研究根據(jù)挑戰(zhàn)賽數(shù)據(jù)評估了他們的技術(shù)。所有的方法在挑戰(zhàn)中都能得到精確的分割結(jié)果,不同組織的Dice系數(shù)位于0.71到0.95之間。唯一的例外是無法連續(xù)分割髓鞘化WM。在大多數(shù)情況下,提交的方法之間的結(jié)果差異很小。此外,由于是在有限數(shù)量的圖像上進(jìn)行評估(on-site每組兩張圖像,挑戰(zhàn)前部分中每組三張圖像),因此在NeoBrainS12中未評估分割結(jié)果精度的顯著性。
圖9 不同技術(shù)提交到NeoBrainS12挑戰(zhàn)賽上的分割示例。從上到下: MR圖像、手動分割、Makropoulos et al (2012b)、Wang et al (2012c)、Melbourne et al (2012)、Wu and Avants (2012)、Srhoj-Egekher et al (2012)、Anbeek et al(2008)。
表4 NeoBrainS12挑戰(zhàn)賽基于網(wǎng)絡(luò)的結(jié)果和現(xiàn)場(on-site)部分的結(jié)果(數(shù)據(jù)來自http://neobrains12.isi.uu.nl)。將提交的分割結(jié)果與手工分割結(jié)果進(jìn)行比較計算Dice系數(shù)。帶有*的方法是在開發(fā)分割方法的期間由可用的測試集的手工分割標(biāo)簽數(shù)據(jù),這些方法沒有放在NeoBrainS12中的排名中。每種組織的最佳結(jié)果以粗體標(biāo)出。
10. 未來的發(fā)展方向
隨著人們對圍產(chǎn)期大腦的研究興趣日益增加以及越來越多質(zhì)量好的數(shù)據(jù)可以獲取,這允許我們對圍產(chǎn)期大腦進(jìn)行定量評估。盡管現(xiàn)在的分割技術(shù)非常成功,并且以往文獻(xiàn)所報告的分割精度與成人大腦分割精度相似,但是仍然存在一些需要解決的問題。本節(jié)介紹圍產(chǎn)期腦分割領(lǐng)域研究的現(xiàn)有挑戰(zhàn)和未來方向。
10.1.圖譜和可用資源
圍產(chǎn)期腦自動分割技術(shù)發(fā)展的一個約束因素是缺乏手工分割的圖譜。 目前最全面的手工分割標(biāo)記圖譜由Gousias等人(2012)引入。目前還沒有關(guān)于早產(chǎn)期和胎兒大腦的詳細(xì)圖譜。這種圖譜特別令人感興趣,因為在此期間的大腦結(jié)構(gòu)正在形成和發(fā)展。因此,將分割標(biāo)簽從足月變換到較早時期的方法可能需要對較小腦區(qū)進(jìn)行空間映射,而不是利用觀察到的解剖變異性。胎兒和早產(chǎn)兒的手工分割圖譜將有助于進(jìn)一步在早期大腦中使用自動分割方法。此外,圖譜的公開可用性對于相關(guān)社區(qū)開發(fā)可用的分割方法至關(guān)重要。
腦分割技術(shù)在新生兒和胎兒領(lǐng)域應(yīng)用有限的一個因素是缺乏可用于基準(zhǔn)測試的公開數(shù)據(jù)庫。NeoBrainS12提供了數(shù)量有限的手工標(biāo)記數(shù)據(jù),這些數(shù)據(jù)可用于評估算法在不同組織類型的分割中的準(zhǔn)確性。對新生兒大腦和胎兒大腦的更詳細(xì)結(jié)構(gòu)進(jìn)行類似的分割競賽,將可以定量描述不同分割技術(shù)之間的差異。此外,使用更大量的甚至未標(biāo)記的數(shù)據(jù)也可能有助于提高半監(jiān)督方法的性能。大多數(shù)分割技術(shù)中使用的數(shù)據(jù)有限,部分原因是公開數(shù)據(jù)數(shù)量有限。dHCP是一個正在進(jìn)行的旨在研究發(fā)育中的腦連接組的項目,它將為研究界提供大量的結(jié)構(gòu)和彌散數(shù)據(jù)。需要建立類似的資源以創(chuàng)建可用于相關(guān)方法開發(fā)的大型數(shù)據(jù)庫。最后,開放相關(guān)分割軟件的源代碼將允許更快地開發(fā)分割工具、大學(xué)之間的協(xié)作以及不同分割方法之間的比較。
10.2.髓鞘化白質(zhì)的分割
有髓鞘和無髓鞘白質(zhì)之間的區(qū)分具有重要意義。 新生兒大腦中的髓磷脂含量逐漸增加,并能使大腦中的信號傳導(dǎo)更快。因此,它被認(rèn)為與大腦的功能成熟有關(guān)。與足月兒相比,早產(chǎn)腦與髓鞘減少有關(guān)。只有少數(shù)研究試圖區(qū)分有髓鞘和無髓鞘白質(zhì),其中大多數(shù)使用NeoBrainS12挑戰(zhàn)賽中的有髓鞘WM數(shù)據(jù)。此問題可能還與缺少定義這些區(qū)域的手動分割圖譜有關(guān),但是無監(jiān)督技術(shù)可能能夠額外輔助這種區(qū)分。
10.3.分割方法
深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域非常流行。他們?yōu)橄嚓P(guān)的計算機視覺問題以及最近的醫(yī)學(xué)成像問題方面提供了重大改進(jìn)。在圍產(chǎn)期腦分割領(lǐng)域中,僅在Moeskops(2016)和Rajchl(2016)的工作中中使用了CNN。半監(jiān)督技術(shù)也很少被采用(Dittrich et al,2011)。對成人大腦的研究(Wolz et al,2010)表明,在分割過程中引入未標(biāo)記的數(shù)據(jù)會提高分割精度。分割方法的開發(fā)另一個重要方向是對病理性大腦進(jìn)行可靠的分割。胎兒和新生兒時期常見的腦部異常,例如腦室肥大或缺氧缺血性腦疾病,會嚴(yán)重影響已開發(fā)技術(shù)的性能。(編者注:深度學(xué)習(xí)除了在腦分割領(lǐng)域應(yīng)用很廣之外,在腦圖像配準(zhǔn)、皮層拓?fù)湫U?、去噪、去偽影頭動等等方面都有很廣泛的應(yīng)用)
10.4.自動化分割的質(zhì)量控制
自動分割方法不可能一直都完全準(zhǔn)確。一個重要的研究方向是直接從每個分割結(jié)果中提供可靠性估計。可以開發(fā)事后解決方案以自動地對方法的分割質(zhì)量進(jìn)行評分,例如 基于不同分割結(jié)果之間的一致性。這將有助于識別分割方法存在的問題,并在大型臨床研究中識別分割不準(zhǔn)確的案例。
10.5.臨床研究中的應(yīng)用
分割的最重要目標(biāo)是幫助新生兒和胎兒進(jìn)行相關(guān)病理的檢測和表征。使用分割技術(shù)得出的定量測量結(jié)果有可能增進(jìn)對新生兒大腦疾病的了解,例如缺氧缺血性腦病、腦梗塞、腦室白細(xì)胞軟化、出血和病變以及胎兒大腦的腦室肥大、皮質(zhì)發(fā)育畸形。利用分割技術(shù)對正常發(fā)育中的大腦和不同病理學(xué)的定量體積測量,對于定義正常位點和識別異常標(biāo)記至關(guān)重要。可以把大型數(shù)據(jù)庫的公開資源用作臨床研究的參考,并促進(jìn)在臨床實踐中使用自動分割技術(shù)。此外,詳細(xì)結(jié)構(gòu)的DTI和fMRI測量可用于進(jìn)一步擴展此資源。 盡管進(jìn)行此類分析的前提是需要開發(fā)健壯的方法以及相關(guān)方法的質(zhì)量控制流程。
10.6.從新生兒過渡到成人
還需要細(xì)致劃分的大腦結(jié)構(gòu),從而將新生兒大腦、胎兒大腦到成年期大腦的結(jié)構(gòu)發(fā)育聯(lián)系起來。Alexander等人(2016)構(gòu)建的圖譜為在新生兒期大腦和成年期大腦之間建立這種聯(lián)系提供了重要資源。Alexander等人(2016)根據(jù)Desikan Killiany協(xié)議(Desikan et al,2006)描繪了新生兒大腦中的皮質(zhì)結(jié)構(gòu),該協(xié)議通常用于成年大腦的皮層劃分的研究。此外,de Macedo Rodrigues等人(2015)的圖譜將2歲以下的新生兒大腦和嬰兒大腦分割成32個區(qū)域,從而可以將嬰兒期的腦發(fā)育聯(lián)通起來。Shi等人(2010)和Wang等人(2012b)開發(fā)縱向分割方法對于在不同的時間點一致地分割結(jié)構(gòu)很重要。在此應(yīng)注意,等強度階段(約6-8個月)獲得的嬰兒大腦MRI分割特別具有挑戰(zhàn)性,因為這個時期的WM和CGM強度分布具有很明顯的重疊。解決此問題的方法很有限。
11. 總結(jié)
隨著能夠獲得更好質(zhì)量的圖像并且越來越多人關(guān)注胎兒和新生兒發(fā)育,胎兒和新生兒大腦的分割越來越引起人們的興趣。在這篇綜述文章中,作者調(diào)查了與胎兒和新生兒大腦MRI分割相關(guān)的文獻(xiàn)。作者首先介紹了腦分割領(lǐng)域(尤其是圍產(chǎn)期大腦)面臨的困難。因此介紹了用作先驗知識的腦圖譜。接下來是對圖像采集和圖像預(yù)處理技術(shù)的簡要說明,這些技術(shù)在分割之前用于減少由于運動、噪聲和強度不均勻而導(dǎo)致的圖像偽影。他們根據(jù)目標(biāo)人群、分割任務(wù)和方法類型對不同的分割方法進(jìn)行了描述。他們提出了用于評估分割質(zhì)量的評估指標(biāo),并介紹了NeoBrainS12(一種新生兒腦分割挑戰(zhàn)賽),它經(jīng)常被用作新生兒組織分割方法的基準(zhǔn)。最后,介紹了該領(lǐng)域尚存的挑戰(zhàn)和未來可能的方向。由于缺乏數(shù)據(jù),相關(guān)方法的開發(fā)仍然存在困難。但是,隨著圍產(chǎn)期大腦數(shù)據(jù)資源的累計,預(yù)計在不久的將來將克服這些問題。未來的方法應(yīng)該對處于發(fā)育中的大腦或者存在病理特征的大腦的分割具有魯棒性。 這將允許對病理病例進(jìn)行細(xì)致的研究,并有可能允許在臨床實踐中使用自動分割方法。 一句話總結(jié):本文結(jié)合圍產(chǎn)期胎兒、新生兒MRI所面臨的挑戰(zhàn)(偽跡多、信號差、個體差異大等),從圖譜到腦組織提取到分割,比較全面地綜述了現(xiàn)有的圍產(chǎn)期腦影像分割算法,在方法學(xué)上比較有借鑒意義。
微信掃碼或者長按選擇識別關(guān)注思影
如對思影課程感興趣也可微信號siyingyxf或18983979082咨詢。覺得有幫助,給個轉(zhuǎn)發(fā),或許身邊的朋友正需要。請直接點擊下文文字即可瀏覽思影科技其他課程及數(shù)據(jù)處理服務(wù),歡迎報名與咨詢,目前全部課程均開放報名,報名后我們會第一時間聯(lián)系,并保留名額。
更新通知:第十屆腦影像機器學(xué)習(xí)班(已確定)
更新通知:第十二屆磁共振彌散張量成像數(shù)據(jù)處理班(已確定)
第六屆任務(wù)態(tài)fMRI專題班(預(yù)報名,南京)
更新通知:第二十八屆磁共振腦影像基礎(chǔ)班(重慶,已確定)