生物醫學影象分割是許多醫學應用中的重要任務。基於卷積神經網路的分割方法雖然精確度達到了state-of-the-art，但是通常需要依賴於帶有大型標註資料集的監督訓練。醫學影象的標註需要大量的專業知識和時間，並且在大規模上是不可行的。為了解決缺乏標註資料的問題，研究人員通常使用人工預處理、手動調整架構和資料增強等技術。然而，這些技術涉及複雜的工程工作，並且通常針對特定的資料集。因此MIT的團隊提出了用於醫學影象的自動資料增強方法。

在one-shot磁共振成像（MRI）腦部分割這一實際挑戰中，MIT團隊提出的半監督方法只需要單個有人工標註的資料以及其他沒有標註的資料。首先從影象中學習變換模型，透過該模型及已標註樣例再來合成額外的標註樣例進行訓練。每個變換由空間變形場（spatial deformation field）和強度（intensity）變化組成，能夠合成複雜的效果，例如解剖學和影象採集程式的變化。透過這些新樣例增強有監督分割模型的訓練，相較於one-shot生物醫學影象分割的state-of-the-art方法有了顯著的改進。

醫學影象資料集的挑戰

影象語義分割對於許多生物醫學成像應用至關重要，例如進行人口分析，疾病診斷和治療規劃等。當有足夠的標註資料時，有監督的基於深度學習的分割方法可以產生最精確的結果。然而，在醫學影象資料集方面具有很大挑戰。

1、人類大腦存在大量的解剖變異

2、手動分割標籤需要相當多的專業知識和時間，大多數臨床影象資料集手動標註的影象非常少

3、不同機構和機器的影象採集差異，導致資料解析度，影象噪聲和組織外觀等方面產生很大的差異

圖1：生物醫學影象在解剖結構，對比度和紋理方面經常變化很大（頂行）。與其它one-shot分割方法（底行）相比，我們的方法能夠更準確地分割解剖結構。

為了克服這些挑戰，許多有監督的生物醫學分割方法專注於人工設計預處理步驟和架構。使用手動調整的資料增強來增加訓練樣本的數量也很常見，諸如隨機影象旋轉或隨機非線性變形之類的資料增強功能，並且已被證明在某些例子中有效地提高了分割準確度。然而，這些功能模擬多樣化和現實的例子的能力有限，並且可能對引數的選擇高度敏感。

因此，MIT團隊建議透過學習合成多樣且真實的標註樣例來解決標註資料數量有限的挑戰。總的流程如圖2所示。為了執行資料增強，我們將變換τ（k）應用於標記的圖譜（atlas） x。我們首先學習單獨的空間和外觀變換模型，以捕獲標記的圖譜和每個未標記的體積之間的解剖和外觀差異的分佈。使用兩個學習模型，我們透過將空間變換（spatial transform）和外觀變換（appearance transform）應用於圖譜集，並透過使用空間變換扭曲圖譜標籤map來合成標註體積。

與 single-atlas分割受到空間變換模型中的不確定性或誤差的影響相比，我們使用相同的空間變換來合成體積和標籤圖，確保新合成的體積被正確標記。這些合成樣例形成標記資料集，其表徵未標記資料集中的解剖學和外觀變化。與atalas一起，這個新的訓練集能夠訓練有監督的分割網路。

圖2：所提方法的概述。 我們學習獨立的空間和外觀變換模型來捕捉影象資料集中的變化。 然後，我們使用這些模型來合成標記示例的資料集。 該合成數據集用於訓練監督的分割網路。

相關工作

醫學影象分割

MR影象強度因為特定物件的噪聲，掃描器協議和質量以及其他成像引數的變化而變化，因此許多現有的分割方法依賴於資料預處理來減輕這些與強度相關的挑戰。 預處理方法的執行成本很高，而開發真實資料集的技術是目前較熱門的研究領域。我們的增強方法從另一個角度處理這些與強度相關的挑戰：

它不是去除強度變化，而是使分割方法對MRI掃描的自然變化具有魯棒性。

大量經典分割方法使用基於圖譜的或圖譜引導的分割，其中使用變形模型將標記的參考體積或圖譜與目標體積對齊，並且使用相同的變形來傳播標記。當有多個地圖集可用時，它們每個都與目標體積對齊，並且與扭曲的圖譜標籤融合。在基於圖譜的方法中，透過變形模型捕獲物件之間的解剖學變化，並且使用預處理或強度魯棒性演算法（例如歸一化互相關）來減輕強度變化的挑戰。然而，組織外觀的模糊性（例如，模糊的組織邊界，影象噪聲）仍然可能導致不準確的配準和分割。我們的目標是透過在不同的現實樣例上訓練分割模型來解決這一侷限性，使分割模型對這種模糊性更加魯棒。我們專注於單一圖譜，並證明我們的方法優於基於圖譜的分割。如果有多個分割樣例可用，我們的方法可以利用它們。

為了減輕大型標記訓練資料集的需求，很多方法通常結合手工設計的預處理和架構增強資料。半監督和無監督的方法也被提出來應對小訓練資料集的挑戰。這些方法不需要成對的影象和分割資料。相反，他們利用分割資料的集合來構建解剖先驗，訓練對抗網路，或訓練新穎的語義約束。 實際上，影象集合比分割資料更容易獲得，

我們的方法不是依賴於分割標註，而是利用一組無標籤的影象。

空間和外觀變換模型

形狀和外觀的模型已經用於各種影象分析。在醫學影象配準中，空間變形模型用於建立影象之間的語義對應關係。這個成熟的領域涵蓋了基於最佳化的方法，以及最近基於學習的方法。

我們利用Voxel Morph（一種最近的無監督學習方法）來學習空間變換。許多配準方法都側重於強度歸一化影象或與強度無關的目標函式，並沒有明確說明影象強度的變化。

對於非標準化影象，空間和外觀變換模型一起用於記錄紋理或外觀以及形狀不同的物件。許多作品建立在Morphable Models或Active Appearance Models（AAMs）的框架之上，其中構建了形狀和紋理的統計模型。在醫學領域，AAM已被用於定位解剖標誌並執行分割。

我們透過使用卷積神經網路來學習無約束空間和強度變換場的模型，從而構建這些概念。 我們不是以配準或分割為最終目標學習變換模型，而是從這些模型中進行抽樣，以合成新的訓練樣例。

正如我們在實驗中所示，以這種方式增加訓練集進行分割可以產生比直接使用變換模型執行分割更魯棒。

我們的目標是捕獲圖譜和未標記體積之間的變換分佈，每個變換模型透過一個卷積神經網路來學習（如圖3所示）

。借鑑Morphable模型和AAM，我們獨立最佳化空間和外觀模型。

對於我們的空間模型，我們利用Voxel Morph，這是最近一種無監督的基於學習的方法，具有開源實現。Voxel Morph學習輸出平滑位移向量場（smooth displacement vector field），透過聯合最佳化影象相似性損失和位移場平滑項來將一個影象記錄到另一個影象。 我們使用具有歸一化互相關的Voxel Morph變體作為影象相似性損失，使得能夠用非標準化的輸入體積估計一個引數函式。我們使用類似的方法來學習外觀模型。

在我們的實驗中，我們發現計算主體空間框架中的影象相似性損失是有幫助的。

圖3：我們使用基於U-Net架構的卷積神經網路來學習每個變換模型。 變換應用於空間模型的空間扭曲，以及外觀模型的體素新增。 每個卷積使用3×3×3個核心，然後是Leaky Re LU啟用層。 編碼器使用最大池化層來降低空間解析度，而解碼器使用上取樣層。

資料增強

在基於影象的監督學習任務中，通常使用諸如旋轉和縮放的簡單引數化變換來執行資料增強。 在醫學成像領域中，隨機平滑流場（random smooth flow fields）通常用於模擬解剖學變化。 這些引數化變換可以減少過度擬合併提高測試效能。 然而，這些變換所帶來的效能增益隨著變換函式和引數集的選擇而變化。

最近的工作提出了從資料學習資料擴充轉換。 Hauberg et al。 專注於資料增加，用於分類MNIST數字。 他們學習數字特定的空間變換，並對訓練影象和變換進行抽樣，以建立旨在提高分類效能的新示例。 除了空間模型之外，我們還學習了一個外觀模型，並且我們專注於MRI分割的問題。

Ratner et al。 提出了一種半自動化的方法來學習資料增強的空間和顏色轉換。 它們依賴於使用者輸入來建立簡單引數化變換函式的組合（例如，旋轉和對比度增強）。他們學習使用生成對抗網路生成轉換函式的新組合。 相比之下，我們的方法是完全自動化的。

我們使用基於A。 G。 Roy et al。 提出的最先進的網路架構來證明這一點。 為了考慮GPU記憶體限制，網路被設計為一次分割一個切片。 我們使用增強訓練集的隨機切片訓練網路，並使用早停在驗證集上選擇訓練迭代的數量。 我們強調精確的分割網路架構不是這項工作的重點，因為我們的方法可以與任何監督的分割網路結合使用。

實驗結果

在實驗資料上，文章使用了來自8個公開資料庫的T1加權MRI腦部掃描資料，選取其中101個影象作為訓練集，50個為驗證集，100個測試集，每個影象都有30類標籤。在進行對照實驗時，作者將文章方法與單圖集分割（SAS）、單圖集分割資料增強（SAS-aug）（使用訓練過單個影象的模型分割訓練集產生的資料進行訓練）、手動調整資料增強（rand-aug）、全監督分割這些方法進行對比。同時，作者提出了基於文章資料增強方法的三個變種，即獨立取樣（ours-indep）、耦合取樣（ours-coupled）、獨立取樣+手動調整資料增強（ours-indep + rand-aug）。

在評測分割結果時，文章採用了醫學分割常用的骰子分數（Dice），計算測試集上100個測試樣本的30類標籤的平均值。表格1展示了各個方法的平均Dice以及相對於單圖集分割方法（SAS）的提升，可以看出文章方法結果顯著優於之前方法，其中的Ours-indep + rand-aug方法比起SAS，Dice有了5。6個百分點的提高。圖4為各方法Dice提升的箱體圖，我們可以明顯看到文章的方法相較於rand-aug分割結果一致性更好。圖5為100個測試集影象分割結果相較於SAS的提高，可以看出ours-indep + rand-aug在每個影象上的結果始終保持最優。圖6表明rand-aug降低區域較小的結構的分割結果。圖7展示了海馬體的分割結果。

表1：根據Dice分數評估分割效能，在100例腦MRI測試集上評估。 我們報告了所有30個解剖標籤和所有100個測試物件的平均Dice評分（以及括號中的標準偏差）。 我們還報告了SAS基線上每種方法的平均成對改進。

圖4：在所有測試例子中與SAS基線相比的平均Dice分數（在所有30個解剖標記上計算的平均值）的成對改善。

圖5：對於每個測試樣本與SAS基線相比的平均Dice得分（在所有30個解剖標記上計算的平均值）的成對改善。 樣本按我們方法的Dice改進來排序（ours - indep + rand-aug）。

圖6：各種大腦結構中每種方法的分割準確性。 括號中顯示了圖譜中每個標籤佔據的大腦百分比。 標籤按圖譜中每個結構的體積排序，並且組合由左到右結構（例如海馬）組成的標籤。 我們縮寫標籤：白質（WM），皮質（CX），心室（vent）和腦脊液（CSF）。

圖7：兩個測試物件（行）的海馬分割預測。 我們的方法（第2列）比基線（第3列和第4列）分割更準確。

作者嘗試分析方法有效性的原因，ours-coupled與SAS-aug兩種方法都產生了100個新的訓練集，而前者效果要優於SAS-aug，作者在檢查了產生的測試及後考慮到了兩個因素。一方面ours-coupled方法以與標籤相同的來扭曲影象，確保扭曲的標籤與變換的影象匹配。另一方面SAS-aug將不完美的扭曲標籤與 不正確的影象紋理配對。如圖9所示，文章方法合成的海馬體影象與真實的海馬體影象的紋理更加一致。

總結

總結來說，文章提出了一種基於學習的資料增強方法，並在one-shot醫學分割上進行了測試。文章使用基於學習的方法，來模擬標記和未標記示例之間的空間和外觀變換，並使用它來合成新資料和標籤。在測試集中的每個示例上的效果都超出現有的單次分割方法，接近完全監督模型的效能。該框架適用於許多場景，例如在臨床上，由於時間限制僅允許手動註釋少量掃描的場合。這項工作表明瞭從未標記的影象中學習獨立的空間和外觀變換模型，可以合成各種逼真的標記示例；這些合成示例可用於訓練分割模型，該模型在one-shot分割中優於現有方法。