摘要#

Training deep segmentation models for medical images often requires a large amount of labeled data. To tackle this issue, semi-supervised segmentation has been employed to produce satisfactory delineation results with affordable labeling cost. However, traditional semi-supervised segmentation methods fail to exploit unpaired multi-modal data, which are widely adopted in today’s clinical routine. In this paper, we address this point by proposing Modality-collAborative Semi-Supervised segmentation (i.e., MASS), which utilizes the modality-independent knowledge learned from unpaired CT and MRI scans. To exploit such knowledge, MASS uses cross-modal consistency to regularize deep segmentation models in aspects of both semantic and anatomical spaces, from which MASS learns intra- and inter-modal correspondences to warp atlases’ labels for making predictions. For better capturing inter-modal correspondence, from a perspective of feature alignment, we propose a contrastive similarity loss to regularize the latent space of both modalities in order to learn generalized and robust modality-independent representations. Compared to semi-supervised and multi-modal segmentation counterparts, the proposed MASS brings nearly 6% improvements under extremely limited supervision.

翻译#

训练医学图像的深度分割模型通常需要大量的标记数据。为了解决这个问题，半监督分割已经被用来产生令人满意的描绘结果和负担得起的标签成本。然而，传统的半监督分割方法不能充分利用非配对多模态数据，而非成对多模态数据在当今临床中被广泛采用。在本文中，我们通过提出模态协作半监督分割(即MASS)来解决这一点，该分割利用了从未配对的CT和MRI扫描中学习到的模态无关知识。为了利用这些知识，MASS使用跨模态一致性来规范语义和解剖空间方面的深度分割模型，MASS从中学习与翘曲地图集标签的模态内和模态间对应关系，以进行预测。为了更好地捕获模态间的对应关系，从特征对齐的角度出发，我们提出了一个对比相似性损失来正则化两个模态的潜在空间，以学习广义和具有鲁棒性的模态无关的表示。与半监督和多模态分割相比，在极其有限的监督下，提出的MASS带来了近6%的改进。

研究背景#

基于深度学习的3D医学图像分割模型通常需要大量标注数据来缓解训练时的过拟合问题。然而，医学图像标注严重依赖领域专家，考虑到现代社会医疗资源有限，获取充足标注数据往往面临巨大挑战。因此，如何利用少量标注数据训练出高性能分割模型成为医学影像领域的研究热点。

半监督分割方法虽能以较低标注成本获得满意结果，但传统方法无法利用临床中广泛存在的非配对多模态数据。另一方面，具有相似解剖结构的标注多模态数据（如CT和MRI）比相同数量的单模态图像更容易获取，多模态学习通过提取模态无关知识可生成更具泛化性和鲁棒性的特征。然而，现有多模态分割方法均未应用于有限标注场景，其在半监督分割中的效果尚不明确。

为此，本文提出利用非配对CT和MRI扫描中蕴含的模态无关知识，通过跨模态一致性正则化深度分割模型，以解决标注数据有限的问题。

研究现状#

1. 半监督分割：主流方法通过单模态未标记数据提升性能，如TCSMv2（多变换策略）、SSDC（双任务一致性）、LT-Net（ atlas-based少样本学习），但未利用多模态数据。
2. 多模态分割：DualStream（双流编码器）、MMKD（知识蒸馏）等利用未配对CT/MRI，但依赖足量标记数据，未解决半监督场景问题。
3. 跨模态配准：传统方法（如NMI、MIND）依赖模态独立特征，但深度学习方法（如Voxelmorph）需配对数据，未用于半监督分割。

提出的模型#

实验（Compared with SOTA）#

数据集：

• 数据来源：整合47例CT图像（BTCV数据集）和40例MRI图像（CHAOS数据集），均包含至少4个器官标注（脾脏、左肾、右肾、肝脏）。
• 数据划分：训练集70%、验证集10%、测试集20%，所有图像标准化至零均值单位标准差，裁剪并缩放至256×256×32。
• 评估指标：Dice相似系数（Dice），数值越高表示分割效果越好。

• 整体性能：MASS在CT和MRI模态上均显著优于所有基线，在10%标注率下平均Dice提升近6%（表2、图2）。
• 器官特异性：对数据敏感器官（如肝脏、右肾）提升更显著（表2a/b）。
• 消融实验：
  • 移除atlas框架导致性能下降3.4%，稳定性降低（表3）。
  • 语义一致性（SC）和对比解剖一致性（AC）联合使用效果最优（表4，行6）。
• 可视化分析：MASS在边缘完整性和小器官分割上表现更优（图3），形变场学习更合理（图4）。

结论#

本文提出了一种名为MASS的模态协作半监督分割方法，通过利用未配对CT和MRI扫描中提取的模态无关知识来提升医学图像分割性能。主要结论如下：

1. 创新方法：MASS结合半监督学习与未配对多模态分割，通过变形配准网络实现基于图谱的分割，可同时处理未标记和未配对的CT与MRI训练数据，训练后能得到分别适用于CT和MRI的两个独立分割模型。
2. 一致性正则化：为有效提取模态无关知识，对语义标签和网络表示均应用一致性正则化，从特征对齐角度引入通道对比正则化方法。
3. 性能提升：在极有限监督下（10%标记率），MASS相比半监督和多模态分割方法平均提升近6%，仅需50%标记的未配对CT和MRI图像即可达到与单模态全监督模型（100%标记）相当的分割性能。