多模态医学图像分割在临床诊断中发挥着重要作用。多模态数据已被证明可以从不同层面提供有关解剖结构的互补信息。有效结合多模态数据可以提高医学图像分割性能。近年来,基于深度学习的多模态分割方法取得了显著的进展。然而,现有方法通常简单地结合不同模态的特征,难以充分建模复杂的模态间依赖关系,且忽略了噪声和模态间差异的影响,使得多模态互补信息没有得到很好的利用。本文在配对多模态图像和不成对多模态图像两种场景下展开研究,旨在有效结合多模态互补特征,从而提高各个模态的分割精度。针对配对多模态图像分割,本文提出了一种多模态多尺度选择性特征融合网络。网络的核心在于跨模态自适应交叉细化模块,该模块通过双工门机制关注不同层中多模态特征和多尺度特征的差异性和互补性。跨模态自适应交叉细化模块在模态间进行双向选择性特征聚合,智能地聚合一个模态中多个层次的特征,细化另一个模态的各个单一层次的特征,以实现低层细节与高层语义线索的良好融合。在包含正常胰腺和具有挑战性的脂肪浸润胰腺的双期相数据集上的实验表明,所提出的方法相较于单模态方法有了显著的改进,且超越了先进的多模态融合方法。针对不成对多模态图像分割,本文提出了基于跨模态区域对比学习的多模态分割网络。该网络使用特定于模态的特征归一化层来解决不成对多模态图像分布差异大的问题,采用共享所有卷积核来提取跨模态共享知识。为了促进提取模态不变和具有语义区分性的特征,本文提出了一种跨模态区域对比学习方法。该方法利用两个模态的监督信息,将相应类别的像素作为先验知识,迫使属于同一语义类的像素特征比来自不同语义类的特征更相似。在腹部多器官分割和多分类心脏结构分割两个任务上的实验结果证明了所提出方法的有效性。