随着现代医学成像技术的发展,不同类型的成像设备为医学诊断提供了不同模态图像,从不同层面反映器官或者组织的功能信息或者结构信息。临床上通常需要综合同一个病人多个模态图像的信息以作出更加准确的诊断。因此,不同模态医学图像的配准和融合是医学图像智能处理领域中的研究热点。临床上使用的医学图像模态种类繁多且成像差异显著,给医学图像的配准和融合带来了极大的挑战。一方面,不同模态间成像差异的表征各不相同,现有医学图像配准方法通常局限于两种特定的模态之间,这就需要为任何两两组合的图像模态建立相应的配准模型,极大地增加临床应用成本。另一方面,不同模态成像差异化引起了图像融合中的语义冲突。上述挑战目前尚没有得到有效解决。有鉴于此,本文以多模态医学图像为研究对象,围绕不同模态成像差异化,就多模态医学图像配准和融合的关键问题展开研究。首先,为了克服目前医学图像配准囿于两模态的局限性,本文借鉴Star-GAN中实现多域之间图像生成思想,提出了一种生成对抗网络下的多模态间医学图像配准模型Star-Reg net以达到仅用一个模型完成所有模态间的配准目的。该模型生成器以Unet结构网络为基础,除了以参与配准的移动图像和固定图像为输入外,还引入配准的模态信息作为约束条件,使其学习与配准模态信息相对应的变形场,并根据此变形场完成配准操作。其次,为了消除医学图像融合中不同模态图像间的语义冲突,本文提出了一种基于模态转换的两阶段医学图像融合模型Trans-Ada net。该方法首先通过模态转换将源模态下的医学图像在保持结构一致性的前提下,转换为目标模态下的医学图像,进而在目标模态下完成图像融合。为此,本文提出了一种基于生成对抗网络的模态转换模型,该模型使用Unet结构网络作为生成器来学习源模态到目标模态的模态转换,并引入多尺度梯度方法以稳定模型训练;进一步地,本文提出了一种自适应的小波融合模型,该模型通过若干个独立的神经网络分别自适应学习小波分解下不同频率特征的融合规则。实验结果表明,Star-Reg net模型在保证配准后图像在内容上和移动图像一致,结构上和固定图像相似的前提下,仅使用一个模型完成所有模态间图像配准,大大提高了多模态间医学图像配准效率;Trans-Ada net在目标模态完成图像融合的同时有效整合源模态结构的信息,克服了多模态医学图像融合过程中语义冲突。因此,本文方法为降低医学图像配准临床应用成本和提高医学图像融合的质量和可读性提供可行的解决方案。