论文部分内容阅读
医学影像配准是医学影像分析领域中的重要问题。医学影像配准的主要任务是将来自不同成像设备或不同时间、深度、视角的图像对应像素进行关联,并转换为同一坐标系的过程。医学影像配准技术在医学影像分析中占据重要地位,医学影像成像设备中也越来越多的集成了医学影像配准算法,先进的医学影像配准算法被集成至医学影像工程设备中,进一步提升了影像工程设备的智能型应用水平。目前,医学影像配准技术被广泛应用于计算机辅助诊断、计算机辅助治疗、手术导航、放射治疗计划以及检查治疗效果等领域。开展医学影像配准方面的研究,对于提升医学影像设备的智能化程度,具有至关重要的临床价值和现实意义。国内外学者在医学影像配准领域做了大量的工作,并取得了显著的成绩。早期的图像配准方法主要分为特征点匹配方式和强度匹配两种方式,经过多年的研究和完善,部分科研成果已经被成功应用于临床实践。然而,早期的配准方法通常是通过迭代优化的方式得到图像间的空间对应关系,计算复杂度高,很难将其用于实时的手术导航中。医学影像还具有结构复杂、获取困难等特点,导致医学影像配准领域仍存在以下问题有待解决:(1)现有的大多数配准技术,往往直接预测单向的形变场,不能保证逆变换的存在,单向形变过程中在结构差异较大的区域会产生较大的误差;(2)多模态图像间的相似性关系很难探索,影响多模态图像配准的准确性;(3)有标签医学影像数据的获取非常困难,成为新型配准算法研究工作的一大障碍。上述这些都是医学影像配准算法研究中亟待解决的问题。近年来,计算机技术的发展、深度学习的出现给计算机视觉、医学影像分析等领域带来了巨大的转变。基于深度学习的方法将配准问题定义为一个带参数的函数,并使用卷积神经网络对该函数进行建模。用于训练模型的数据集中的图像成对组成训练集来优化网络的参数,即网络中卷积核的权重。给定一对新的2D或者3D输入图像,经过训练的模型可以直接预测一个图像的所有体素到另一个图像的所有体素空间映射关系。基于深度学习的算法在医学影像配准研究中表现出了巨大的潜力,为医学影像配准提供了新的研究思路和方法,在医学影像工程应用中具有非常广阔的应用前景,对提升医学影像成像设备的效率和人工智能智慧医疗具有重要意义。本文以医学影像分析临床应用为背景,以医学影像为研究对象,以基于深度学习的图像配准作为研究目标,围绕单模态/多模态医学影像对称配准问题展开了一系列的研究工作,探讨如何使用深度学习算法来提高医学影像配准的性能,解决医学影像配准的难题。针对医学影像配准领域存在的图像对称配准问题,多模态医学影像配准过程中相似度度量困难的问题,以及医学影像配准算法研究过程中有标签数据获取困难等问题展开研究。本论文的贡献主要包括以下几个方面:(1)针对单模态医学影像对称配准问题,提出了基于深度卷积神经网络的单模态医学影像对称配准网络算法,解决了单模态医学影像对称配准问题,增强了解剖结构差异较大的图像间配准的准确性和鲁棒性。提出了基于深度卷积神经网络的单模态医学影像对称配准网络算法。首先,搭建新的端到端的图像对称配准网络来预测目标图像和模板图像扭曲到伪中心模板空间中的两个形变场;其次,使用图像对数据训练优化加入对称策略的图像对称配准网络模型参数。最后,利用测试集图像在所提出的算法和其他人提出的算法上进行对比实验。通过在大脑核磁共振图像上进行实验,实验结果表明,所提出的基于深度卷积神经网络的单模态医学影像对称配准算法预测出的对称方向上的两个形变场的平滑度也得到了明显的改善,在解剖结构差异较大的图像区域上进行配准具有更好的准确性和鲁棒性。(2)针对单模态/多模态医学影像配准问题,提出了基于生成对抗网络的单模态/多模态医学影像对称配准网络算法,该算法同时解决了单模态/多模态医学影像对称配准问题,以及使用半监督学习策略利用无标签数据训练优化所提出的网络模型等难题。提出了基于生成对抗网络的单模态/多模态医学影像对称配准网络算法。首先,在搭建网络算法的过程中,将医学影像中的单模态/多模态图像的对称配准问题建模为一个条件生成对抗网络模型;其次,在算法的训练过程中,采用半监督的学习策略来训练算法模型,半监督学习策略可以充分利用宝贵的有标签数据和大量的无标签数据来训练算法模型;最后,在算法模型中引入对称损失函数来激励从一个图像到另一个图像的几何形变及其逆形变组成的循环网络,图像在经过两次变换后还原成原图像。通过在四个单模态医学影像数据集和3个多模态医学影像数据集上的实验,对比实验结果表明,本章所提出的基于生成对抗网络的医学影像对称配准算法相对于其它现有的配准方法的优越性。(3)针对多光谱眼底图像配准问题,提出了基于深度学习端到端模型的多模态医学影像分割与配准对抗学习算法,解决了多光谱眼底图像序列间的配准和眼底血管分割问题。提出了基于深度学习算法的多模态医学影像分割和配准对抗学习算法,通过端到端的对抗学习过程能够同时预测出眼底血管的分布和多光谱眼底图像配准。整个网络分为了两个模块:眼底图像血管分割网络模块和配准网络模块。基于分割驱动的配准网络,利用半监督对抗学习策略同时训练分割网络和配准网络,多光谱图像对完成配准的过程中,将图像上的眼底血管同时分割出来。通过在多光谱眼底图像数据集上进行分割和配准实验,实验结果表明,所提出的基于深度学习的多模态医学影像分割和配准对抗学习算法能够达到理想的精度要求。