论文部分内容阅读
医学图像配准是一个复杂的具有不适定性的科学问题。如何设计和实现高精度、高效率的配准算法是目前临床医学影像辅助诊疗中亟待解决的难题。现代医学成像技术的发展使得图像更加复杂和多样化,传统的图像配准算法在配准的准确度、效率、普适性和鲁棒性等方面表现出一定的局限性。最近的研究发现,深度学习方法可以通过大样本训练学习,建立高效、准确的医学图像配准模型。本文针对现有医学图像配准难点,系统深入地研究了深度学习配准方法。提出了端到端无监督学习的仿射和弹性级联配准网络结构。在弹性配准算法上,提出了形变场一致性和形变场先验分布等正则化方法。结合临床需求,已将提出的深度学习配准算法成功应用到纵向脑图谱构建和分析、新冠肺炎感染区域分布及其纵向演变规律、肺结节分布等多模态影像分析中,取得了满意的效果。主要研究成果如下:1.无监督深度学习仿射和弹性级联配准网络:在对实时性要求较高的影像导航或影像辅助介入的应用中,一般需要先进行全局仿射配准,再进行局部弹性配准。目前配准算法需迭代优化,配准过程时间长,不能满足临床实时性要求。本文提出了一种两阶段无监督深度学习仿射和弹性级联配准深度网络:第一阶段的深度网络用来学习输出图像级的全局仿射变换参数。第二阶段网络学习输出体素级的局部形变场,其输入为固定图像和第一阶段输出的仿射变换后浮动图像。两阶段配准网络分别通过最大化输入图像的全局和局部归一化相关系数进行无监督的端到端联合训练,无需医生勾画解剖学轮廓和形变场金标准。脑部MRI配准实验表明,训练好的两阶段配准网络可直接同时进行图像仿射和形变配准,无需迭代,配准耗时小于1秒。该方法在LPBA40,IBSR18,CUMC12和MGH10四个数据集中的准确度Dice分别达到0.71±0.10,0.65±0.23,0.47±0.21和0.44±0.19。2.无监督深度学习对称循环一致性配准网络:在临床肿瘤自适应放疗中,需要通过图像配准技术将治疗时图像和治疗前的计划CT进行配准,并通过形变场对放疗靶区和剂量分布进行演化和评估。该过程要求形变场是可逆、光滑、双向一致的,可通过微分同胚形变配准实现,但计算量大、耗时长。本文提出了无监督深度学习对称循环一致性配准网络,即双向形变一致性和循环形变一致性正则方法。除图像强度相似性和形变场拓扑一致性正则项外,在训练损失函数中增加图像对间的形变逆一致性正则项和图像组间的形变循环一致性正则项。首先,通过双向配准引入待配准图像对的逆一致性;然后,将一致性推广到2幅以上的图像组,使得成对一致性和组内一致性都可以很好地应用到该配准网络中。所提出的分阶段优化训练策略在不引入任何额外网络参数和计算复杂度的情况下,得到了鲁棒的配准结果,在改变待配准图像顺序后也能产生一致的形变结果。与目前最先进的传统配准算法相比,该方法达到了相似的精度,并在精度和形变一致性方面都优于没有一致性约束的深度学习网络,保证了非线性配准中形变场的可逆性、光滑性和拓扑正确性。在LPBA40,IBSR18,CUMC12和MGH10四个数据集中准确性Dice分别达到0.70±0.05,0.47±0.10,0.48±0.09和0.51±0.11,一致性Dice大于0.97,一致性距离均值为0.25mm。形变场折叠数量和千分比达到1204/0.17‰。3.基于形变场先验投影图像的多级配准框架:对不同个体的图像或者同一个体存在较大的呼吸运动的图像配准研究发现,解剖形态差距较大的图像进行配准较为困难,如肺部4D-CT图像的吸气和呼气时刻的两幅图像的配准。在图谱的构建过程中,对具有不同形态差别的图像进行配准需要鲁棒的配准算法,然而传统算法需要进行调参,对不同应用场景和图像进行迭代优化计算,大部分深度学习的算法需要进行超参数的设置,网络不具有通用性,不能使用同一个网络处理形态差距不同的图像。本文提出了基于形变场先验投影图像的多级配准框架,通过高维形变场统计分布先验模型生成先验图像来增强弹性配准的鲁棒性和精度。首先通过高维形变场分析估计形变场的先验分布,然后利用该先验分布分别生成与两个输入图像相似的中间先验图像,使得任意两个图像的配准能够以两个中间图像为桥梁,将输入图像对的配准转换成采用可逆一致的深度配准网络分别配准对应的中间生成图像和输入图像。由于中间图像在形状上和对应输入图像更为相似,该方法可以达到较高的准确性和较好的一致性,尤其是在形状外观差别较大的输入图像之间,能够产生平滑一致的形变场。实验结果表明,该方法的准确性Dice为0.74±0.05,一致性Dice为0.94±0.02,一致性距离为0.21±0.01mm,形变场折叠度为0.15‰。4.基于形变场先验知识的混合监督配准网络:为了将形变场的统计先验约束融合到配准网络的训练中,本文提出了基于形变场先验知识的混合监督配准网络。该方法同样适用于呼吸运动产生的大形变的情况和图谱构建任务。具体策略包括:(1)形变场先验变分编解码数据增强与配准网络训练策略。从一组由微分同胚配准方法Sy N生成的有效形变,通过训练变分编解码网络,得到形变场在隐空间的流形,然后对隐空间进行统计采样,并将解码器重构后的形变和对应形变后的图像作为金标准,对配准网络进行有监督训练。混合监督变分编解码训练策略交替使用了这种有监督和前述无监督深度学习对称循环一致性学习策略,在网络训练中进一步考虑了形变场平滑性约束和逆一致性约束。(2)集成形变场核主成分分析先验的小波多分辨率配准网络。在网络结构上提出在每个分辨率层次上进行简单卷积的多分辨率配准网络。先在最低分辨率上计算形变场,再在高的分辨率上逐级细化。形变场的先验分布则以核主成分分析的非线性建模方法应用在低分辨率的形变场约束和学习中,同时利用多分辨小波分解的图像特征作为输入,不仅保留低频图像形状,而且保持丰富的高频特征。实验结果表明,所提出的混合监督的训练策略和采用新的先验分布约束学习的多分辨配准网络在配准精度、一致性和拓扑正确性方面都有较好的表现。该方法的准确性Dice为0.75±0.05,豪斯多夫距离为2.0±0.6mm,一致性距离为0.20±0.01mm,形变场折叠度为0.16‰。5.创新性配准应用:将配准技术应用于医学影像分析,包括采用基于形变场小波主成分分析先验投影图像的多级配准框架,进行基于核磁图像的纵向脑图谱的构建和分析,以及基于CT图像的新冠肺炎感染区域分布及其纵向演变分析,和基于CT图像的肺结节分布分析。将大量不同个体或不同时间点的图像配准到模板图像空间,获得不同群组的发育或疾病分布信息特征,可一目了然地看到器官组织发育、疾病进展与治疗过程中的变化结果。可为疾病的早期评估、病变的严重程度预测等计算机辅助检测和诊断提供先验知识,同时为医生提供可视化参考的评估方法。