论文部分内容阅读
医学影像配准方法在肿瘤放疗中具有广泛应用。目前图像配准方法主要是基于图像强度的配准方法,该类方法存在难以寻找合适的相似性测度以及迭代计算耗时过长等问题。由于深度学习技术在寻找数据内在属性方面具有极强的能力,因此已有部分研究报道了深度学习技术在图像配准中的应用,然而现阶段仍然存在以下几个问题:(1)基于有监督网络的图像配准难以通过传统方法得到更好的目标结果。(2)基于无监督网络的图像配准缺乏参考数据作为结果对比且多为单向网络,难以达到符合临床要求的配准精度。(3)配准结果没有统一的衡量指标。本博士课题的目的是研究和开发基于深度学习的图像配准方法,并集成到放疗计划系统DeepPlan开展应用研究。具体研究目标为构建基于神经网络的三维单/多模态医学影像配准模块并在此基础上开发三维可视化程序对配准结果进行显示,同时将配准模块与可视化模块嵌入DeepPlan。为实现以上目标,本文计划完成以下三个任务:(1)在全卷积神经网络与生成对抗网络上添加基于外轮廓信息的损失函数与模态无关邻域描述符损失函数并引入了循环一致性方法使二者适用于三维医学影像刚性配准与形变配准,并测试与验证其性能。(2)基于OpenGL应用程序编程接口开发医学影像三维可视化程序,对配准结果图像、器官三维图像、数字重建影像等进行显示,通过结合轮廓线拼接法与等值面法解决器官轮廓多连通区域的连接问题。(3)编写配准程序以及可视化程序接口并嵌入DeepPlan中。本博士课题首先基于Python与Pytorch工具搭建了深度学习神经网络环境并采用基于外轮廓信息的损失函数与模态无关邻域描述符损失函数(Modality Independent Neighbourhood Descriptor,MIND)提出了无监督刚性配准网络。在刚性配准网络基础上,本博士课题引入循环一致性方法并增加了循环损失函数提出了一种无监督的形变配准网络来提升形变配准的精度与稳定性。为了对配准前后图像进行显示,基于OpenGL图形库开发了多种医学影像三维可视化算法,包括基于CT值信息的可视化方法与基于轮廓信息的可视化方法。最后将图像配准程序与可视化程序嵌入DeepPlan中测试其应用。在结果方面,本博士课题以74例MR-CT盆腔影像以及98例CT-CT头颈部影像作为训练与测试数据集,同时计算了测试病例器官组织轮廓的戴斯相似性系数(Dice similarity coefficient,DSC)与平均表面距离(Average Surface Distance,ASD)作为评价指标,所有器官均由来自安徽医科大学第一附属医院放疗科的专家们预先勾画。为了对比配准结果,将本文方法与专业的开源配准软件Elastix进行对比。对于多模态刚性配准,配准前图像勾画器官平均Dice系数与ASD值分别为0.398与13.93mm,采用Elastix软件配准后平均Dice系数与ASD值分别为0.748与6.87mm,采用本文方法配准后平均Dice系数与ASD值分别为0.753与6.49mm,在配准时间方面Elastix软件平均耗时13s,而本文提出方法小于0.1s。对于多模态形变配准,配准前图像勾画器官平均Dice系数与ASD值分别为0.433与14.19mm,采用Elastix软件配准后平均Dice系数与ASD值分别为0.761与4.00mm,采用本文方法配准后平均Dice系数与ASD值分别为0.803与2.66mm,在配准时间方面Elastix软件平均耗时64s,本文提出方法小于0.1s。结果表明对于刚性配准本文方法的配准精度与Elastix软件相当,但大幅提高配准速度,而对于形变配准本文方法在提升配准速度的同时也提高了配准精度。在得到配准结果之后,本博士课题开发了基于CT值信息与基于轮廓信息的医学影像三维可视化算法成功对图像配准结果与三维影像进行显示,同时将配准算法以及可视化算法进行了接口开发并嵌入放射治疗计划系统DeepPlan中并通过临床实际病例测试了算法的应用。本博士课题的主要创新点包括:(1)采用基于外轮廓信息的损失函数与模态无关邻域描述符损失函数构建了无监督刚性配准网络,并进一步提出了基于循环一致性方法的无监督式FCN网络进行形变配准,相比于传统配准方法提升了配准精度与稳定性并降低配准时间。(2)结合轮廓线拼接法与等值面法解决了器官轮廓多连通区域的连接问题。