基于深度学习的医学图像非刚体配准

来源 :东南大学 | 被引量 : 0次 | 上传用户:lm20090910
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
医学图像配准是医学图像处理研究领域的一个重要任务和技术难点,对于图像融合、检测肿瘤生长等临床工作有重要意义。图像配准旨在寻找将一幅图像映射到另一幅图像的空间变换。传统的配准方法迭代优化每一对图像的目标函数求解空间变换,存在配准时间长、计算量大的问题。近年来,随着深度学习在医学图像研究领域的广泛应用,基于深度学习的图像配准成为极具前景的研究方向。基于深度学习的有监督配准方法虽然在配准速度与精度方面都有所提升,但是获取监督学习所需的标签信息仍困难重重,这推动了基于深度学习的无监督配准方法的发展。本文主要研究的是基于深度学习的无监督配准方法,解决三维医学图像非刚体配准问题。本文提出了三种不同的无监督配准方法,均使用卷积神经网络直接预测输入图像对之间的形变场,插值后得到配准图像。与传统配准方法相比,本文提出的方法具有端到端完成配准、无需迭代的优点,能够实现精确、快速的配准。(1)本文首先提出了基于3D卷积神经网络的无监督端到端配准方法LNet,该方法通过反向传播图像相似性和梯度信息优化网络参数。网络设计中提出了并行卷积的大卷积核模块LKB,该模块将普通的大卷积核分解,增大网络感受野的同时限制参数量的增加,有利于配准大幅度局部形变。在公开大脑数据集和心脏数据集上的配准实验结果证明了 LNet的配准精度可与最先进的方法相媲美,同时配准速度更快。(2)考虑到仅依靠图像相似性和梯度信息优化网络参数,无监督配准约束不足,在LNet的基础上,本文提出了基于3D卷积神经网络的无监督循环配准框架CIRNet。CIRNet提出了一个新的配准优化目标:将浮动图像配准到固定图像,然后再将配准结果配准回浮动图像,应得到原始的浮动图像。基于该优化目标,CIRNet引入了循环一致性约束,即m→G(m)→F(G(m))≈ m。循环一致性约束为无监督学习提供了额外的“自我监督”。在公开大脑数据集和心脏数据集的大量实验证明,CIRNet的配准精度超过了包括SyN和BSpline在内的传统算法以及其他深度学习配准算法。循环配准结构和循环一致性约束可以显著提高无监督配准算法的准确性。(3)基于循环配准框架CIRNet,本文提出了用于多模态配准的双通道配准模型CIRNet-2ch,为无监督的多模态图像配准提供了新思路。该方法使用双通道网络分别提取不同模态的图像特征再进行融合,通过循环一致性约束多模态图像配准。本文使用临床数据心脏CT-MR图像进行多模态配准算法评估,标注心脏轮廓点进而比较不同的配准方法结果,实验证明本文提出的多模态配准方法CIRNet-2ch表现最好。
其他文献
移动机器人作为新世纪智能化关键载体,已逐渐在工业、服务业、农业和航天等领域得到了广泛的运用。随着任务需求以及环境多样性的增加,移动机器人的研究不断面临新的挑战,尤其是其自动化和信息化。本文基于MT-R型移动机器人平台研究移动机器人的导航与抓取问题,具体内容如下:(1)基于单目视觉研究机器人的目标识别与测距算法。依据小孔成像模型利用张氏标定法对摄像机标定,获取相机内参。根据特定目标的颜色和形状特征,
冷轧管性能优越、精度高,广泛应用于国民经济许多领域。新型冷轧管机采用三个直流电机实现轧辊和回转、送进驱动,其性能和运行状态直接决定了冷轧管的质量。已有的冷轧管机现场监控器通过采集驱动电机的电压电流信号实现了对生产过程中冷轧管机运行状态的监控,并能够连接上位机实现监控数据存贮和管理。随着新型冷轧管机的技术升级和普及应用,轧管厂和制造商在设备安装调试、使用维护、故障维修、质量跟踪等方面都面临挑战,需要
类人机器人是智能机器人领域的研究热点,受到机器人学界的广泛关注。本课题针对Robo Cup类人足球机器人Kid Size项目,在东南大学SEU_Uni Robot团队历年研究成果基础上,优化设计和实现完整的类人机器人运动控制系统,以提升机器人运动性能。本文研究内容主要包括:搭建机器人的软硬件系统,采用两层控制器的控制架构,完成舵机执行器、传感器的选型,使用MCU作为机器人下层控制器,完成定时任务和
在传统多标记学习中,每个对象由单个特征向量构成的示例表示,学习系统的目标是构建由示例空间至标记空间幂空间的映射。一般而言,对象的特征表示对于学习系统的泛化性能有着重要影响。如何突破传统的单特征向量表示,提升多标记学习系统泛化性能,值得进一步深入研究。本文围绕多标记特征表示开展研究,主要做了如下两方面的工作:一方面,“类属特征(label-specific features)”表示通过为每个标记构造
零样本学习作为机器学习中的一项新的挑战,越来越多的研究者将注意力放在了这一项新的任务上。零样本学习指的是利用类别辅助信息,在没有对应类别训练样本的情况下,对该类别的样本做出正确预测的任务。零样本学习可以根据测试集中样本的类别分为传统零样本学习和广义零样本学习,也可以根据使用数据的不同,分为类别归纳示例归纳式、类别直推示例归纳式、类别直推示例直推式三种。在先前类别归纳示例归纳式的零样本学习研究中,对
图像内容理解是计算机视觉领域重要的研究目标。分割,尤以细粒度图像分割,是实现图像内容理解的一个重要途径。全景分割,作为细粒度图像分割任务中的一种,可以帮助计算机更全面的理解图像中每一类物体的位置、形状等信息,它的有效解决,将有助于自动驾驶、行为识别等多个问题的发展。本文主要着眼于神经网络建模、针对全景分割问题的计算机视觉方法研究。更具体来说,是通过对数字图像进行像素点级别的分类实现对图像中物体的识
随着社会与现代科技的发展,人们将面临着越来越多的数据,传统的机器学习方法计算开销大,通常难以应用到大规模数据的学习问题上。而当面对大规模学习问题时,在线学习往往是一种易于应用且高效的方法。现有的在线学习方法大致可分为线性模型和核化模型两类。其中,线性模型的计算开销小,所以计算速度快。但当面临复杂数据时,这类模型在精度上很可能表现不佳。后来有研究者引入核技巧(kernel trick),提出了核化模
多标记分类研究中,一个示例(由属性/特征向量表示)会关联多个类别标记,利用多标记数据可以构造一个从示例映射到类别标记集合的分类模型,这样的学习框架适用于多义性对象建模。传统的多标记分类任务中,通常假设实例对应的标记集合是完全准确的。然而,在某些复杂场景下(如网络图片标注),与示例关联的候选标记集合往往含有噪声,需要对含噪多标记分类问题进行研究。本文针对多标记分类中噪声标记问题与多标记分类中特征构造
两阶段学习算法是将一些传统机器学习算法由原始的一步解决问题的过程拆分为两个不同的学习阶段,而问题求解的本质保持不变的学习框架。最初,两阶段学习算法的引入是用来解决核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA)在处理高维小样本数据时所面临的病态问题。具体地,两阶段核Fisher判别分析(Two-phase Kernel Fisher Dis
在标准偏标记学习框架下,每个对象由单个特征向量进行刻画,同时与多个候选标记相关联,其中仅有一个未知的真实标记。另一方面,在真实世界问题中对象的性质往往更为复杂,每个对象拥有多源的特征表示并且未知的真实标记也并非唯一。一般而言,有效的特征表示能显著提升学习系统的泛化能力,而偏标记特征表示任务由于标记的真实信息未知而具有较高挑战性。本文针对偏标记场景下的特征表示及融合展开研究,主要包括以下两方面工作: