跨模态图像合成在阿尔茨海默病诊断中的应用

来源 :福州大学 | 被引量 : 0次 | 上传用户:whbin139
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
阿尔茨海默病(Alzheimer’s Disease,AD)是最常见的痴呆症之一。大量先前的研究结果表明将不同模态的数据结合起来用于脑部疾病的诊断,通常比仅仅使用单一模态的诊断结果更好。但在临床实际中很难获得包含不同模态数据的完整数据集。PET成像价格昂贵并且需要注射放射性物质,而MRI成像则更便宜、更安全,在实际中应用更广泛。因此,在同一研究对象的多模态数据中经常会缺失PET数据。对于多模态数据中数据缺失的情况,在先前的研究中丢弃数据缺失的样本是一种常用的方法,但这种做法使得可用的样本数量大大减少,从而导致多模态诊断模型的性能下降。本文采用生成对抗网络合成多模态数据中缺失的数据使得模型可以使用更多数据提高诊断表现。此外,本文还进一步研究了合成数据在AD诊断中的应用价值。本文的主要研究内容如下:1、本文设计了一个四层结构的3D CNN模型,不仅可以有效的避免模型过拟合还能防止模型过早的下采样妨碍模型性能。海马区域在AD诊断中具有重要意义,本文采用MALP-EM算法对MR图像进行了分割,得到精确的海马体区域,然后截取海马区域作为ROI。并将PET配准到对应的MRI上。此外,基于单模态四层3D CNN模型设计了基于特征融合和基于通道拼接两种不同的多模态模型。从而进行了单模态和多模态的AD、CN以及sMCI、pMCI的分类实验。2、本文基于3D CycleGAN模型提出了SGBS算法,构造一个可逆生成器,使得仅采用一个生成器便可进行MRI和PET的双向合成,从而合成多模态数据中缺失的数据。MRI和PET等不同模态的数据可以从不同角度反映AD的病理特征,有研究表明来自同一对象的多模态数据之间存在可用于AD诊断的互补的信息。但不同模态图像之间的关系非常复杂并且是非线性的,采用传统方法很难准确的建立不同模态间非线性关系,而深度学习模型有强大的非线性拟合能力。使用本文方法合成的图像与真实图像非常相似并且拥有良好的客观指标。3、如果从一个AD患者的MRI合成相应的PET后,该PET图像丢失了AD的病理特征而变成了正常人的特征信息,那么这种合成的图像在临床应用中是没有实际意义的。因此,本文设计了大量实验来探究SGBS算法合成的数据在AD诊断中的价值。实验结果表明,使用SGBS算法合成的图像不仅有很高的图像质量,而且还能保留可用于临床诊断的AD病理信息,有利于AD的诊断预测。因此,本研究不仅具有AI技术上的科学价值,还有一定的临床价值。
其他文献
语义分割作为计算机视觉领域的热门研究课题,目标是对图像中的每个像素点进行正确分类。然而,现有的分割数据普遍存在像素分布不平衡的问题,即类别间的像素分布呈现“长拖尾”现象。这将导致训练模型仅在极个别样本集中的类别上表现突出,而大多数类别性能欠佳,整体精度受限,严重阻碍了多分类分割的应用化进程。本文首先针对普通场景语义分割中的像素分布不均问题开展研究,提出了一种基于数据层面和算法层面的非均衡数据分割方
学位
近年来,随着民用无人机技术的不断发展,无人机的应用场景越来越广泛。围绕无人机的组合导航算法,众多研究者进行了深入研究,并取得了诸多显著成果。然而,目前大部分无人机系统在工作时仅采用GPS全球定位系统实现自定位。当无人机位于高层障碍物附近,或位于强电磁干扰区时,GPS信号可能丢失,从而导致无人机定位信息失效。因此,急需一种能够在无GPS信号条件下可靠、实时、稳定、高精度地为无人机提供定位数据的无人机
学位
量子点(quantum dots,QDs)具有优异的光电特性、可靠的光稳定性以及普遍较高的荧光量子产率,兼具高性能和低成本的量子点在光学防伪标签领域具有广泛应用前景,是一种理想的发光防伪材料。本文根据使用的不同量子点材料的特性,采用了喷墨打印、丝网印刷和光刻工艺分别对量子点墨水、量子点粉体和原位合成的钙钛矿量子点制备的薄膜进行了图案化处理,并对图案化的薄膜的形貌结构、发光特性进行了表征,实现了不同
学位
随着科技的高速发展,自动驾驶技术与高级辅助驾驶系统成为了各国研究的热点,车道线检测则是自动驾驶技术与高级辅助驾驶系统的重要组成部分,具有许多值得研究的问题。由于不同复杂交通场景之间差异较大,拥挤场景会出现车道线被遮挡,光照条件不好会造成车道线模糊等问题,使得现有的车道线检测方法在实际应用时,存在准确性与鲁棒性等方面的不足。针对以上问题,本文在福建省与福州市重点科技项目(2018H0018,2020
学位
超分辨率简称超分,是计算机视觉中的经典任务,其目的是重建低分辨率图像中丢失的高频信息。在过去几十年间,我们见证了超分技术快速发展的历程。特别是深度学习技术的进步,极大地促进了超分领域的发展。目前,超分技术被广泛应于众多领域中。尽管如此,基于深度学习的超分模型需要配对的高—低分辨率图像对来进行训练。然而,在真实世界中,这样的配对图像通常存在获取难度大、获取成本高的问题。为解决这个问题,研究者们通常利
学位
近年来,卷积神经网络被广泛应用于各个领域。为了提高网络的性能,研究者们通常会加深或加宽网络。然而,网络性能在提高的同时,网络整体的计算量和参数数量也在快速增加,这极大阻碍其在资源有限的移动端上的应用。二值化是解决上述问题的一种较好的方法,但由于二值化直接将网络的权重和卷积层的输入特征映射为1bit数据,造成网络精度的大幅下降,导致其难以投入实际应用。基于此,本文在Res Net-18网络结构的基础
学位
随着现代社会空气污染日益严重,肺部组织疾病已成为发病率和致死率最高的疾病类别之一。肺部CT能提供毫米级别的高分辨率薄层影像,通过准确、高效地分割肺部组织结构以辅助肺部疾病的诊疗,已经成为当前的研究热点。本文重点研究肺气管和肺叶的分割。肺气管与肺叶的自动分割与重建不仅能帮助放射科医生定性、定量地评估肺部疾病,还能为肺癌手术的术前规划、术中导航和术后评估等提供有效的参考,省时省力,具有重要的临床价值。
学位
图像超分辨率技术以低分辨率图像为基础,通过推断图像像素值,重构图像的细节信息,以提升图像中目标物的分辨率,从而带给人们更多的视觉信息,为用户提供更好的视觉质量。随着人们对图像清晰度要求的提高,图像超分辨率已成为计算机视觉和图像处理领域的研究热点。然而,当前众多的图像超分辨率算法的性能评估暂无统一标准,目前仍以传统的全参考图像质量评价指标为主要评估方式。但由于超分辨率图像与其参考图像的像素点对应不严
学位
随着国家经济与科技水平的快速发展,人民生活质量逐步提升,具体表现之一就是城市内的机动车数量日益增加。但是,问题也随之而来包括常见的交通堵塞、交通噪声、尾气污染等,且这些问题正日益严重。智能交通系统在解决交通问题上具有显著的效果,正因如此它越来越受到交通管理部门和出行者的信赖。其中,准确稳定的交通流预测可以为交通管理部门提供未来时刻可靠的交通参考数据,从而对交通规划和交通疏导提供有效的建议。然而,现
学位
随着物联网技术的发展和人工智能的普及,网络中的边缘设备数量呈指数式增长,这些设备每时每刻都在产生大量的数据,对这些数据的分析和利用有利于信息化的发展。然而,传统对这些数据集中化处理的方法通常伴随着庞大的存储问题和复杂的计算问题。首先,庞大的数据量对网络传输能力要求较高,且会带来网络时延等问题,因此将数据处理从云端下沉到边缘端的趋势无法避免;其次,随着企业及用户对个人隐私意识的不断增强,使其对个人数
学位