面向医学图像处理的3D残差深度模型研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:qq460423406
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现如今海量的数据环境和高效的性能要求下,深度学习算法因其具有的多层非线性结构而具有非常强大的特征表达能力和建模能力,已经在许多任务中逐渐取代了传统算法。现代医学中,医生主要依靠各种模态的医学影像图像做出诊断及治疗计划。医学影像图像的种类很多,如计算机断层扫描成像(CT)、核磁共振成像(MR)、正电子发射计算机断层显像(PET)等。不同模态的医学图像能够提供不同的信息,借助深度学习算法分析和处理医学图像能大大提高诊断的效率和准确性。受限于带标签数据的匮乏,本文的研究重点集中于不同模态的医学图像的转换及模拟图像生成上,并探究利用模拟医学图像辅助其他医学任务的有效性。本文使用的算法是深度学习中的图像生成算法,主要是生成对抗网络(GAN)和变分自编码器(VAE)。并借助辅助分类生成对抗网络(ACGAN)、分割网络UNet和残差网络(ResNet)的思想提高网络模型的有效性和鲁棒性。此外,为了处理三维的医学图像,本文所有使用的数据预处理操作和模型结构均是三维的,这最大程度保留了数据完整性,提升了算法性能。具体而言,本文主要开展了如下的研究工作:(1)针对混合成像PET/MR衰减校正误差问题,我们借助条件式生成对抗网络(CGAN)结合分割网络UNet和残差网络(ResNet)的思想设计了一个深度生成式模型3D VCGAN。我们利用该模型实现腹部多模态MR到模拟CT的转换,再利用得到的模拟CT图像重建PET图像,从而实现一种非直接的PET/MR混合成像方法。与PET/CT相比,PET/MR具有很多优点,但会呈现出较大的标准摄取值(SUV)误差。实验证明,我们的方法能获得最高的精度,并将所有评估器官的SUV误差降低至5%及以下。(2)针对多对比度MR图像合成问题,我们结合条件式生成对抗网络(CGAN)、条件式自编码器(CVAE)和辅助分类生成对抗网络(ACGAN)的思想设计了一个条件自编码辅助分类生成对抗网络(CAE-ACGAN)。该网络结合了多种深度生成式模型的优点,用于实现单CT到多模态MR图像的一对多的反向转换任务。实验结果证明了我们所设计模型的有效性和鲁棒性。(3)针对具有挑战的跨模态MR-CT变形配准问题,我们提出了一种由模拟CT(sCT)引导的非直接的跨模态图像配准和异常图像修复方法。我们使用条件自编码辅助分类生成对抗网络(CAE-ACGAN)实现脑部多模态MR图像到模拟CT图像的转换,并借助得到的模拟CT作为中间媒介将跨模态MR-CT配准转换为同模态sCT-CT配准。在这个过程中,我们不仅可以得到配准后的MR图像也以CT为标准自动修复了可能受污染的异常MR图像。
其他文献
人体行为识别旨在针对数据中人体的行为和意图进行识别和理解,是计算机视觉领域一个重要且热门的研究课题,并在机器人技术、人机交互和智能监控等领域起着至关重要的作用。虽然行为识别算法在早期的研究中已经取得了极大的进步,但仍会受到光照改变、尺度变化、细粒度动作多等因素的影响。随着行为识别数据日趋丰富多样,利用多模态数据间的互补优势实现联合预测来提升识别性能逐渐成为许多研究者的重点研究方向。许多现有工作倾向
在文化消费升级的背景下,敦煌文化数字化产业进入了一个新的发展阶段。敦煌文化App作为敦煌文化的重要组成部分,是文化和历史记忆的载体,是敦煌文化与受众之间的桥梁。以移动端平台为基础的敦煌文化数字化传播方式,不仅为敦煌莫高窟带来了利润,也为受众提供了独特而个性化的体验。但目前市场上对敦煌文化App的设计还存在一些不足,这使得对敦煌文化App的设计研究越来越迫切。本文共五章,首先根据莫高窟文化研究现状,
为了应对日趋严峻的物联网恶意软件攻击,需要对恶意软件进行详细的分析并获得有效的威胁情报,从而增强对物联网攻击的发现与预警能力。本文面向物联网威胁情报的需求,分别从恶意软件分析、轻量级物联网异常流量检测角度展开威胁情报挖掘关键技术研究。本文的主要工作和创新内容概括如下:(1)针对当前物联网恶意样本的检测率不高,物联网恶意软件架构复杂,用于训练的正常样本提取困难,动态分析检测耗时、耗费资源等问题,提出
甲状腺癌是全球增长最迅速的、最多见的内分泌恶性肿瘤之一。在最近的几十年中,甲状腺癌的世界发病率显著升高。甲状腺癌还是女性中排名第五的最普遍的癌症,并且女性患癌的概率是男性的3倍。由于甲状腺癌复杂的疾病进展过程,预测这种癌症的潜在生物标志物仍然面临巨大的挑战性。本文基于TCGA数据库和GEO数据库中甲状腺癌的多组学数据以及新近开发的一些特定的生物数据存储库,通过基因差异表达分析、构建生物网络以及基因
信息的爆炸性增长导致数据流广泛出现在各个应用领域中,如无线传感器网络数据流、股票交易数据流、电子商务数据流等,如何高效获取这些数据中蕴含的信息成为数据流挖掘的主要任务。区别于一般的静态数据,数据流通常具有到达速度快、规模大、动态变化等特征,并且数据流中的目标概念随时间推移会发生改变,导致概念漂移发生,严重影响数据流挖掘效果。此外,数据流中通常存在类别不平衡问题,导致少类实例中蕴含的信息难以获取。因
近年来,因严重交通事故、火灾及工业意外等所致的高能量损伤急剧增多,据估计我国每年因此而接受创面修复手术的患者有近百万例。不合理的术前设计方案易造成皮瓣崩裂、坏死等而引发患处功能障碍,甚至可致截肢,给患者增添更多的痛苦和经济负担。因此,研究并创新现有的术前皮瓣设计方法,快速制定合理的术前指导方案,是基础研究转化为临床应用极好的切入点,具有重要的理论意义和实际价值。本文面向临床中的创面实例,就三维创面
移动互联网时代,信息数据如图片、文本、音视频等呈现爆炸式增长。如何从这些语义关联且模态多样的数据中获取有价值的信息显得尤为重要,跨模态检索也因此备受关注。与图片检索等单模态检索不同,跨模态检索能跨越不同模态实现信息检索,更能满足用户日益增长的检索需求。而不同模态的数据特征表示间存在天然的异构鸿沟,无法直接度量其相似性,同模态数据的底层特征表示与高层语义类别间又存在语义鸿沟,难以获得语义一致的数据表
聚类分析作为数据挖掘和模式识别等领域的重要工具,一直以来都是非常热门的研究话题之一,并得到了非常广泛的应用。但是,随着应用环境的不断变化,特别是进入“大数据”时代,数据规模的庞大性和结构的复杂性对聚类分析提出了越来越严峻的挑战,特别是数据的高维度越来越普遍,包括各种图像数据、生物基因表达数据、搜索引擎数据等的维度往往高达上万维。传统聚类算法通常是针对低维度数据设计开发的,在进行高维数据的分析处理时
近年来,随着各种功能性材料的开发利用,微纳制造在诸如柔性电子、光学器件、微流控器件等众多领域显得尤为重要。目前几种主流的微纳制造手段中,还存在设备昂贵、加工效率低、成型范围有限以及制造精度低等问题,难以满足现有的应用需求。电流体动力学(Electrohydrodynamics,EHD)直写打印技术是一种新型的微纳尺度打印方法,作为一种无掩模、非接触、直写增材制造工艺,具有成型速度快、材料兼容性好以
三维(3D)成像广泛应用于生物医学、材料科学、人机交互等领域,相较于传统的二维成像与显示技术,基于微透镜阵列的光场成像可将光线的位置与角度信息以四维双平面形式进行编码,较传统方式增加了两个自由度,克服了传统成像无法采集光线方向的固有局限。光场图像由子图像阵列组成,其中包含了丰富的物体信息,这些信息中可在重构阶段恢复物体深度,在虚拟现实、三维重建、目标检测等机器视觉领域具有重要作用。然而,目前基于光