基于可逆网络的多模态医学图像的合成与融合

来源 :南昌大学 | 被引量 : 0次 | 上传用户:sfx158158
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模态医学图像可以弥补各种成像形式自身的局限性,为医生快速诊断和合理治疗疾病提供可靠依据。然而,临床上同时采集不同模态的医学图像需要花费大量的时间和财力。医学图像合成与融合是获得多模态医学图像的可行途径,因此,它引起了医学图像计算界的广泛关注。针对现有的医学图像合成算法需要对不同的输入模态数量分别搭建模型,缺乏通用性和灵活性的问题,本课题提出了一种有监督的可逆变量增强网络(invertible and variable augmented network,i VAN),它不仅适用于单模态输入的合成,还适用于多模态输入的合成。为了更好地学习从源模态图像到目标模态图像之间的双向映射,并有效地将多个输入模态信息结合起来,本课题提出利用变量增强技术与仿射耦合层搭建i VAN模型。此外,还设计使用正向损失和逆向损失进行双向训练优化该模型,以避免产生模糊的目标模态图像。提出的模型也适用于多模态医学图像融合,具体而言,首先将待融合的图像堆叠作为网络的输入,然后经过训练好的i VAN模型得到融合图像。本课题所提出的模型在两个医学图像数据集上进行了相关的仿真实验。与单模态输入相比,当使用多模态输入模式时,合成效果有显著的提升,这表明该模型可以有效融合不同模态的互补信息,并利用它们的相关性来提高合成性能。此外,与多个经典的多模态医学图像融合方法进行对比,该模型在客观指标和主观视觉两方面都优于其他的多模态医学图像融合方法。
其他文献
低照度图像因对比度低而不利于人眼观察和机器学习,尽管已经提出了不少图像增强方法来解决此类问题,但现有的算法或多或少存在一定的缺陷。例如基于Retinex模型的低照度图像增强(low-light image enhancement,LLIE)算法不仅对图像的亮度和对比度具有提升效果,而且在彩色图像增强方面具有明显的优势。然而此类算法主要对亮度分量进行估计,其结果并不准确且无法保留图像边缘信息,从而导
学位
随着大量的社会资源被网络化和数字化,数据浸润各行各业,成为重要的生产要素。从繁杂数据中提取价值信息成为助力生产学习的有效手段,数据挖掘的重要性不言而喻。K-medoids聚类算法是数据挖掘中的有效技术,它在继承了K-means算法优点的基础上,对噪声和离群点过于敏感的不足进行改进,得到了研究者的广泛关注。但K-medoids算法依然容易受到初始聚类中心点随机性的影响。为解决这些问题,本研究提出一种
学位
工作流系统主要应用于具有明显流程特征的办公软件,但传统的工作流系统存在着部署维护成本高、升级迭代不够简便、应用不够灵活等弊端。随着云计算技术的快速崛起,SaaS模式以其升级维护成本低、按需租赁、即开即用和扩展能力强等优势逐渐被广泛应用于软件技术领域。针对上述问题,本文结合SaaS模式和微服务框架设计并实现了一个全新的工作流系统,有助于工作流系统的资源共享和灵活应用,提高了产品的技术竞争力。本文的主
学位
随着影视动漫、有声书广播剧等产业的飞速发展,配音逐渐进入大众的视野,越来越多的配音爱好者希望利用业余时间学习配音,不仅可以增加一份收入,还能圆自己的“配音梦”。然而配音看似门槛低,实则需要专业的学习加上系统的训练与实践,其中配音情感的表达是衡量配音质量的关键因素之一。而网上出现的各类线上配音速成培训班教学质量良莠不齐,难以对学生的配音训练实践提供实时指导,学生也无法准确的评估自己配音的情感表达效果
学位
失智症是指任何导致记忆或思维能力的改变严重到足以干扰一个人的日常生活的疾病,其中最常见的失智症疾病是阿尔兹海默症。动脉自旋标记是一种使用可自由扩散的内在示踪剂测量脑血流的功能性磁共振成像技术。动脉自旋标记凭借无需注射造影剂、无电离辐射和费用较低的优点,在失智症这种长期性疾病的临床中得到广泛的运用,但遗憾的是目前尚没有公开的基于失智症的动脉自旋标记数据集。为了改善这种现状,本文深入开展了面向提高失智
学位
文本作为人类重要的交流方式,记载了大量的人类文明信息。进入现代文明后,信息技术得到了快速发展,产生了大量的短文本数据。这些短文本数据包含着许多有价值的信息,由此衍生出短文本分类这一重要的课题。然而,由于短文本数据特征矩阵的稀疏性和语义特征不足使得短文本分类面临巨大的挑战。本文针对短文本的文本表示和语义不足方面,提出了基于加入注意力机制的卷积神经网络和神经主题模型的Prod LDA-ACNN模型,基
学位
行人重识别旨在视野非重叠的不同摄像机下寻找包含相同行人的图像,是智慧城市中的重要一环,也是国内外研究的热点课题之一。然而,现阶段的行人重识别研究领域还存在两大问题。问题一是现有的方法往往需要大量高质量标注好的数据来训练模型,并且生成的模型易局限于特定的、单一的场景,不能很好地应用到新场景中,即模型可移植性差、泛化能力弱、容易出现过拟合现象。问题二是不同的监控设施的采集场景不一,不同的摄像机、光照情
学位
箱包五金件是手工业生产中较为常见的产品,随着数字经济的迅速发展,箱包生产厂商需要对箱包五金件进行信息化。一个精准的拍图识别系统可以提高箱包生产厂商完成产品信息化的效率。而一个准确率高且泛化能力强的图像分类模型是构建一个好的拍图识别系统的关键。论文针对图像分类任务中图像数据集(箱包五金件图像)的类别不平衡问题,提出了基于改进CycleGAN的图像增广方法。同时针对ResNet在箱包五金件图像识别的技
学位
甲状腺结节患病率在近年来明显上升,恶性甲状腺结节对人体的危害极大。超声图像为诊断甲状腺结节病变提供了重要的影像学依据,但诊断结果完全依赖医生的临床知识和主观判断,可能导致误诊。随着人工智能高速发展,利用深度学习识别甲状腺结节的良恶性,并辅助医生进行诊断具有重要的临床价值。为了提高甲状腺结节良恶性诊断准确率,本文使用高效通道注意力模块和特征金字塔结构改进Res Net50网络,并通过训练得到具有优秀
学位
皮肤癌是目前最常见的癌症之一。从检测和治疗层面而言,研究皮肤病图像分类算法区分恶性与良性病变具有积极意义。鉴于深度学习的迅猛发展,卷积神经网络在皮肤病图像处理中已经取得巨大突破。但是皮肤病类间相似性大、类内差异性小及图像样本有限等问题的存在,使得皮肤病识别算法仍然具有改进的空间。本文主要通过增强网络的特征提取能力和融合多模态特征的方式解决上述难题。(1)为了增强卷积神经网络的特征提取能力,提高多分
学位