基于Teacher-Student框架的自监督学习医学报告生成模型及应用

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:tulip126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
医学图像报告自动生成技术势必在未来的临床诊断和治疗中普及,它能够大幅度节约医生的工作量,为后续诊断提供更加标准化的依据。随着深度学习研究的深入,模型逐渐趋于复杂导致训练所需数据成倍数增加,尤其在医学领域中数据量小是常态,用大模型训练会产生过拟合现象。同时现有医学公开数据集还存在数据偏差严重的问题(正常样本总是占据数据集的较大比重,而不同症状的异常样本占整个数据集的比重却很小),这使得在利用深度学习模型进行报告生成时,报告生成模型往往会忽略这些占比小的数据样本中的异常情况,仅仅生成更加宽泛的描述。本文提出一种基于Teacher-Student框架的自监督学习医学报告生成方法(Teacher-Student Self-supervised Framework based Medical Report Generation Model,TSSMRGM),该报告模型中的Teacher-Student自监督模块利用对比学习方法学习图像特征,同时不依赖负样本进行训练就能使模型性能得到明显提升。自监督模块中的预测网络不关心负样本情况,只令相似的图像具有相似的表征,因此能够使模型对训练数据本身带有的偏差不敏感,从而起到了缓解数据偏差影响的作用。并且,自监督模块的加入能够使模型以更低的数据成本在复杂模型中训练学习图像中的语义信息,这对于数据标注困难且数据量小的医学场景下的各种下游任务起到了关键作用。本文提出的医学报告生成模型首先将输入的CT医学图像进行两次随机增强,利用两个结构相同的CNN网络分别作为Teacher网络和Student网络中的特征提取器同时对两副增强后的图像进行特征提取,Student网络通过额外的预测网络来逼近Teacher网络的特征表示,将训练好的Student网络中的CNN网络作为报告生成模型中的编码器提取图像特征并输入给语言生成模型Transformer。本文在Transformer解码器部分加入信息记忆矩阵用于记录报告中的信息从而能够生成带有罕见症状描述且准确的长文本。在两个公开数据集IU X-Ray和MIMIC-CXR的实验结果表明,本文的方法在几个图像描述生成任务的指标中都优于当前最新的工作。
其他文献
微信作为当前最大的社交应用平台,其在社交媒体中占有重要地位。随着新媒体技术不断发展,各地的政务不断向互联网技术延伸,地方政府将微信作为传达政务的重要途径。各级党政部门开通政务微信公众号,有利于促进党政信息公开,拓宽人民群众联系政府和参政议政的渠道,有利于党政信息资源的开发利用和增值,提升群众满意度和获得感,实现全社会共享。但从近几年的发展情况来看,政务微信的建设和运营逐渐暴露出许多深层次的问题。多
学位
在新媒体时代,人们的出行决策时刻受到社交媒体中口碑信息的影响,旅游目的地品牌推广的主要途径也逐渐从非社交媒体转变到微博、微信和抖音等社交媒体上。旅游目的地如何通过社交媒体平台来创建旅游品牌,并与游客建立起长久而稳定的品牌关系,是当前旅游发展重要的问题。本论文主要对宁夏旅游目的地品牌的社交媒体传播现状,以及优劣势、机遇与不利因素进行分析,提出提升宁夏旅游目的地品牌传播水平的思考和建议。笔者在梳理宁夏
学位
三维人脸重建技术在计算机视觉领域中是一种非常重要的研究方向,在3D游戏,虚拟现实,和元宇宙等方向有非常广泛的应用前景。传统的三维人脸重建算法都是基于3DMM模型的改进,通常估计先验模型的形状,纹理,表情参数获取三维人脸结构模型,对面部细节和高频特征的三维表达存在缺失,重建出的模型都趋于平均模型,细节特征不明显。为了重建出模型具有明显的细节特征,无模型的方法成为了重点的研究方向,但是现有的无模型重建
学位
制造业作为实体经济的重要基础,是我国的立国之本、强国之基。随着全球竞争加剧,国内制造业面临新的挑战。伴随着复杂的工况和实时生产的扰动性,使得制造业生产面临更多的挑战,需要我们紧跟新制造概念的发展,解决实际制造过程中存在的动态不确定性、复杂性以及实时响应性问题。然而,生产调度作为制造系统的基础,生产调度的优化是先进制造技术和现代管理技术的核心。作业车间调度问题是一类基础而复杂的生产调度问题,针对以上
学位
随着互联网与智能终端的发展,越来越多的数据被产生,面对大量无规则且复杂的数据如何从中提取有用信息是目前迫切需要解决的问题。聚类作为数据挖掘领域核心方法之一,可以将无标签的数据进行划分,因此,广泛被应用于多个领域。为了顺应时代的需求,越来越多的聚类分析方法被提出,其中,密度峰值算法(DPC)具有输入参数少、对数据集分布的状况和噪音数据都不敏感以及聚类效率高等优势,使得该算法自发布以来备受国内外学者关
学位
文化生态保护实验区是整体保护“活文化”和文化生态的一种有效方式。本文通过分析陕北文化生态保护实验区内的非遗资源,分别从非遗资源特征、空间分布特征两方面进行研究分析,衡量陕北地区非遗资源是否适宜转化为旅游产品,在陕北全域范围内分析得出不同程度旅游开发适宜性的县区,为陕北国家文化生态保护实验区非遗的旅游开发提供依据,促进陕北地区非遗资源的保护与发展。通过适宜性评价,最后得出延安市宝塔区的旅游适宜性水平
学位
随着当前社会矛盾的日益突出,城乡居民消费结构的进一步升级,葡萄酒产业市场前景广阔,“葡萄酒+旅游”新业态呈现巨大发展潜力。面对新时代新机遇,我国的葡萄酒产业完全可以大有所为,并形成千亿级规模的产业集群,这不仅是贯彻落实习近平总书记对宁夏乃至中国葡萄酒产业重要指示,也是实现中国葡萄酒“当惊世界殊”愿景目标的良好契机。目前我国的葡萄酒旅游目的地的发展跟不上旅游需求的步伐,葡萄酒旅游目的地的评价和建设迫
学位
图像描述是计算机视觉应用于视觉理解的一项子任务,其主要目标是将一幅图片翻译为相应文本描述,不仅需要识别图片中的重要对象,对象的属性和位置逻辑关系,还要根据这些信息生成语法和语义正确的句子。与传统视觉任务不同,图像描述涉及计算机视觉与自然语言处理两大研究领域,使其成为一个具有挑战性的工作。现有图像描述方法主要采用“编码器-解码器”结构对图像进行编码、解码从而获得对应描述,效果显著但仍存在诸多问题有待
学位
随着在线社交平台的不断发展,社交网络已经成为信息传播的重要渠道,社交网络中涌现出大量的口碑信息,这些口碑信息不仅影响消费者对企业产品的认知及购买决策,而且对企业制定营销策略有着重要的参考价值。因此,迫切需要对口碑信息传播机制进行研究,如何构建口碑信息传播模型以及真实反映口碑信息传播过程中消费者异质性及社交网络结构成为当前研究的热点与难点。为此,本文通过相关理论分析,首先构建了 De-SHIR 口碑
学位
多模态医学图像是临床诊断的重要参考,由于不同模态的医学图像对各组织突出特征的差异,临床诊断中通常需要综合多种模态的医学图像信息对疾病进行定性评估。为了减小重要模态医学图像的获取成本,跨模态医学图像生成技术至关重要,同时,获取多模态医学图像也是医学图像分割,医学图像跨模态检索等医学人工智能技术的基础。近年来,基于深度学习的医学图像生成方法在各种场景下表现出色,但受限于对多模态医学图像之间的复杂非线性
学位