基于多模态学习的医学影像报告自动生成研究与应用

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:sxhh122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术和医疗水平的发展,医院每日都会产生大量的医学影像数据,这增加了放射科医生医疗诊断及影像报告撰写的负担。医学影像报告自动生成的研究大多是基于Image Caption的模型设计,虽取得了一定的效果,但没有对医学影像特征和医学语义进行充分的分析,只是通过模型的训练使影像特征与报告中的文本特征对齐,导致所生成的医学影像报告质量不高,临床意义有限。本文提出了一种基于Topic注意力机制的医学影像报告自动生成模型(Topic-Based Attention Medical Report Generation Model,TAMRGM),此模型可以充分考虑影像报告的医学语义特征和提升深度学习训练的模型性能,自动生成更加准确的医学影像报告。首先,模型对医学影像进行了特征提取,并结合影像报告中的医学语义特征,通过加入注意力机制对影像图像和文本特征进行多模态融合,然后,利用Topic生成器完成对该影像定性的分析,逐句生成影像报告细节信息,生成高质量影像报告,最后,在OpenI数据集上,通过对TAMRGM模型进行训练和评估,利用BELU Score、METEOR、ROUGE和CIDEr评价指标对模型生成的影像报告进行了评估。实验结果表明,TAMRGM模型的效果好于 CNN-RNN、Hierarchical Generation 以及 Co_Attention 模型,故,验证了 TAMRGM模型对于生成高质量医学影像报告的有效性。综上,在现有医学影像报告自动生成研究的基础上,本文提出了基于Topic注意力机制的医学影像报告自动生成模型TAMRGM,并在胸部X射线OpenI数据集上进行了模型的构建和有效性的验证。通过此研究可以辅助放射科医生快速完成影像报告的撰写,为患者提供更好的诊疗服务。
其他文献
近年来,有机金属卤化物钙钛矿凭借其优异的光电性能在电致发光器件、光伏转化器件、光/辐射探测等领域取得了重要进展。特别地,作为一种优异的光增益介质,有机金属卤化物钙钛
随着煤炭资源的不断开采及经济建设的发展,众多建(构)筑物将在老采空区上方建造,其涉及范围大,服务年限长,且近些年来,采空区塌陷造成的地表及建筑物损害事故多有发生。因此,对老采空区“活化”机理的研究以及浅埋深老采空区上方建(构)筑物安全性的研究,对实现地表建(构)筑物安全及煤矿采空区的利用具有重要的现实意义。本文首先收集研究区域的煤矿地质、水文地质等基本地质概况,通过室内岩石力学实验测定各个岩层岩石
随着微博、微信、论坛等各种社交网络的广泛应用,人们在社交网络中产生了大量的数据,这些生成的数据构成了复杂的虚拟社会网络,虚拟社会网络是对现实社会的虚拟映射,利用计算机技术手段分析和研究虚拟网络中的社会关系、社会行为的规律和发展趋势,对研究和解决社会学中的相关现实社会问题具有重要的意义。社区发现是复杂社会网络研究的基础,近年研究者发现,重叠社区发现更能反映真实社会的状况。标签传播算法是社区发现算法中
徽州地区,地形闭塞,群山环绕,加之历史上鲜有战乱,人员集聚,形成规模巨大的村落聚落。但是由于太平天国运动的爆发,徽州地区晚清的人口出现急剧减少。战后,为了恢复生产,晚清政府出台了移民政策的激励,加之徽州地区的自然人文环境的优势吸引了大批的移民。徽州的移民主要来自省内的安庆府、庐州府,同时也有来自湖南、湖北、河南、江西的省际移民,不少躲避战争的流民闻风而来,或经商,或务农,通过对徽州地区的开发,使得
近年来,我国的交通网络建设飞速发展,交通安全越来越受到重视。交通标志在道路交通中有着重要作用,对于保障人们的人身财产安全具有重要意义。随着计算机科学的发展,交通标志的识别逐渐成为了计算机领域重要的研究方向。智能化地识别交通标志不仅能为未来自动驾驶时代的到来打下基础,更重要的是可以避免驾驶员错过重要的道路信息,从而减少不必要的损失。早期的研究多采用特征工程的方法,使用交通标志的具体形状信息和色彩信息
研究1:对痉挛型构音障碍脑瘫儿童汉语普通话声调听懂度的分析。目的:探讨痉挛型构音障碍脑瘫儿童与正常同龄儿童汉语普通话声调听懂度的差异,脑瘫儿童发声声调是否存在异常。方法:收集28位7-15岁痉挛型构音障碍脑瘫儿童和30位7-14岁正常儿童,进行汉语普通话声调听懂度的分析。结果:(1)两组受试者的年龄、性别差异无统计学意义(x2=0.181,Z=-1.125,p>0.05);(2)3名评估者对
城市公园是城市绿地建设系统中不可或缺的组成部分,它是城市建设中涵盖精神文明与社会文明的重要载体,兼具着社会、经济、环境等功能。在传统城市公园发展进步的进程中,怎样去平衡城市公园与现代化城市生活节奏是当下所需面临的主要问题。随着社会进步,时代的不断发展,以及社会对儿童群体成长的日渐关注,社会各界已经提出建设“儿童友好型城市”的概念,其中对城市公园的改革是建设“儿童友好型城市”的关键一环;基于儿童行为
目的:探究快速康复外科(enhanced recovery after surgery,ERAS)在腹腔镜下早期子宫内膜癌分期术中的应用安全性及有效性。方法:收集大连市妇幼保健院妇科肿瘤病房临床及病理
背景:随着介入治疗的开展与成熟,急性心肌梗死(Acute myocardial infarction,AMI)的死亡率明显下降,且部分患者经介入治疗血管再通后左室射血分数(Left ventricular ejection
大数据时代,个性化推荐系统作为对抗信息过载的有效手段,已然成为人们生活中不可或缺的一部分。网络数据广泛存在于各种推荐场景之中,譬如用于描述用户与物品交互关系的二分网络,以及由用户构成的社交网络、由地理位置构成的地理信息网络等等,这些网络数据从不同侧面传达着用户的多样化信息需求。本文聚焦于社会化推荐场景和路线推荐场景,根据两种应用场景的特点,提出两种结合网络嵌入的推荐方法。在社会化推荐方面,如何将社