基于Transformer的淋巴瘤超声影像描述生成模型与应用

来源 :东华大学 | 被引量 : 0次 | 上传用户:mmcemil
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
淋巴瘤是起源于淋巴造血系统的恶性肿瘤,是血液肿瘤中发病率最高的类型。对于疑似恶性淋巴瘤的筛查手段有很多。近年来,先进超声检查技术在临床上的应用,为淋巴瘤的诊断提供了更加便利的条件。高分辨率超声能显示淋巴瘤的大小、形态和内部回声结构及其变化,提供丰富的诊断信息,临床医生可以凭借其镜下超声表现筛选出疑似细胞进而通过穿刺活检获得明确的病理诊断。但对于临床经验较为缺乏或非肿瘤科领域的医生来说,镜下筛选过程相对困难且容易出现误判、漏判的情况。此外,在很多疾病的影像诊断中,尤其是病理学显微镜影像,医生之间的诊断一致性非常低。所以在临床中,医生通常需要获得补充性意见作为参考。近几年来大量的工作致力于图像字幕任务,这是一个融合计算机视觉、自然语言处理和机器学习的综合问题,旨在根据图像给出能够描述图像内容的自然语言语句。随着机器学习和深度学习技术的发展,越来越多的学者开始探索如何为医学影像自动生成影像描述。医学影像描述的自动化生成可以大大加快工作流程,提高医疗保健的质量、促进其标准化。如肺炎和气胸等放射学或病理图像的影像描述工作,在医院诊断过程中已经被广泛应用。这是一个相对静态的过程,医生只需要关注检测中筛选出的典型案例或最终影像。不同于之前的工作,本研究期望为超声科医生镜下所见的每一帧影像图片,实时动态的生成相应的视觉描述,为淋巴瘤的筛查提供帮助。本文具体做出了如下几个方面研究工作:(1)提出了一个基于的Transformer模型的淋巴瘤超声影像描述生成模型。基于序列结构对输入的淋巴瘤超声影像生成影像描述。其次,在模型结构中引入记忆机制,在生成过程中隐式地对影像描述中的语义信息进行建模和记忆,从而可以提升Transformer的解码效果,并能够生成有意义且包含语义信息的影像描述。最后,提出将深度稳定学习融入到模型中,通过训练样本的学习到权重去除特征之间的依赖关系,使模型更加关注淋巴瘤而不是软组织背景。(2)本文对淋巴瘤超声影像描述生成模型的稳定性与可解释性进行了研究,通过基于随机傅里叶特征的稳定性分析和基于Soomth Grad的梯度分析法验证本文提出模型在淋巴瘤数据集上的稳定性。此外,模型通过可视化解码器中的交叉注意力层的注意力图的方式来对预测影像描述进行可解释分析。(3)最后,本文设计并实现了淋巴瘤超声影像描述辅助生成系统。采用Spring Boot框架构建本文系统后端,使用Vue来构建系统前端页面。系统结合模型特点并根据临床医生需要实现了影像描述生成、可解释分析等功能。
其他文献
在新冠肺炎疫情背景下,线下课堂的汉语教学无法正常实施,基于互联网的线上教学成为国际中文教育的常态和主流。线上教学模式既为汉语学习者和教师提供了一定的便利,同时也带来了诸多困难和挑战。例如汉语学习者分布在全球各地,存在时差;语言教学需要人际言语交流,线上教学缺乏目的语环境;课堂练习方式受限等等。这些问题都亟需在汉语线上教学中得以妥善解决。在这样的情况下,针对特定教学对象和线上汉语教学中的实际问题,进
学位
疫情背景下,借助网络平台而进行的线上教学已经成为一种广泛推广的教学模式。同时,一对一线上教学对于教师和学生提出了更多的要求。如何针对线上教学的特点,采取有效方法和措施来提升学生在线课堂参与度、在对外汉语线上教学方面提高效率,培养学习者的交际能力,是对外汉语教学亟需解决的问题。对外汉语教学中,中级阶段的汉语教学在对外汉语教学中占据着极为重要的地位。汉语学习者在中级阶段的学习是对初级阶段所学知识的进一
学位
工业设备的正常运转是保障工业流程的关键,通过有效的异常检测技术对工业设备进行诊断可以提高员工的检测效率,更重要的是可以避免因设备意外损坏造成的安全事故。可见,异常检测在整个工业生产过程中发挥重要作用。因为工业流程复杂,涉及到的设备很多,并且具有大量传感器进行实时监测,仅仅通过工人按照经验规则进行全面检测显得十分困难。得益于计算机与异常检测技术的不断提升,逐渐由传统的人工现场监管变成大规模的线上运维
学位
本文通过比较企业财务会计与管理会计的功能,分析了两者之间的差异与联系,并探讨了企业财务会计向管理会计转型的必要性和动力。在此基础上,本文进一步探讨了企业财务会计向管理会计转型实践中的问题,并提出了相应的解决策略。最后,本文以某企业为例,深入分析了该企业财务会计向管理会计转型的实践过程,总结了转型成功的经验与教训。
期刊
随着以现代计算机技术为基础的网络经济崛起,虚拟试衣、时装展示等人工智能技术在服装业中得到了广泛的应用,人们越来越习惯于在线上购买服装。随着经济发展,人们越来越不满足于千篇一律的成品西装而转向寻求对西装进行个性化定制。西装由于其正装的属性,款式较为固定,所以在线上个性化定制西装时,用户更在意对西装面料的选择定制。为满足用户需求,可以利用图像合成技术实时生成不同面料西装的效果图,这样不仅可以提升用户的
学位
近年来,由于移动设备的普及以及社交媒体网站的发展,互联网上产生了规模前所未有的多媒体数据量。多媒体数据核心的表现为一个实例可以通过不同的媒体类型呈现,不同媒体类型的数据存在一定程度上的语义关联。因此,人们对于大规模跨媒体数据检索的需求与日俱增。与此同时,跨媒体检索也已经成为了一类重要的应用,由于其更加符合现实的应用场景,从而往往能够显著提升用户体验。在这类应用中,人们使用一个模态的查询实例(例如图
学位
进入二十一世纪以来,移动通信技术飞速发展,各种计算密集型应用不断涌现,如AR/VR、视频流处理等,传统的云计算模式在处理此类应用时,造成了较大的时延和能量消耗。为了降低计算任务处理时延和能量消耗,业界提出了移动边缘计算(Mobile Edge Computing,MEC)来解决上述问题。MEC模式把CPU资源、磁盘资源和互联网资源等分配到处于互联网边缘的MEC服务器中,为移动终端提供服务。由于ME
学位
为实现“三位一体”智慧医院的建设目标,提升医院综合效益,推进落实医院后勤科学化、标准化、精细化管理水平,成都中医药大学附属医院以“完善标准、强化监督、多方协同、数字基底”为思路,以建筑信息模型(Build-ing Information Modeling,BIM)为内核,运用大数据、人工智能、云计算等数字技术进行管理实践,实现了后勤运维可视化把控,大幅降低人工成本,提升了医院保障服务安全及效率。
期刊
联邦学习作为一种分布式深度学习框架,能够解决由于数据隐私无法集中数据进行训练的问题。传统联邦学习采用中心化参数服务器对模型进行聚合、更新和分发,容易引起单点故障和数据泄漏问题。通过结合去中心化、不可篡改的区块链,能够解决联邦学习中的信任问题。然而,区块链无法避免恶意者通过修改训练样本而引起的中毒攻击。现有研究结合聚合规则或异常检测来防御中毒攻击,但仍存在防御效果差、难以准确识别恶意节点和中毒率超半
学位
受益于数据的爆炸式增长和算力的飞速发展,以深度神经网络为代表的人工智能技术飞速发展。如今,深度学习技术已广泛应用在医疗诊断领域进行手术风险自动评估、药物研发、疾病预测、疾病早筛等。美国食品和药物管理局(FDA)在2018年已经批准了有史以来第一款自动人工智能(AI)诊断仪的上市。伴随着人工智能系统的日益推广,如何对其在医疗健康等安全关键型环境中的性能进行监管成为新的问题。数据是深度学习模型构建的核
学位