医学图像在临床诊断中有着相当重要的作用,医生根据医学图像诊断患者的疾病并且撰写报告,由于撰写报告需要大量时间,因此,为医学图像自动生成诊断报告具有很高的临床医用价值。近年来,已有许多基于深度学习的方法应用在医学图像主题生成任务中,其中最为突出的是基于编码器-解码器的方法。基于编码器-解码器的方法常用的解码器是长短时记忆网络,在解码阶段输入特征和隐藏状态相互独立,可能会导致上下文信息丢失,句子生成质量不佳。而医学图像由于其成像原理,导致部分图像类间差异小,类间差异和类内差异界限不明显,容易产生误判,以至于错误地获取到图像信息。为此,本文提出了两种方法,具体工作如下:1.针对医学图像纹理不清晰,难以通过单独目标区域识别目标,以及解码器可能丢失上下文信息,导致生成句子质量不佳的问题。本文提出了一个基于信息交互增强的医学图像主题生成方法。该方法首先编码图像,然后使用能利用高阶模态内和模态间的交互作用的注意力机制获取图像信息。在解码阶段,将图像注意力特征、前一时间步的上下文向量和当前时间步的词向量融合之后作为输入特征,通过多次交互融合后的输入特征和隐藏状态,增强图像注意力特征和上下文语义特征指导解码器生成句子的能力,减少上下文信息的丢失。在三个数据集上的实验结果表明,将融合的输入特征和隐藏状态交互之后,各个评价指标都有一定的提升。2.医学图像采集于人体,部分医学图像之间的类间差异小,类间差异和类内差异界限不明显,容易误判,导致无法正确地获取图像中有用的信息。针对此问题,本文提出了基于对比学习的医学图像主题生成算法。该算法首先对数据进行增强扩充,使同一个图像的数据增强后的图像互为正样本,与其他所有图像互为负样本,将图像正样本与负样本分离,从而更好地学习图像的特征,提升整体模型生成句子的质量。实验结果表明,在将正样本拉近,负样本推远之后,模型很好地获取到了图像表征,句子的质量较第三章提出的模型也有较大的提升。3.将本文提出的两个医学图像主题生成模型封装到医学图像诊断报告自动生成系统中,结合交互式界面,使得后续研究工作更加简单。该系统具有数据加载、图像预处理、诊断报告生成、结果处理等功能,以满足用户的不同需求。在使用时只需要传入需要诊断的医学图像,便能得到相应的诊断结果。在一定程度上减轻了医务工作者的工作量。