眼底疾病指人眼球内后部组织中的部位病变。眼底检查十分重要,许多疾病如高血压、糖尿病等都可以从眼底图像呈现出来,一般是各医院眼科必做检查项目。从拍摄眼底图像到医生给出诊断报告并解释给病人发病情况通常需要30分钟左右的时间,在医院患者数较多的情况下,整个过程可能会延至1-2天。而利用人工智能方法使机器自动生成眼底图像阅片报告将缩短医生的诊断时间,并给予医生以提示作用,同时会方便患者保留对当前病情的文本依据。将人工智能技术应用于医学图像阅片报告自动生成任务是一个重要且有价值的研究方向。目前有很多关于医学图像诊断报告自动生成问题的研究,它们大多基于图像报告自动生成方法。传统的图像报告生成方法无法从图像中有效的提取抽象特征,且不具有泛化性。随着计算机视觉与自然语言处理技术的不断发展,引入注意力机制的编码器-解码器模型在图像报告自动生成问题中取得了较好的研究成果。而针对医学领域中的图像阅片报告自动生成问题,只有具体病症的描述需要参考图像中的视觉特征,报告中的非视觉语句如医生建议等内容不需要参考图像中的视觉信息来生成。为了解决上述问题,本文提出了一种基于语义与视觉特征的眼底图像阅片报告自适应生成模型,具体所做工作如下:（1）构建基于深度卷积神经网络（Deep Convolutional Neural Network,DCNN）的眼底图像特征提取模型。本文模型的输入为眼底图像数据和与图像相对应的文本数据,由于眼底图像本身质量不够统一和眼底图像特征的特异性,我们设计了针对眼底图像数据的预处理方法,并对文本数据进行中文分词与词频统计处理,之后设置对比实验验证各个因素对DCNN提取眼底图像特征效果的影响。最后实验结果证明,DCNN提取的眼底特征是切实有效的,能为本文后续的眼底图像阅片报告自动生成任务带来准确的特征表达。（2）提出了一种决策自适应图像报告生成模型。针对在生成非视觉语句时无需参考视觉特征的实际问题,本文基于自适应注意力（Adaptive Attention）图像报告生成模型提出了一种改进方法。具体的,本文提出了一种全新的决策机制使生成描述过程中自适应的决策是否利用视觉信息。模型使用经过本研究实验证明对眼底图像特征提取工作有效的残差神经网络（Residual Networks,Res Net）Res Net＿50作为图像编码器,使用决策自适应长短期记忆网络（Long Short-Term Memory,LSTM）作为解码器生成图像报告,通过决策模块触发索引以控制生成每一个词语时是否利用带有注意力机制的方法。实验结果表明,该模型在由北京同仁医院提供的眼底图像及描述数据集上的性能超过自适应注意力模型,能较为准确的生成眼底图像阅片报告。（3）提出了一种基于强化学习（Reinforcement learning,RL）的决策自更新图像报告生成模型。针对传统图像描述方法利用交叉熵损失（Cross-Entropy Loss）生成与人工标注尽可能相似的句子容易造成曝光误差（exposure bias）、训练目标与评价指标不相同的问题（loss-evaluation mismatch problem）,我们基于本研究提出的决策自适应眼底图像阅片报告生成模型引入强化学习来解决这两个问题,方法使用图像报告自动生成评价指标——CIDEr作为目标函数对模型进行进一步训练,并使决策方法能够进行强化自更新。实验结果表明,引入强化学习的决策自更新方法进一步提高了决策自适应模型的性能。