图像语义理解算法主要通过给图片生成一句文字描述来深入挖掘图片中的语义信息,该任务是一个融合计算机视觉和自然语言处理技术的研究课题,在图像检索、儿童教育、医学影像分析、人机交互等领域都有着广泛的应用。受机器翻译领域编解码框架技术的影响,当前的图像语义理解算法主要使用编解码框架进行研究,使用编码器提取图像特征,使用解码器将提取的图像特征转换成文字描述。本文将基于编解码框架对图像语义理解算法展开研究,针对图像描述领域较为突出的问题分别从编码端和解码端进行改进,本文的主要研究内容和贡献如下:1.针对当前基于目标检测的编码器提取特征容易忽略背景和一些细节信息从而导致生成的描述不能完整表达图片内容的问题,本论文使用Res Net101网络单独提取图像全局特征,进行多尺度池化充分挖掘全局特征的多尺度和多通道信息之后,将该特征和基于目标检测的图像局部特征进行融合,本文设计了基于注意力机制的融合方法,在生成每个单词时,系统可以根据每个特征对单词的重要性自适应的给全局和局部特征的分量分配权重,同时也避免了全局特征可能引入噪声的问题,为了解决图像描述领域的“曝光偏差”问题,使用强化学习的方法对设计的模型进行了训练。最后通过在MSCOCO描述数据集上面的定量实验,验证了改进的LGF-IC算法在CIDEr评估指标上面对比top-down算法提升了1.42%。2.针对图像描述领域存在的解码器表达能力不足,生成的描述语句表达不够细腻的问题。本论文受机器翻译领域推敲网络的启发,以具有两层LSTM网络的top-down解码器为基础,设计第三层LSTM网络作为推敲网络对前两层的输出进行打磨和润色,同时引入自适应注意力机制使得系统在生成单词时可以自适应的选择依赖图像特征或上下文语义,在训练阶段以多个评价指标的线性组合作为强化学习的奖励进行训练。最后通过在MSCOCO描述数据集上面的定量实验,验证了改进的TDN-IC算法在CIDEr评估指标上面对比LGF-IC基线算法提升了4.10%。3.使用本文改进的算法实现了一个基于web端的图像检索系统,该系统包括后端和前端两部分,后端主要使用本文改进的算法给图片自动生成文字描述,前端主要通过提供可视化的界面与用户进行交互,该系统可以实现文本搜图和以图搜图的功能。最后对该系统进行测试验证了系统的实用性。