图像描述融合了计算机视觉与自然语言处理两个方向,是用人工智能算法解决多模式、跨领域问题的典型代表。目前该领域的研究大多数是基于编码器-解码器架构的神经网络描述模型,神经网络描述模型存在描述单一、准确率低、图像内容不一致等问题。另外,由于目前开源的数据集大多是英文的,所以对图像描述领域的研究主要以英文描述为主。中文描述通常在句法、词法上灵活度较大,算法实现的难度也较大,只有少数人对图像的中文描述进行研究。现有研究虽然取得了不错的结果,但仍存在一些问题,比如:模型生成的描述句与图像表达内容存在一定的偏差、生成的图像场景描述准确率低、语言单调等。针对以上问题,本文提出了基于双重注意力机制的图像中文描述生成方法。本文在NIC模型的基础上,以Inception＿v4网络作为编码器,引入视觉注意力机制的LSTM网络作为解码器,并通过实验验证基于视觉注意力的图像描述生成模型在Flickr8k-cn和Flickr30k-cn中文图像描述数据集上的性能优于NIC模型。针对NIC模型和本文提出的基于视觉注意力的图像中文描述模型依然存在生成的图像场景描述准确率低、语言单调的问题,本文引入双重注意力机制进一步优化模型,在编码阶段用Inception＿v4网络和双层LSTM网络分别提取图像的视觉特征和文本描述的文本特征,解码阶段通过关注图像和文字的特定区域文本信息,融合两种注意力机制的重要信息,最后通过多层感知机网络输出图像的中文描述语句。使得模型能够从图像中捕捉到更多重要信息,从而提高中文描述语句的流畅性和句式的丰富性。通过实验对比神经网络模型、注意力模型及双重注意力模型的收敛程度,本文模型困惑度的收敛值比神经网络和注意力模型分别低5%和6%,说明本文模型生成的描述更加符合中文语言环境。通过对比三种模型生成描述的评测指标,双重注意力模型相比单层视觉注意力模型在BLEU-4、ROUGE-L、CIDEr指标上提高了10.7%、6.2%和1.8%,说明双重注意力模型生成的描述句式更丰富。本文在最后还与目前该领域的采用主题词预测方法的B-NIC模型和采用多模态方法的FNIC模型进行比较,在反映图像与文本之间相关性的ROUGE-L指标上分别提升了8.7%和3.9%,进一步说明采用双重注意力的方法生成的中文描述更加自然、更加符合图像所表达的内容。