图像描述文本的自动生成方法实现了图像到自然语言的跨模态转换,涉及到计算机视觉和自然语言处理两大领域,是人工智能领域最困难的研究课题之一。目前,在图像描述文本自动生成这一任务上,基于神经网络的NIC模型虽然取得了不错的结果,但仍存在一些问题,比如:模型生成的描述句与图像表达内容存在一定的偏差、生成的图像场景描述准确率低、语言单调等。此外,目前图像描述任务的语料集和方法大多是基于英文描述文本,设计更符合中文语言环境和语用的图像描述系统是必不可少的。针对以上问题,本文提出基于视觉注意力与主题模型的图像中文描述生成方法,具体工作内容如下。提出了基于视觉注意力的图像描述生成模型。虽然基于卷积神经网络和循环神经网络的编解码模型已成为解决图像描述生成问题的主流方法,但是过于简单的模型结构导致NIC模型生成的描述句与图像表达内容存在一定的偏差。针对这一问题,本文在NIC图像描述生成模型的基础上提出改进,以Inception_v3网络作为图像编码器,引入视觉注意力机制的双层LSTM网络作为句子解码器,并通过实验验证基于视觉注意力的图像描述生成模型在AIC-ICC中文图像描述数据集上的性能优于NIC模型。引入主题信息进一步优化模型,提出基于主题模型的图像描述生成模型。针对NIC模型和本文提出的基于视觉注意力的图像描述生成模型依然存在生成的图像场景描述准确率低、语言单调的问题,本文引入NMF主题模型提取图像隐含的主题信息,在解码过程中融合主题信息指导描述句生成,从而缓解这一问题。主题信息的表示可分为两种:主题概率向量和主题词向量。最后实验结果表明,在各项评测指标上,本文提出的基于主题模型的图像中文描述生成方法优于现有模型,而基于主题概率向量的图像中文描述生成模型优于基于主题词向量的图像中文描述生成模型,尤其在词汇丰富度上有较大幅度提升。实验的具体示例表明本文设计的模型效果较好,能够自动生成用词更为自然、句式更丰富的中文描述语句。