图像自动标注的目的是自动生成描述当前图像的文本。在过去几年中,它已经成为人们越来越感兴趣的话题,图像自动标注技术可以增强搜索引擎的图像搜索能力,辅助视觉障碍人士更好的了解周围环境,或者通过社交媒体平台解释其共享图像,用来识别客户的兴趣从而改善在线营销和客户细分任务,总而言之,图像自动标注技术在各个方面都发挥着重要的作用。这一任务是综合了机器视觉领域和自然语言处理领域的交叉性研究,对多模态交互的研究也做出了重要贡献。但是,图像自动标注技术想要生成和人们一样的流畅的自然语言描述,不仅需要对图像进行对象的识别,还要理解物体的相互关系,包括每个对象的动作、形态,并根据这些信息,转换成文字描述,因此这是一项非常复杂且具有挑战的任务。传统的图像自动标注方法主要是基于生成的方法和基于检索的方法,这些方式的局限性在于整个模型过于依赖于前期的图像特征处理,忽略了语言模型生成文本的过程,因而整个模型的输出结果不尽人意。近年来,随着基于编码器-解码器的深度学习模型在图像自动标注领域的应用,这一任务得到了越来越突出的成果。本文主要围绕编码器-解码器模型在图像自动标注任务上如何被有效的利用展开研究,重点关注深度卷积神经网络在图像自动标注中有关图像特征提取的能力、词向量模型的处理对于语言生成模型的影响、以及注意力机制对于整个模型的优化三方面的内容,主要工作如下:1)图像自动标注技术首先需要依据图像特征的提取,如果选择的特征缺乏一定的代表性那么很难区分图像中的各个对象以及其相互关系。使用传统的流程来进行图像处理的方法,目前比较好的一个方式就是使用多种特征提取器,通过组合他们达到一种更好的特征提取效果,这种方式需要很多启发性的规则和人为的根据不同的领域来调整参数,本文针对这个问题,提出了基于迁移学习的深度卷积神经网络的学习方式。2)文本表示可以简单分为词表示和序列标识。自然语言处理领域一直以Word2Vec和Glove为代表的词嵌入技术作为将单个单词表示为计算机可以处理的向量表示的一种处理方式。但是词嵌入将多义词合并为单一的表示,因此并不精确,随着深度学习的兴起,越来越多的文本表示模型被提出,如:ELMo,Open AI GPT以及BERT。这些模型都是在预训练阶段先使用深度网络模型,通过无监督的学习方式得到自然语言中的语义信息,然后再经过微调阶段利用迁移学习将模型部署到下游任务中去。本文针对多义词的问题,提出一种基于Bert文本训练模型改进的图像自动标注技术。3)基于编码器-解码器的模型是解决图像自动标注的主要方法,这种方法结构简单,但是往往难以生成高质量的句子,每次训练输入全局的图像信息,也会使模型的训练速度变慢。本文提出了基于注意力机制的双向引导的图像自动标注模型,在编码器阶段引入了文本引导图像特征抽取模块,解码阶段引入了图像引导文本生成的模块,大大提高了图像自动标注语句的描述准确度。