图像描述任务是目前人工智能领域极具挑战性的研究课题之一,它的主要任务是让计算机能够识别、理解出图像中的内容并自动生成相应的文本描述句子。人类能够理解并描述出一幅图像中蕴含的信息,能够让计算机具备人类的这种能力有着重大的现实意义。在实际生活中也有着非常广泛的应用,例如,智能人机交互、幼儿早教、信息检索、视觉障碍者协助等。近年来,基于深度学习的图像描述技术发展迅速,特别是神经网络的运用,使得图像描述模型的性能得到很大的改善。通过分析基于深度学习的图像描述技术,同时借鉴神经机器翻译任务取得的阶段性成果,本文提出了一种区别于当前主流方法的图像描述模型来解决复杂场景下的描述不准确问题,其主要工作内容包含以下几点:(1)为了充分提取图像中所包含的语义信息,针对视觉特征信息的在卷积层的传播过程中的损失导致模型无法全面理解输入图像语义的情况,本文提出了一种融合多模型跨层特征的方法,融合低层特征和高层特征,并训练出多个编码器对特征进行提取,实现语义特征和细节特征之间的信息互补,从而学习到更形象具体的描述句子。(2)自然场景图像中经常包含多个目标和复杂的背景信息,对应的描述语句通常也是结构复杂的长句子,当前主流方法(运用RNN或LSTM)在提取长句子的语义信息方面效果一般,且易忽略句子的基本层次结构,对长序列单词的学习效果不佳。为了解决这种情况,本文设计了因果卷积神经网络结构来提取文本特征,实现对长序列单词的有效学习,实验结果表明模型提升了对包含复杂场景信息的图像描述能力。(3)鉴于单个注意力模型在捕获信息时的性能局限以及受多层注意力学习思想的影响,本文提出了融合多层注意力的CNN语言模型用于图像描述,不同的因果卷积层代表了不同的文本概念层次,通过在语言模块使用多个注意力模型对因果卷积层处理文本信息时进行指导,进而可以使模型在每个时间步上都能在每层卷积文本操作时获得额外的视觉信息。此外,本文还从定量、定性的角度、可视化特征图的手段以及消融实验验证了所提出方法的有效性。在MSCOCO和Flickr30k两个数据集上使用不同评估方法对模型进行验证,实验结果表明本文提出的模型性能较好,能够有效提取和保存复杂背景图像中的语义信息,且具有处理长序列单词的能力,多层注意力模块小区域特征信息的注重有加,对图像内容的描述更准确、信息表达更丰富。