视觉数据理解就是挖掘图像和视频中的信息,并形成结构化的描述性文字,一定程度上跨越视觉数据与人类理解间的语义鸿沟。随着大数据时代的推进,人类对视觉数据的分析能力已经远远低于人类获得视觉数据的能力,迫切需要通过视觉数据理解方法,将图像和视频这类半结构化或非结构化的数据转化为计算机可直接理解的结构化数据。这种迫切的需求促使了传统机器学习方法的变革,深度学习技术诞生。本文根据视觉数据的特性,将视觉数据理解统一为序列识别问题,利用深度编解码框架解决此问题。自然场景下的视觉数据分为图像和视频,由于视频中帧与帧之间存在时间和空间的关联性,所以本文将视频和图像分开考虑,分别研究了图像理解方法和视频理解方法。这两类理解方法可以解析图像和视频中的中层和高层语义,并输出描述性文字。虽然描述性文字包含了视觉数据语义信息,但没有对视觉数据中出现的文字进行解析。文字作为视觉数据中重要的信息载体,同样包含了丰富精准的高层语义。本文在研究图像和视频理解的同时,对自然场景文字识别方法进行了研究。具体地,本文的研究成果包括:(1)提出了一种基于多向二维长短时记忆网络的图像理解方法。在传统的编解码模型中,CNN全连接层的存在使得图像的局部信息丢失。在编码阶段,本文利用二维长短时记忆网络来编码由CNN提取的图像的深度特征图,将图像中对象间的相关关系编码为局部特征。同时,参照多向一维长短时记忆网络可以从前后两个方向编码一维数据,模型从四个方向利用二维长短时记忆网络来编码图像的特征图,从而使局部特征中的信息更加多元。在解码阶段,模型同时利用图像的局部特征和全局特征来进行解码。实验结果表明,本文提出的模型在评价标准Retrieval和BLEU上好于当前的LRCN模型,并在BLEU-1标准上高于其4%。(2)提出了一种基于注意力机制的商品属性描述方法。现阶段的图像理解方法,由于模型本身以及训练集的限制,导致所得的描述性文字只包含对象的类别及对象间的关系,忽略了对象属性信息的描述,而这些属性信息往往是构成图像语义信息的重要元素。传统的注意力机制聚焦的是对象类别的特征,而非对象属性。本文针对此问题,对注意力机制进行改进,将特征图的通道作为注意力机制所需要聚焦的一个维度,提出了通道注意力模型和空间通道注意力模型。本文通过对商业网站ETSY上的数据进行收集和预处理,构建了对衣服属性描述的数据集ETSY-C。实验结果表明,本章提出的模型能够提取商品的属性信息,好于基于空间注意力模型的图像理解方法。(3)提出了一种基于注意力机制的视频理解方法。现阶段的视频理解方法利用CNN编码视频序列为特征序列,然后将特征序列整合为一个特征向量。虽然CNN能够提取视频帧的深度特征,但是简单的将视频的特征整合为一维的特征向量不免损失了视频帧间的关系信息。在这种情况下,受注意力机制的启发,本文将注意力机制融合到编解码框架,通过注意力机制在不同时刻聚焦特征序列中相关的特征,以此作为解码阶段长短时记忆单元的输入,使得模型能够在弱监督的情况下自动挖掘视频帧间的关系。将模型与相关方法在标准数据集上进行对比发现,本文的模型在多个评价标准上接近或者超越了CNN-LSTM-FF模型。(4)提出了端到端训练的自然场景文字识别方法。传统的文字识别方法都是基于自底而上的方式,这种方式需要将输入的图像分割识别然后组合,独立训练的检测器、分类器和整合器的级联使得最终识别的效果不佳。本文将注意力机制和编解码框架结合,在不分割输入图像的情况下,实现了自然场景文字识别的端到端训练。文字是由字符串组成,单个字符不仅与其前方的字符有相关性,还和后面的字符存在一定的相关性。考虑到注意力机制对特征的全局信息提取能力较差,本文在注意力机制和编解码框架结合的基础上,引入了审查网络来整合特征的全局信息。实验结果表明,本章提出的模型是现阶段效果最好的自然场景文字识别方法。