在如今的大数据时代,手机和电脑等智能产品已经成为人们日常生活中不可或缺的物品,人们利用它们进行学习、娱乐和了解世界。在这样的背景下,图像和视频数据得到了快速的增长,因此如何利用计算机对图像和视频进行快速并有效的搜索以及利用变得至关重要。对于人类而言,对一幅图像或一个视频进行描述是极其简单的,但海量的图像和视频数据都通过人工来处理是不理想的。因此,如何利用计算机让其像人类一样对图像和视频进行自然语言描述引起了人们的兴趣。图像和视频描述研究结合了自然语言处理与计算机视觉领域的关键技术,具有广阔的应用前景。图像和视频描述能够帮助人们快速检索到需要的信息,能进行人机交互,也可以帮助视力有障碍的人群了解图像和视频内容等。早期的图像和视频描述方法主要是基于检索和模板的,虽然简单但效果却不理想。现如今,由于深度学习在计算机视觉和自然语言处理方面取得的巨大成就,越来越多的人们开始研究基于深度学习的图像和视频描述方法。近几年里,图像和视频描述方法常利用卷积神经网络来提取图像或视频特征,利用循环神经网络来生成自然描述语句,即编码器—解码器结构。本文主要对基于深度学习的图像和视频描述方法进行了研究。首先,本文针对图像描述中图像特征和描述语句的关联度不高问题进行了分析和研究,设计了一个新的注意力机制,能够更好的关联图像特征和词特征。本文图像描述模型在编码部分采用两种编码器,分别是VGG19和RESNET101,解码器使用长短期记忆网络,并引入注意力机制。最后在图像描述公共数据集中进行实验,通过实验证明了新注意力机制的可行性和有效性,验证了基于本文设计的注意力机制的图像描述模型的优越性能。其次,本文从图像描述扩展到视频描述中,因为视频更加的复杂和多样,视频描述的研究也比图像描述困难得多。本文视频描述模型框架在编码器部分采用较深的卷积神经网络Inception V4,在解码器部分,利用长短期记忆网络来生成视频的自然描述语句。同时,将图像描述中设计的注意力机制应用到视频描述中,并对该注意力机制进一步改进,得到基于扩张卷积的注意力机制。该注意力机制通过扩张卷积增加了感受野而没有提高网络模型的参数量,能更好的关联视频帧信息和描述语句信息。最后,在视频描述公共数据集上进行实验,通过评价指标分数的提升和对视频有效的自然描述语句证明了本文基于扩张卷积的注意力机制视频描述模型的有效性。最后,由于之前的视频描述模型只考虑了正向流,即从视频到自然描述语句,而没有利用语句到视频的信息。为了使描述语句能够和输入视频中的内容保持一致性,将重建机制引入到视频描述模型中。重建机制可以利用解码器生成的描述语句来再现视频帧特征,然后通过将该重建特征与原先经过编码器提取的视频特征进行对比,进一步优化视频描述模型的性能。采用不同的深度较深的卷积神经网络作为编码器,在数据集上进行大量的实验,通过实验结果证明,引入重建机制的视频描述模型优于较多数主流的方法。