在移动互联网,大数据的时代背景下,智能终端的普及与社交网络的发展,使得互联网多媒体数据呈现爆发式增长,以往完全依赖人工对多媒体数据进行标注和描述成为一项不可能的任务,利用计算机对多媒体数据进行描述成为必然趋势。本课题针对现有算法对视频语义描述准确率低等问题,主要研究基于深度学习和特征融合的视频语义描述方法,并从可行性、可靠性角度对深度网络模型进行相关验证,主要贡献如下:(1)针对传统的视频语义描述方法在开放域视频精度不高,无法适用于大规模数据集的问题,相关学者开始研究基于深度学习的视频语义描述方法。本文第三章提出一种基于PNASNet二维图像特征和C3D时空特征的端到端视频语义描述方法。首先通过一个用渐进式网络结构搜索算法搜索得到的卷积神经网络PNASNet提取视频的图像特征,用C3D网络提取视频的动作信息,然后将图像特征和动作特征融合并输入一个由GRU门控循环单元构建的编码器-解码器模型,最终构建为一个端到端视频语义描述模型。该模型使用MSR-VTT开放域视频数据集进行训练,并用BLEU、ROUGE、METEOR、CIDEr四种指标进行评价,发现该模型精度显著优于传统方法。但是由于模型过于简单,当视频场景过于复杂时生成的描述质量较差,导致算法的鲁棒性不高。(2)针对第三章提出的模型鲁棒性不高的问题,本文的第四章提出了一种基于注意力机制的视频语义描述方法,通过注意力机制的加入,提高复杂视频的翻译质量。此外,本章引入了一种基于时空图卷积的时空特征,首先提取人体骨骼关键点构建拓扑图,然后使用时空图卷积网络提取局部动作信息,并与图像特征进行融合,最终与加入注意力机制构建一个端到端视频语义描述方法。实验证明,通过时空图卷积得到的动作信息相比C3D有更好的效果,同时注意力机制的加入,使得模型对复杂视频的描述能力大幅提升。但是更改之后的模型复杂度大幅提高,需要耗费很长时间进行数据预处理及模型训练,此外提取视频图像特征时,本文第三章第四章均采用等间隔采样法,容易造成信息的冗余,耗费不必要的计算资源。(3)针对本文第三章、第四章中视频采样策略的缺陷,本文第五章引入了一种基于深度强化学习的视频摘要算法,通过构建一个编码-解码模型,使用强化学习进行训练,并构建了一种新的视频摘要奖励函数使得模型可以无监督学习。通过视频摘要算法对视频进行采样,减少视频数据量同时可以保留所有关键信息,有效的减少了视频语义描述模型的计算量。此外,考虑到视频中不仅有图像信息,还包含音频信息,本章提取了音频信息的MFCC特征,然后进一步使用卷积神经网络提取更深层次的音频特征,并与图像特征动作特征进行融合,最终完成一个融合音视频特征的视频语义描述方法。通过视频摘要算法和音频信息的加入,模型的描述能力进一步获得了提升。