视频内容理解是计算机视觉领域内一个十分重要的研究问题。在计算机视觉和机器学习领域内,对于视频内容理解的研究大致可以分为如下的几个方向:动作识别、动作检测、事件检测、视频摘要生成、视频异常检测、视频内容预测等。这些方向的研究成果和进展可以直接应用于实际场景中,比如异常事件检测的相关研究成果可以用于地铁逃票检测、火车站出入口安全检查、交通监控中的事故检测等。本毕业论文的研究范围主要集中在动作识别这个方向,因为这个方向的研究基本构成了视频内容理解各个研究领域的基础。动作识别主要是指视频的分类,现有的动作识别数据集中,提供的视频数据基本上都是切割好的短视频,每一个视频基本只包含一个动作。由于传统的处理视频的算法在准确度等各个方面都有着很大的局限性,因此,本课题尝试将深度学习的方法应用于视频理解。深度学习已经在图像的分类和检测当中取得了巨大的成功。特别是在ImageNet数据集上,卷积神经网络的分类准确度已经超过了人类。由于深度神经网络强大的表达能力,它已经被成功地应用于姿态估计、显著性检测等各项任务中去。而在视频处理当中,虽然,深度学习也取得了一定的成果,但是现有的工作仅仅是将深度网络十分粗暴地移植到视频任务当中,而并没有考虑视频数据特有的时空相关性。本文探究深度学习在视频当中的应用,研究的内容包括如何用深度网络提取更好的特征用于视频相关的任务如视频分类和事件检测,同时也会探究怎样的网络结构可以在动态模式识别当中取得更好的准确度。本文主要提出了以下两个可以用于视频的动作识别的算法:(1)本文提出了将LCD(Latent Concept Descriptor)编码方法和Twostream CNN结合的思路,同时对LCD进行了多分辨率上的拓展,提出了mLCD(Multiresolution Latent Concept Descriptor)算法。该算法对Two-stream CNN的最后一层卷积层用VLAD进行编码,然后用SVM进行最后的视频分类。(2)本文提出了TCNN(Temporal Convolution Neural Network)的算法用于处理视频的时空信息,该算法的基本思路是先用Two-stream CNN对视频中的每一帧图像进行特征提取,然后将视频中连续一定帧数的图像特征拼接成一张新的图,然后用一个CNN对这个图像进行分类。相比于LSTM,该模型可以在视频动作识别任务上取得更好的效果。本文在公开的数据集Hollywood2、Olympic Sports和UCF101上对我们的算法进行了大量的实验,实验结果表明,在Hollywood2和Olympic Sports这两个数据集中上,mLCD的准确度基本和学术界最好的算法接近。在UCF101上,TCNN的准确度虽然和最好的算法有一定的差距,但是我们的实验结果证明了这个算法的有效性。