随着智能监控和视频获取设备的普及,视频中的行为识别由于其巨大的应用前景和经济价值成为计算机视觉领域的研究热点。而深度学习方法在图像处理任务中的成功应用,也激励了基于深度学习的视频行为识别方法的发展。视频行为识别的研究目的在于通过对人体行为的特征提取和深度神经网络的学习使得计算机能够自主识别视频中的人体行为,从而可以应用于智能监控、视频检索、人机交互等领域。不同于图像分析,视频中时序结构导致了更加丰富的类内与类间差异,增加了行为识别的难度。本文针对如何提取更具代表力的时空特征分别从视频采样方法、图像特征编码、时序特征学习三个方面展开了研究,主要工作如下:1)针对当前的视频行为识别方法对视频稀疏采样的过程中采用的随机采样策略容易错失视频中的关键信息,提出了基于关键帧采样的行为识别方法。该方法在卷积神经网络的训练过程中,依然采用随机采样的策略以保证特征提取的多样性,在测试阶段,则采用关键帧采样策略,通过对视频均匀分段并提取每段中信息熵最大的视频帧作为关键帧来保证神经网络能够最大化地学习视频中的信息。实验通过在时序分割网络、高效卷积网络两种网络结构中使用关键帧采样策略提高了UCF101和HMDB51数据集上的识别准确率,证明了该采样方法的有效性。2)针对神经网络中的简单池化方法只能关注到行为部分子类特征,提出了基于局部特征聚合向量(VLAD)编码的行为识别方法。VLAD编码通过计算图像局部特征在聚类簇上的残差和来有效地聚合图像中的局部特征,本文将图像场景识别中的net VLAD网络结构引入到视频行为识别中,视频帧经过卷积网络提取图像特征后,使用VLAD编码生成全局特征向量,再经过时序融合得到视频的整体描述用于分类,其中本文设计了四种时序融合方案,包括逐元素相加、逐元素最大、逐元素相乘和多尺度时序关系融合,其中多尺度时序关系融合方案使用多层感知机学习不同长度的采样帧序列的时序关系,取得了最优的性能表现。3)针对简单的时序融合方法无法充分学习视频中的时序上下文,提出了基于长短时记忆网络融合VLAD向量的行为识别方法。该方法使用卷积神经网络提取图像特征,经过VLAD编码后,使用长短时记忆网络学习特征向量中的时序上下文,最后融合所有时刻的预测结果对输入视频分类。该框架通过UCF101、HMDB51、something-something数据集上准确率的提升验证了其学习时序上下文的能力。