基于视频的人体行为识别是计算机视觉领域的重要研究方向之一,能够应用于智能监控、人机交互、视频内容检索等众多领域中,具有非常广泛的应用前景。在互联网技术快速发展的今天,网络视频数量呈现爆发式增长的趋势,对视频数据处理的效率与质量提出了更高的要求。由于人体行为在时间上的连续性以及动作的复杂性等问题,如何高效准确地从视频中提取人体行为的特征仍面临巨大的挑战。近年来,深度学习技术在图像分类、目标检测等任务中取得了引人注目的成绩。鉴于深度学习技术强大的特征学习能力,本文研究了如何利用基于深度学习的特征提取方法对视频数据中的人体行为特征进行准确地表达,提高人体行为识别的准确率和效率。本文的主要工作如下:1.深入研究基于双流模型的人体行为识别方法,针对现阶段模型不能有效区分特征重要性的问题,设计时序激励模块并将其嵌入到深度卷积神经网络中提出一种融入时序激励机制的网络模型--TEN。模型通过学习可以为时序上不同位置的特征赋予不同的权重,以此来区分不同特征的重要性,使局部特征融合形成的视频全局特征更具代表力,最后通过加权融合两个网络的得分获得最终的行为类别。2.引入基于深度学习的光流提取方法并对其进行改进。为了获得小位移运动产生的运动信息,将相邻视频帧作为输入改为间隔的视频帧作为输入,将得到的光流称为改进的光流。结合TEN提出了基于多模态特征与时序激励机制的人体行为识别模型。3.针对人体行为识别模型效率不高的问题进行研究,将二维卷积与三维卷积融合起来进行人体行为识别。首先将视频等分为若干片段,在每个片段中随机选取一帧组成输入数据,通过二维卷积神经网络获得底层分辨率较高的特征图,将每帧输入数据得到的特征图集合按照时序位置进行重新排列形成三维卷积神经网络的输入数据。三维卷积神经网络同时学习其中的时空信息得到最终的行为类别,在准确率没有明显降低的情况下使识别速度显著提高。4.建立油田生产现场人体行为识别数据集并验证本文方法在数据集上的有效性。在公共数据集和自建数据集上的实验结果表明,本文提出的方法可以有效提高人体行为识别的准确率与效率。