人体行为识别技术是一种能够自动识别视频内人员行为动作的技术,这项技术在公共安全防护、网络视频监管等任务中都具有极其重要的意义。随着深度学习技术的发展,学者们发现2D卷积神经网络无法很好的捕获视频下的时序信息,从而设计了3D卷积神经网络用于处理视频级的行为识别任务。本文围绕在视频行为识别任务中出现的三个问题展开了相关研究,这三个问题分别是:测试阶段不围绕行为出现区域采样,镜头移动影响行为判断,网络中时域和空域信息如何有效的提取与融合。本文主要包含如下研究内容和贡献:1.在行为识别的采样阶段,提出基于运动显著性的视频块采样算法。该方法基于视频帧形成的运动显著图获取运动显著的候选框,从而提取最终的运动显著性区域。在网络设计方面,基于全卷积神经网络和快慢通道的思想,以快帧率少通道和慢帧率多通道分别提取时间和空间信息。该算法使得行为识别的采样区域集中在行为出现的区域,较原有的几种网络在行为特征的提取上更加有效,通过三四两章内的实验证明了其在不同情况下都具有优越性。2.在减轻摄像机全局运动的负面影响方面,本文提出了在视频压缩域下融合目标检测YOLO算法进行全局运动补偿的算法（文中称YGME）,平衡了准确率和算法运行速度之间的关系。相较于原GME算法,在损失极小部分性能的同时大大提升了运行的速度,同时在第四章实验下验证了该算法减轻全局运动负面影响的有效性。3.基于第四章提出的改进算法设计实时行为监控系统,该系统由视频采集模块、处理分类模块、采样预处理模块、行为识别网络模块和报警模块构成,通过模块间信息的复用和配合保证了系统的准确性和实时性。在模拟场合下的数据集进行实验并对比各种算法的表现,验证了本文设计算法能够投入实际应用。本文算法在UCF50、HMDB51和UCF101等公开数据集上与双流CNN、HFCN、Slow Fast算法做对比实验。结果表明,在背景较为稳定的情况下,本文第三章提出的算法在Top-1标准下的m AP比H-FCN高1.1%,比Slow Fast算法高2.4%,在背景复杂出现全局运动的情况下,本文第四章进一步改进的算法的m AP比前文算法又进一步提高了2.1%,算法在单目标视频中的识别速度为24.3fps。