随着智慧城市建设的发展以及安防摄像头的广泛部署,社会公共安全需求日益增加,人工的视频监控方式已经不能满足需要,利用计算机视觉技术对视频数据进行分析成为了新的研究热点。基于监控视频的人体行为识别技术作为计算机视觉领域的一个基本任务,包括视频中的人体检测,人体姿态估计,人体跟踪以及对时间序列数据的分析与理解等问题。其难点主要在于人体动作的多样性导致行为类别难以定义,数据集难以收集。其次,监控系统中的视频通常存在分辨率低,尺度变化大以及遮挡等问题,对行为识别提出新的挑战。本文以监控视频中的异常行为检测为出发点,基于深度学习技术,研究视频数据中的人体行为识别算法,主要工作与创新点如下:1.提出一种以自我为中心的视频行为识别方法,该方法在空间维度和时序维度对动作特征进行建模分析。在空间维度,提出一种端到端可训练的以实例为中心的空间注意力模块,通过学习人和对象实例的外观特征来突出显示信息区域,对人-物交互的视觉关系进行分析。在时序维度,通过自注意力机制对视频的帧序列进行建模,将特征表示从二维空间域扩展到三维时空域。提出的模型可以在不增加网络参数的同时有效获取视频中的人体动作变化特征,解决视频信息的长时间依赖问题。通过在UCF101数据集中选取涉及人-物交互的动作类别进行实验,实验结果mAP达到97%。与此同时,为了验证模型在实际场景中的异常行为检测能力,以监控视频中使用手机的行为为例对算法进行分析。在算法实现中,创建手机相关的视频行为数据集,手工标注了 7271个视频片段。通过在新创建的数据集上进行实验,模型获得了76%的准确度,对比改进之前的行为识别模型,以自我为中心的行为识别方法获得了16%的提升。另外,本文在实际场景中对模型进行测试,验证了算法的实用性。2.研究了基于骨骼信息的行为识别方法,提出一种多模态数据融合的双流行为识别网络,网络使用关节姿势和RGB信息来提取人体姿势特征和图像外观特征,从而对人体动作序列进行分析。在关节姿势流中,以叠加的关节热图作为输入,将人体姿势编码为一种新的数据格式来分析人体骨骼的运动信息。在RGB信息流中,以原始视频帧作为输入,基于注意力机制建模视频序列中的运动图像随时间变化的关系。模型基于多模态数据对人与物体之间的交互行为进行建模,利用骨骼信息来提高行为识别能力。相较于目前流行的3D卷积网络,提出的模型以2D网络为基础,在降低模型复杂度的同时能够提高网络的性能。在JHMDB数据集上该方法达到了90.6%的精度,对比目前最好的结果,获得了10%左右的提升。在UCF101-24数据集上该方法的准确度与目前最好的方法接近,达到了74.9%,同时其参数量减少了15%左右。