视频行为识别任务是计算机视觉领域中的热门研究内容。视频行为识别主要研究如何最大化地提取和分析视频中的图像信息和运动信息。近年来,视频行为识别的主流方向是采用深度学习方法,并已产生很多优秀的方法和网络架构。由于视频中长距离依赖信息是不可或缺的,本文着重研究了非局部NL模块在3D卷积网络和高效在线视频理解网络ECO的应用,以及非局部网络异常行为检测这三个方面的问题。本文的主要工作如下:1.针对3D卷积网络架构进行结构改进,提出了一种基于非局部操作的(2+1)D网络NL-R(2+1)D。行为识别任务的一种先进的网络结构是在3DCNN中进行非局部特征融合的非局部网络NL-I3D,非局部模块通过非局部平均思想融合长距离信息,其输入输出尺寸相同的特性可以方便地接入现有的网络中。针对NL-I3D网络的结构优化,将3D卷积改进为(2+1)D卷积,提出了NL-R(2+1)D网络。仿真结果表明NL-R(2+1)D网络可以有效对非局部信息进行获取。2.针对视频行为识别任务的实时性需求,利用非局部模块捕捉长距离依赖信息的特性,提出一种非局部信息融合的高效在线视频理解网络NL-ECO。高效在线视频理解网络将输入视频进行分割采样,在2D卷积网络中学习单帧的外观特征,再应用3D卷积网络学习帧间关系,该网络具有高效、实时的特性。本文在ECO网络基础上,采用NL模块进一步学习帧间关系,尤其是长距离的关系,有效提升了网络的准确性,并且保持了网络的实时需求。3.针对异常行为检测任务,本文结合了所提出的非局部网络,设计了一种基于多示例学习与非局部网络的异常行为检测方法。由于异常检测任务存在数据稀疏性强,并且类内多样性高的问题,采取了多示例学习的框架进行异常判决。本文首先对视频进行分包和分段,并对正负样本中的视频片段进行特征提取和异常评分。仿真结果表明基于非局部网络的多示例异常行为检测方法能够很好的完成异常行为检测任务。