在互联网深入普及和视频信息被高度重视的今天,人们对于具有低延迟、大容量、高性能特点的智能视频分析系统有迫切需求。视频理解技术逐渐成为计算机视觉领域的研究重点与热点,并在安全生产、视频推荐和直播内容审核等多个领域发挥重要作用。针对实际场景中的视频行为识别问题,本文在深度学习卷积神经网络基础上,主要从以下三方面进行了研究:首先,针对局部时序信息在描述持续时间较长的复杂动作上的不足,提出基于注意力机制的时间分组深度网络行为识别算法。使用视频分组稀疏抽样策略,有效解决识别序列时间覆盖有限导致的信息丢失问题。在识别阶段引入通道注意力映射,在关注重要特征的同时抑制次要特征,提高网络的表达能力。其次,为构建拥有2D神经网络速度同时保持3D神经网络性能的视频行为识别模型,提出基于3D多支路聚合轻量网络的视频行为识别算法。利用分组卷积将神经网络分割成多个支路,使用具有信息聚合功能的多路复用模块促进支路间信息流动,引入3D自适应注意力机制对通道与时空信息进行重定向。与其他3D神经网络行为识别算法相比,体现出一定识别速度和准确率优势。最后,针对3D卷积网络虽可以进行时间建模,但参数和计算成本较高的问题,提出基于时间融合模块的高效视频理解算法。使用时间融合模块,以零参数和零计算开销对不同帧对应的部分通道进行移位操作,借用2D卷积的通道间融合能力来执行时域间信息融合。相比基线网络,插入时间融合模块的2D卷积网络可在不增加额外计算消耗的前提下获得更强的时间建模能力。