随着互联网技术的快速发展和移动成像设备的普及,视频已经成为人们生活中获取信息的重要途径。人体行为识别是计算机视觉和视频处理领域的重要研究内容之一,是视频分析和理解的基础,已广泛应用于智能监控、视频检索、军事侦察、人机交互和无人驾驶等领域。传统的行为识别方法主要依靠人工设计特征对视频中行为进行描述,存在适用性和鲁棒性较差等不足。近年来,随着计算机运算能力的提升,基于深度特征的建模方法在行为识别领域受到了广泛的关注。深度特征能够通过深度神经网络在对视频中人体行为建模过程中实现自适应学习,具有更广的应用范围和更强的鲁棒性,已成为目前行为识别领域最有效的手段。然而,深度神经网络在建模过程中仍存在一些关键问题需要解决,包括网络对人体行为表示能力不足、预训练过度依赖有标签数据和识别实时性差等问题。本论文以深度神经网络理论为基础,研究了基于空时特征建模的行为识别方法,有效提高了网络对行为的识别性能。论文的主要研究成果如下:1.研究了网络对行为表示能力不足的问题。识别人体行为时,最具判别力的动作通常稀疏地分布于视频的不同时刻和区域,如果网络无差别地对待不同的视频帧,将会引入噪声干扰,导致特征对行为的表示能力下降。本文提出一种基于空时注意力的行为识别算法。该算法通过双流卷积神经网络提取视频的静态特征和动态特征,并利用多层级联卷积长短时记忆单元对特征进行空时建模,然后通过空时注意力模块引导网络在建模过程中更加关注重要的时刻和区域,有效增强了网络对行为的表示能力,提升了行为识别性能。2.研究了网络的预训练过度依赖有标签数据问题。在人体行为识别任务中,通常利用大规模有标签数据集对网络进行预训练。为利用大量易获取的无标签视频完成网络预训练,提出一种基于互信息最大化的自监督学习算法。该算法首先通过最大化片段互信息,指导网络学习视频中不同片段间的联系。然后,为避免网络在最大化互信息过程中只关注视频的背景,根据二维和三维卷积神经网络的特点,分别提出了运动互信息最大化和局部互信息最大化方法。最后,利用互信息最大化的过程分别完成对二维和三维卷积神经网络的预训练。该算法有效提升了网络的识别性能,减少了网络预训练对有标签数据的依赖程度。3.研究了自监督学习算法普适性差的问题。基于互信息最大化的自监督学习算法针对二维和三维卷积神经网络分别应用了不同的互信息最大化方法,导致算法对不同类型的网络适应性差,同时这问题也普遍存在于现有的自监督学习算法中。本文提出一种基于视频伪标签的自监督学习算法。该算法首先提取视频不同模态信息的特征,利用所有提取到的特征构建特征集合。然后,对特征集合中的特征进行聚类,利用聚类结果生成视频伪标签。最后,利用生成的伪标签对输入为不同模态的网络同时进行训练,指导网络学习不同模态之间对应关系。此外,为防止聚类和分类联合使用过程中产生平凡解,在特征集合构建过程中采用了一种基于孪生网络的特征约束方法。该算法可同时适用于二维卷积神经网络和三维卷积神经网络,并能够减少网络预训练对有标签数据的依赖程度。4.研究了网络识别实时性差的问题。为提升网络对行为的识别性能,通常同时利用RGB图像的静态信息和光流图的动态信息进行建模。然而,光流的计算耗时较长,会导致网络的实时性变差。本文提出一种基于修正运动矢量的快速行为识别算法。该算法首先提取压缩视频中的运动矢量,并利用对应视频帧的离散余弦变换系数对运动矢量进行修正。然后,将修正后的运动矢量替代光流作为网络的输入,从而避免因计算光流带来的耗时。最后,该算法还使用轻量化网络Shuffle Net V2构建双流网络模型,进一步减小模型内存空间,提高了计算效率。