近年来随着人工智能的猛速发展,深度学习在视频行为识别领域发挥着重要作用,其中利用卷积神经网络提取图像的空间特征已经成为主流方法。然而,视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,影响了行为识别的准确性。其次,不同类别的行为视频在时序上可能存在着相似的前后关联,使得网络模型预测失误。本文专为视频行为识别设计一种循环区域关注模型和一种视频帧关注模型以分别解决行为空间特征中的冗余、噪声问题和行为在时序上存在的相似前后关联给识别带来的干扰问题。其次,本文基于视频的空间特性和时序特性设计一种能够端到端训练的深层时空网络模型,模型中包含卷积神经网络、循环区域关注模型、视频帧关注模型和长短期记忆网络。其中,卷积神经网络作为特征提取器,提取视频帧的空间特征;循环区域关注模型中的循环区域关注单元捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性,循环区域关注单元按照视频的时序进行迭代,使得循环区域关注模型能够有效地捕捉行为视频序列每帧的空间特征中与行为相关的区域视觉信息;视频帧关注模型突显整段行为视频序列中较为重要的视频帧,以减少异类行为视频序列间相似的前后关联给识别带来的干扰;长短期记忆网络则学习视频帧之间的前后依赖关系。采用交叉熵损失函数对网络模型进行参数更新,从而使网络模型能够更好的区分行为类别。在此基础上,本文充分利用行为的外观信息和运动信息,分别构建了RGB模态的网络模型和光流模态的网络模型,最后对双模态网络模型的输出进行概率融合,以提升行为识别的准确性。在两个视频行为识别公共数据集上的实验结果表明,本文设计的循环区域关注模型和视频帧关注模型在一定程度上改善了行为空间特征中的冗余、噪声问题和行为在时序上存在的相似前后关联给识别带来的干扰问题,验证了循环区域关注模型和视频帧关注模型的有效性,同时提高了网络模型的识别精度。