人体行为识别具有广泛的应用场景,包括视频监控、人机交互、智能机器人、网络视频检索、医疗诊断、老年人看护和体育运动分析等。因此,基于视频的人体行为问题受到了广泛的关注和研究。近年来,随着深度学习在各个计算机视觉领域取得了成功,越来越多基于深度学习的方法也被用于行为识别问题中。其中一类具有代表性的方法是双流卷积神经网络。双流卷积神经网络借鉴了人类的视觉系统,把视频分解为代表外观信息的图像和代表运动信息的光流,并分别用卷积神经网络进行特征提取,从而取得了很好的识别效果。基于双流卷积神经网络,一些融合方法也被提出以用于学习视频的时空特征。但是我们通过分析发现,这一类方法倾向于从小段视频中学习特征,无法学习到人体行为的长期运动模式。针对双流卷积神经网络的不足,本文提出了卷积递归神经网络融合方法。该方法使用卷积递归神经网络对双流网络进行融合,充分利用了图像和光流的互补性来学习视频中的长期人体动作特征。此外,本文还引入了注意力机制,提出了RNN注意力机制和cross-stream注意力机制两种方法,让网络学习在不同的时刻把注意力集中在与人体行为相关的区域。实验表明本文提出的改进方法对于双流卷积神经网络的识别准确率有着显著的提高。