人体动作识别是计算机视觉领域的重要研究方向,在智能安防、人机交互、智能医疗、视频检索等多个领域中有重要的应用价值。随着深度学习的发展和大数据时代的到来,人体动作识别迎来了新的机遇。人体动作识别方法由传统的基于手动筛选特征的方法过渡到当前以深度学习为基础的端到端的方法。本文重点研究基于双流深度神经网络的人体动作识别方法,主要工作包括:第一,提出一种基于ResNeXt的双流网络模型人体动作识别方法。为了进一步提高目前常用的基于VGGNet、Inception或ResNet等双流网络模型的动作识别精度,本文提出使用新型ResNeXt网络结构代替原有的各种卷积神经网络结构,构建双流网络模型用于视频数据中人体动作识别。首先,为了提取更丰富的时空特征,本文使用RGB和光流两种模态的数据,使模型能将视频中的动作外观和时序信息互补对动作进行识别。其次,本文将端到端的视频时间分割网络(TSN)的思想应用于所提出的Res Ne Xt网络模型,通过将视频分为K段实现对视频序列的长范围时间结构建模,并通过测试得到最优视频分段值K,使模型能更好的区分存在子动作共享现象的相似动作,解决某些由于子动作相似而发生的误判问题。此外,我们应用数据增强方法,增加样本的多样性,令网络泛化性更强,更具鲁棒性。在UCF101和HMDB51数据集上的实验测试结果表明所提方法的动作识别准确率优于目前文献中主流动作识别模型和方法的性能。第二,提出一种基于运动能量引导视频分割抽取的多模态双流网络模型人体动作识别方法。为了充分利用多种传感器获取的动作信息,并更有效地实现视频输入帧选取,从而提高模型的识别能力,本文利用多模态数据信息对TSN模型算法进行改进,提出一种基于运动能量引导进行视频分割和抽取的方法,利用从深度数据中捕获运动能量信息作为指导视频帧时间采样的依据,将采样得到的视频帧送入ResNeXt网络进行分类识别。此外,所构建的双流网络模型同时使用深度和RGB两种传感器获得的多模态信息作为模型的输入,并使用自适应多流融合方法有效融合两个模态数据的信息,形成最终的动作分类结果。在NTU RGB+D数据集上的实验测试结果表明了所提算法的有效性。