近年来人体动作识别逐渐成为计算机视觉领域的重要研究课题,并广泛应用于人机交互、智能视频监控和运动员辅助训练等场景。与基于RGB视频的传统人体动作识别方法相比,基于骨架序列的人体动作识别对复杂视频背景、光照和身体尺度变化具有很强的鲁棒性。同时,随着深度传感器和姿态估计算法的发展,基于骨架的人体动作识别逐渐成为当下的研究热点。因此如何有效建模骨架序列,提取骨架运动时的空间特征和时序特征成为目前研究急需解决的关键问题。本文在构建人体骨架时空图的基础上,提出融合时空变换网络与时空图卷积网络的双流网络,来提取骨架序列的时空特征,进行人体动作识别。主要工作内容如下:1、构建时空图卷积神经网络,使用空间图卷积提取相邻关节点的空间特征,使用时间图卷积提取相同关节上的时间特征。针对时间图卷积网络无法提取相邻多个关节时序运动特征的问题,引入时域扩展模块,以提取人体运动中时间维度上多个相邻关节的运动特征。为提高本校篮球队员投篮的稳定性和准确率,矫正投篮姿势,跟校队合作拍摄制作基于骨骼点的投篮动作识别数据集。利用OpenPose提取2D骨骼点,姿态估计算法获取3D骨骼点。针对投篮时部分关节被遮挡的问题,在生成数据集时进行异常点检测与关节点平滑填充。时空图卷积网络加入时域扩展模块后,在Kinetics-skeleton数据集上top-1和Top-5准确率分别提高了 2.0%、1.8%;2D和3D骨骼点数据集上非标准投篮动作分类的准确率分别提高了 2.5%、2.7%。2、扩展时空图卷积网络使用固定结构的拓扑图建模人体骨架,会限制模型从关节间的相关性及其运动模式中抽取更多有效信息,引入时空变换网络,在空间和时间维度上分别对关节的相关性进行建模。空间变换网络可以在每帧内独立地计算每对关节之间的相关性,提取身体各部分之间关系的特征;时间变换网络可以提取同一关节在多帧内的相关性,但对多个相邻关节的运动特征提取能力不足。针对拓展时空图卷积模型和时空变换模型分别存在的问题,提出融合时空变换网络与时空图卷积网络的新双流网络。与基准网络相比,新双流网络在Kinetics-skeleton数据集上top-1和Top-5准确率分别提高了 2.4%、2.9%;双流模型在2D和3D骨骼点数据集上非标准投篮动作的分类准确率分别提高了 5.7%与4.0%,准确率最高,是目前网络中效果最好的。