随着计算机视觉的不断发展,人体行为识别一直是备受关注的研究领域。行为分类易受光照以及图片背景因素的影响,骨骼数据能较好避免这个问题,在此背景下,本论文主要对RGB视频进行姿态识别提取骨骼关节点数据,并结合深度学习算法进行行为分类,以下是本文的主要研究内容和贡献:第一,研究了姿态估计问题,基于空间变换的姿态估计算法。传统姿态估计算法易出现的定位错误和冗余检测问题,论文中引用的姿态估计算法加入空时变换网络,并添加并行的姿态检测支路进一步提升了空间变换网络性能,可以提取到高质量的人体区域,进而提升姿态估计的精度。并通过非极大值抑制去除冗余的检测框和冗余姿态。实验结果表明与传统的姿态识别方法相比该算法模型骨骼点识别准确,且具有更好的鲁棒性,为下面的行为识别提供了数据基础。第二,研究了人体行为分析问题,提出了基于空时网络的行为分类算法模型。将传统的图卷积网络应用到人体行为识别,并引入时间卷积,利用深度学习的方法进行行为分析。对于目前行为分类方法不能充分利用骨骼数据的空间结构以及连接点之间的相关关系的问题,论文引入图卷积提取到骨骼数据的空间特征,结合时间卷积,将姿态识别得到的17个关节点的人体骨骼模型的拓扑结构应用到空时图卷积模型中进行行为分类,在NTU数据集上达到了 90.6%的分类准确率,实验证明空时网络算法模型与传统的行为分类算法相比获得了很好的分类性能。第三,对于行为分析问题,进一步提出了基于双流的行为分类网络模型。该网络模型在原有空时网络的基础上添加了二级网络,能够将骨骼边信息与骨骼关节点信息做数据融合,实验结果表明双流网络提升网络模型行为分类的准确率。此外还对网络性能进行了优化,添加BN层和引入残差网络ResNet,由于图卷积需要在不同的骨骼节点上共享权重,需要保持输入数据的规模一致,因此在网络模型中添加BN层;对于多层空时单元网络模型出现梯度弥散等问题,添加ResNet层;实验表明添加BN层和ResNet层的网络模型分类准确率的到提升,且都在一定程度加速网络收敛,证明了模型的有效性。