人体行为识别是计算机视觉中的一项重要任务。在家庭服务机器人研究领域,人和机器人之间的交互极其重要,机器人必须能够对人体的行为进行准确分类,才能更好地为人类提供更加精准、高水平的服务。早期的行为识别算法都是针对彩色图像序列进行的,随着廉价的深度传感器和实时的骨架估计算法的出现,基于骨架的行为识别引起了很多学者的关注。利用骨架数据不仅可以改善光照变化和视点变化的问题,而且可以忽略由于衣着、肤色、发型等产生的差异。本文综合分析了近年来基于骨架数据的人体行为识别方法,并考虑到家庭服务机器人的特性,围绕人体行为识别模型训练复杂、计算量大和识别精度低等问题展开研究,提出了一种基于骨架数据的人体行为识别方法,具体研究内容如下所示。首先,采用Kinect传感器获取到3D骨架坐标数据,进行骨架模型的表示。综合考虑时间演化和空间几何信息,建立了时间子网骨架模型表示和空间子网骨架模型表示。时间子网骨架模型求取了行为序列帧间之差,空间子网骨架模型求取了边的几何信息。总结出了人体骨架关键点提取与模型表示算法。其次,基于建立的时空子网骨架模型设计了一种端到端的包含时空信息的卷积-长短期记忆网络双流人体行为识别模型。该模型分为三个部分:第一部分是时间子网,第二部分是空间子网,最后是他们的融合部分。将时空骨架模型表示矩阵作为模型的输入,然后输入到1D CNN中进行下采样,提取出动作序列特征后,再将这些特征输入到基于LSTM的深度神经网络中进行学习,得到更深层次的时间依赖。为了将每帧最显著的骨架关节运动选择出来,为时域数据引入了注意机制。模型将时域和空域的高层特征联合起来对行为进行分类。另外,为了提高模型的泛化能力,本文在训练期间对骨架的3D坐标引入了旋转和缩放的数据增强技术。最后,在NTU RGB+D数据集的60种行为类别以及MSR Action 3D数据集的20种行为类别上对模型进行了验证。实验结果表明了本文提出的识别方法的可行性与有效性,与其他方法相比,所提方法表现出了更高的识别准确率。