人体行为识别是计算机视觉领域中重要的研究课题之一,在智能视频监控、智能医疗监护、运动分析、智能人机交互和虚拟现实等方面都扮演着重要的角色。人体行为识别技术虽然在过去的十几年里得到迅速发展,但是由于存在目标姿态变化、遮挡、光照、摄像机抖动和个体行为差异等干扰因素,设计一个鲁棒的人体行为识别算法仍然是一项极具挑战性的课题。本文通过分析研究人体行为识别的复杂性,借助于当前人体行为识别算法的最新研究成果,以目前研究最为广泛的基于深度信息和骨骼信息的人体行为识别算法为基础进一步展开本文的研究,本文的研究工作主要包括下面几个下面:(1)本文针对基于深度信息的人体行为识别算法的不足,分别从以下三个方面对其实行优化和改进。第一,传统的基于深度信息的特征提取方法未对原始数据在时空区域进行约束,容易导致数据冗余。因此,为了有效地提取时空感兴趣区域,本文提出时空感兴趣区域提取方法。第二,针对传统的深度信息特征提取方法容易忽略帧间的动作信息的问题,本文采用时空方向主成分直方图(Histogram of Spatio-Temporal Oriented Principal Component,HSTOPC)特征方法对深度信息进行编码。第三,传统的时域分割模型容易丢失分割处的信息,为了克服这个问题,本文设计了多层时域重叠分割模型。最终在标准数据库上的实验结果表明,本文算法具有很好的鲁棒性。(2)本文针对基于骨骼数据的人体行为识别算法的不足,分别从以下两个方面对其实行优化和改进。第一,简单的插值方法不能准确地描述插值处骨骼关节的位置。因此,本文提出分类插值的插帧方法,可以准确地拟合帧间插帧位置的动作姿态。第二,传统的特征描述子不能准确地描述骨架姿态的空间位置信息。因此,本文采用四元数特征方法来对骨骼信息进行编码,此特征描述子可以准确地描述骨骼向量之间的空间位置信息。在标准数据库上的实验结果表明,本文的骨骼描述子具有很好的鲁棒性。(3)本文针对骨骼数据中形状信息的缺失和深度数据过于复杂的问题,本文采用深度信息和骨骼信息融合特征算法;同时采用动态时间规整(Dynamic Time Warping,DTW)和傅里叶时域金字塔(Fourier Temporal Pyramid,FTP)来解决时间错位和噪声问题。在标准数据库上的实验结果表明,特征融合算法具有很好的鲁棒性。