人体行为识别作为计算机视觉领域的一个研究热点,它受到了越来越多研究者的关注并且在计算机视觉领域有着广泛的应用,例如:智能监控、智能安防、虚拟现实、运动性能分析以及高级的人机交互等。现有的大多数人体行为识别算法都是从RGB视频中提取底层或高层的视觉特征来表示人体行为,这些算法的识别准确率在噪声、杂乱背景、局部遮挡以及相机视角变化的影响下急剧下降。因此,提取高效率以及显著性的视觉特征是成功的人体行为识别系统的关键步骤。近些年来,由于操作简单以及价格低廉的视觉传感器(Kinect)的出现,许多研究者提出将Kinect相机采集到的深度与骨骼数据应用到人体行为识别上。受此工作激发,本文针对深度和骨骼数据研究相应的人体行为识别技术。本文主要工作和创新点如下:首先,针对现有基于骨骼节点的行为识别算法的准确率低,计算复杂等问题,提出了一种基于关键骨骼节点的人体行为识别算法。它的基本思路是:采用一种改进的K-means算法与节点运动量相结合的方法提取关键骨骼节点子集,然后,进一步计算关键骨骼节点的深度占用模型DOP(Depth Occupancy Pattern)以及3D关键骨骼节点的位置特征来描述人体行为。为了降低提出的关键骨骼节点特征的维数,本文采用傅里叶时间金字塔FTP(Fourier Temporal Pyramid)来编码这些特征。最后,L2正则化协作表示分类器L2-CRC(L2-Regularized Collaborative Representation Classifier)被用来进行人体行为的分类。其次,针对深度序列的独特性质以及特征融合对行为识别的重要意义,提出了一种融合多种异质特征的人体行为识别算法。本文直接从深度序列中提取3D点云序列,然后利用一种由粗到细的算法从3D点云序列中计算多尺度局部时空特征描述子,它包括多尺度的局部位置模型MSLPP(Multi-Scale Local Position Pattern)以及两个相邻的MSLPPs之间的运动距离。此外,本文采用特征融合的方法将多尺度局部时空特征与关键骨骼节点特征进行拼接融合。最后,利用随机确定森林RDF(Random Decision Forest)分类器提取显著性特征并进行行为分类。本文提出的人体行为识别算法在三个基准的行为识别数据库上进行了验证,实验结果表明本文提出的算法要优于已有的先进方法,尤其适合于人与物体相互作用的交互行为识别。