人体行为识别作为机器视觉领域的一个研究热点,它受到了越来越多研究者们的关注,并且在很多领域有着广泛的应用,比如,运动分析、智能安防、虚拟现实等。现有的人体行为识别算法大多是基于传统RGB视频数据的。然而,由于光照条件、局部遮挡、以及复杂背景等因素的影响,这些方法在实际操作中仍存在许多的缺陷。近些年来,随着价格低廉且易于操作的Kinect深度相机的出现,许多学者都提出将深度相机收集到的RGBD(RGB Depth)数据运用到人体行为识别中。本文主要研究基于RGBD视频的人体行为识别系统。人体行为识别系统由数据预处理模块、特征提取模块、特征编码模块、以及分类器模块组成。人体行为识别系统中最重要的步骤就是提取高效、稳健的视觉特征来表示人体行为。受此启发,本文提出了基于双流通道(深度数据和骨骼数据)的人体行为识别系统。本文主要完成以下三个方面的工作。第一,针对RGBD视频中提供的深度信息,我们提出了基于金字塔结构和梯度信息的深度特征提取方法。第二,通过对人体骨骼节点序列进行分模块收集相对深度信息和相对位置信息,提出了基于骨骼信息的特征提取方法。第三,为了提取出更具鲁棒性的特征来表征RGBD视频,还提出将深度特征和骨骼特征融合成最终的双流通道特征,然后,一个随机确定森林RDF(Random Decision Forest)分类器被用来提取显著性的特征并对人体行为进行分类。本文提出的深度和骨骼特征提取方法考虑了深度数据中的遮挡、骨骼信息中错误的关节位置等因素的影响,对RGBD视频数据进行数据预处理工作、特征选择工作。这些处理步骤都在一定程度上提高了算法的识别准确率。本文提出的人体行为识别系统在三个公开的RGBD人体行为识别数据库上进行了验证。实验的结果表明本文提出的算法要优于已有的先进方法,尤其类间区别较大的动作。