人体行为识别技术是计算机视觉和人工智能领域非常热门的研究课题之一,在视频监控、人机交互界面、运动视频分析、视频检索及机器人等研究领域得到了广泛的关注。传统的行为识别的研究一般都是使用RGB彩色图像,随着深度传感器的出现,越来越多的学者研究基于深度图像的人体行为识别。相比RGB图像,深度图像对光照变化、色彩和纹理的改变具有较强的鲁棒性。此外,骨骼关节点的位置特征可以表示人体骨架之间相对位置的变化。基于现有的行为识别研究方法,本文提出了一种基于Kinect的多通道特征联合的人体行为识别方法。首先利用Kinect硬件设备提取三个通道的数据信息,包括RGB彩色图像、深度图像和骨骼关节点。其次对这三个通道的信息分别采用不同的方法进行特征提取,对RGB通道信息先提取空间兴趣点,再计算图像通道和运动通道的方向梯度直方图(HOG)特征;对深度通道信息采用改进的HOG获得时空特征描述子;对骨骼通道信息,利用Kinect采集20个人体主要的骨骼关节点,对这些关节点提取关节对位置特征,并采用傅里叶时间金字塔结构表示提取到的位置特征,使用特征编码和汇集操作处理底层时空特征。用词袋模型(Bag ofwords,BOW)对提取的特征进行编码,并将编码后的局部特征转化成直方图表示,对直方图进行特征归一化处理后,得到表示整个视频的特征。最后,将代表整个视频的特征作为输入数据,采用级联SVM建立模型进行人体行为识别。本文所提出的算法在四个标准数据集上展开训练和测试,并与最新的结果进行比较,实验结果显示,本文所提算法在分类性能上有很大的提高。最后,本文利用Kinect传感器采集现实场景数据来验证本文算法的实际应用,从实验结果数据中可以看出,本文所提的算法在真实场景数据集上具有较高的准确率。