近年来,人体行为识别这一极具挑战性的工作受到研究人员越来越多的关注。人体行为识别被广泛地应用在智能家居、视频监控、医疗健康、虚拟现实等很多领域,但是由于人体在活动过程中的种种因素的影响,如光照强度、背景变换、自身肢体遮挡等,使得人体信息的捕获以及识别的精度不是很理想。Kinect的出现使得捕获人体深度图像变得更为容易,而从深度图像中提取的人体骨架信息使得识别人体行为的精度大幅度提升。本文基于从深度图像中提取的三维人体骨架信息。从特征提取、特征编码等方面一步步从底层信息提纯到高层特征,最后运用这些特征来识别人体行为。研究成果如下:1、本文基于运动姿态描述子和硬向量编码方式,提出一种基于运动姿态描述子特征和改进硬向量编码的人体行为识别。运动姿态描述子框架利用20个关节点的位置信息及其一阶和二阶导数来表示人体的动作信息。在特征编码阶段,由于传统的硬向量编码只对最近的视觉单词加权值1,其余的视觉单词权值均为0。这会导致对局部特征重构很粗糙,不利于提升人体识别精度。针对该问题提出一种改进的硬向量编码,即在传统硬向量编码的基础上将对最近一个视觉单词加权,拓展到对k个视觉单词加权,并且加权的方式是按从近到远权值递减。即最近的第k个视觉单词权值为1/(k~2+k)。改进的编码方式与传统的硬向量编码相比更能有效的解决视觉单词的模糊性问题,从而提高识别的精度。2、本文针对单一描述子和单一编码方式导致三维人体骨架序列的行为识别精度不太高的问题,提出一种基于多描述子特征编码的人体行为识别。角度描述子采用35个关节夹角的信息和其一阶导来表示人体动作的角度变化。在该人体识别过程中,首先从三维人体骨架序列中分别提取运动姿态描述子和角度描述子。然后对每种描述子分别进行硬向量编码、稀疏编码和局部约束线性编码,从而获得六种特征。最后根据这六种特征分别构造线性分类器,通过投票机制得到最终的识别结果。