论文部分内容阅读
近年来由于行为识别技术可以有效提高系统的感知能力,它在人机交互、智能监护与虚拟现实等领域具有广泛的应用价值,备受学者关注。然而真实环境存在光照、服装、背景等复杂因素,给行为识别领域的研究带来极大挑战性。随着微软Kinect设备的发布,深度图可以记录摄像头视野内物体距设备的距离,进而直接表达物体表面的三维特征,克服了传统二维图像识别的困难。本文使用Kinect设备获取运动人体彩色数据流、深度数据流图像及骨架信息,探究行为识别相关关键技术,对人体行为进行特征提取与表达,进而完成对人体行为动作的检测与理解。本文主要工作如下:在行为特征提取与表达方面,行为局部特征表达上,本文提出一种基于深度图像的梯度方向直方图金字塔(PHOD)行为表达方法,并进一步探讨了将基于RGB图像和深度图像特征以及将两种图像特征串联后融合特征在使用SVM分类器进行训练后的识别情况。行为全局特征表达上,研究结合人体结构的特点,利用Kinect感应器追踪人身上关节点信息,计算关节点间夹角及模比值来对人体行为进行描述。最终在具有一定代表性和挑战性的DHA及MSR Action3D公共行为数据集上设计实验验证本文方法的有效性。根据实验结果分析可以证明,相较于传统方法,提出的行为描述方法表现了更好的识别效果,具有更高的识别精度。在行为理解与识别方法方面,数据预处理上,本文基于PCA数据降维算法做出相应改进,针对得到的深度图像特征及骨架关节点特征,以梯度下降算法计算属性加权的方式对行为特征进行预处理以期提高分类准确率。特征融合上,基于本文所提取特征,提出一种融合策略,将二维、深度图像及骨骼信息特征优势互补,后续结合支持向量机分类算法对人体动作进行理解和预测,实验证明本文提出方法在用于人体行为识别分类上具有较好的鲁棒性和区分性。在实际应用方面,本文设计实现初级智能监护实验系统以达到对日常人体行为的识别与异常行为的报警功能,并通过系统自主录制简单日常行为数据集进行实验验证本文提出行为识别方法的可行性与有效性。