人体行为识别是机器视觉多模态研究领域中一个十分热门的研究方向,其融合嵌入式开发、图像处理和机器学习等多门学科,在诸如人机交互、异常行为检测、医疗监控、医疗康复和视频检索等领域具有极其广泛的应用前景。行为识别的主要挑战在于如何获取高质量的行为数据以及如何动态建模动作序列。影响数据质量的主要因素有三类:1)遮挡和光照条件;2)拍摄视角差异;3)尺度的变化。近年来,Kinect从深度数据中确定人体各个关节点的位置坐标,构成人体三维骨架,显著改善了影响数据质量的三类问题,但对于建模骨架序列中存在的信噪比低和特征信息不足的问题,依然具有很大的挑战性。针对骨架序列本身信噪比低的问题,本文从人体三维骨架序列出发,采用关键关节算法,筛选动作骨架序列中最有表征能力的关节点,过滤无用的噪声关节点。本文从传统机器学习方法和深度神经网络两个角度出发,分别采用了关键关节构建时空金字塔模型和关键关节结合LSTM网络的两种方法,旨在解决骨架本身特征信息不足的问题。两种方法具体内容如下:基于人体关键关节构建时空金字塔模型的动作识别方法。该方法对于动作序列的单帧空间信息,提取人体骨架关键关节,构建空间域金字塔特征,保留骨架铰链系统的空间结构;利用多层级叠加协方差,构建时序金字塔特征,解决需要预处理视频序列长度的问题。在MSR-Action3D数据集上,该算法的识别率为95.49%,优于深度学习算法ST-LSTM;在UTKinect数据集上识别率为89.9%,与基于CRF算法动作识别方法相当,但本文算法时间开销更低,单个动作样本时耗仅为0.02s。实验结果表明,该方法准确率高、实时性好,可广泛应用于行为识别的各个领域。基于关键关节结合LSTM网络人体动作识别方法。该方法通过级联关键关节作为动作序列的空间特征。利用3层LSTM网络自动学习动作的时序特征并建立较长序列前后之间的依存关系,解决个体差异导致完成动作快慢不一致的问题。在MSR-Action3D数据集上,该网络结合关键关节后最优识别率为89.7%,不结合的为86.0%。实验结果说明,关键关节算法可以有效降低数据信噪比,提高深度神经网络的准确性。