伴随着计算机技术的飞速发展,人体行为识别逐渐成为计算机视觉研究领域的热点。目前相关行为识别技术已经广泛应用于监控、视频游戏、人机交互、医疗保健等方面。早期人体行为识别大量采用基于彩色RGB图像的识别方法,但受光照等诸多因素,对识别结果影响较大。利用深度相机得到的深度图像和骨骼数据可以很好地解决诸如光照问题,同时对背景颜色的变化不敏感,大量采用上述数据进行人体行为识别的方法被提出,促进了行为识别的发展。深度相机可以获得RGB图像和深度图,同时从深度图中提取骨骼数据。为了利用更多深度图像和骨骼数据的动作信息提高动作识别率,本文基于深度相机提取的骨骼数据和深度图像对人体动作识别方法进行以下研究,提出了以下两种人体行为识别算法。第一,提出一种改进的基于深度图像和骨骼数据的动作识别方法,该方法使用深度图像序列生成运动历史点云并提取全局特征,同时从三维骨骼信息中提取人体骨骼关节点的相对位移特征和相对距离特征,使用VLAD算法归一化生成骨骼特征。对得到的点云特征和骨骼特征进行特征融合,构建出一种多模特征融合的动作识别方法。在MSR-Action3D和UTKinect-Action3D两个数据集进行实验,证明该方法对于较复杂的动作序列的有较好的识别效果,并且在高难度的交叉测试中相对已有方法识别率有所提高。第二,受双流网络识别人体动作启发,本文提出了一种基于骨骼能量图和深度运动图的双流网络模型。首先基于骨骼序列的视图不变变换来消除视图变化对骨架关节的时空位置影响,然后将变换的骨架动作序列可视化为一系列的彩色图像。将得到的彩色图像叠加得到骨骼能量图,使用图像腐蚀方法进一步增强骨骼能量图。增加一个人体动作的深度运动图输入流,形成一个新双流卷积神经网络框架,以此提取连续动作帧中的时空信息。实验证明在Northwestern-UCLA数据集和UTKinect-Action3D数据集上,该方法有较好的识别效果。