基于计算机视觉的人体动作识别在日常生活的很多领域有广泛应用。近年来随着低成本深度相机的发布,人们可以比较方便的获取场景的RGB和深度数据,并且可以从深度数据中实时提取人体骨骼关节的位置信息,从而大大简化了对象分割的任务,有助于人体动作识别的研究和应用。本文运用骨骼特征对人体的动作识别进行研究,提出了一种能实时实现人体动作识别的算法。另一方面,本文还将骨骼特征和深度特征进行融合实现复杂交互动作的识别,主要的研究内容如下:第一,对骨骼关节的选取方法进行研究,选取在动作中起关键作用的部分关节组成关节子集,计算它们的局部时间空间特征。第二,提出基于姿势选择的隐马尔科夫模型(HMM)人体动作识别算法。该方法使用两次仿射传播(AP)聚类算法对特征进行聚类,自动选出每个动作的关键姿势,并和HMM的隐藏状态相对应。用这些隐藏状态的标签来初始化HMM的参数对模型进行训练,并用训练好的模型实现动作分类。该算法和传统的HMM算法相比可以降低初始化参数对识别性能的影响,在不同的场合具有更强的适应性,与其它的动作识别算法相比训练时间较短可实时实现。基于传统K-means聚类算法,用随机初始化参数的方法在MSR Action 3D上的对比试验证明了本文初始化方法的合理性;在MSR Action 3D、UTKinect上和国内外方法的对比实验证明了本文算法的有效性和实时性;在MSR Daily Activity3D上的实验结果证明了算法有很强的适应性。第三,将骨骼特征和骨骼关节周围的深度特征相融合,识别更复杂的人物交互动作。骨骼特征无法提供人体之外的特征信息,与深度特征向融合可以抓住人物交互动作的细节特征。为了消除时间偏差和噪声的干扰,本文用傅里叶时空金字塔除去高频系数,增强所提取特征在时间上的动态特性。在特征融合上,本文采用典型相关分析算法(CCA),最后用一对多的线性支持向量机(SVM)分类器对融合的特征向量进行分类。本文又比较了在不同层数下的识别率,选择最合适的3层金字塔。在MSR Daily Activity 3D数据库上的分类结果证明了融合方法的有效性。