人体运动行为识别的研究目的是使计算机拥有分析和判断人类行为的能力,相关技术和方法被广泛地应用到虚拟现实、人机交互、安全监控和医疗辅助等场景。运动序列是肢体随时间演化的同步变化,其变化关系可用肢体间的相关性特征描述。相关性特征能够刻画不同行为的差异性,因而为人体运动的行为识别提供了一条重要的研究线索。本文基于人体运动相关性特征来解决行为识别中的若干难点问题,完成了如下四个方面的创新性工作:1、提出了融合行为类别信息的协方差特征,以增加不同行为之间特征的差异性。使用行为类标签计算姿态关于行为类别的概率分布,通过概率分布的信息熵建模姿态关于行为类别的显著程度,进而使用姿态的显著性加权代替传统协方差中的经验平均加权得到运动序列的特征表示。实验结果表明,行为类别信息的引入增强了来自行为间显著姿态的判别信息,同时降低了行为间相似姿态的冗余信息,增加了行为特征的类间差异性。2、提出了一种降低协方差特征类内距离的贝叶斯正则化方法,以减少相同行为种类内特征的差异性。在传统协方差作为数据似然项的参数估计基础上,以全局姿态信息作为先验正则化约束生成协方差特征,降低了协方差特征在表示行为序列时的特征奇异性,该方法解释了黎曼流形空间中协方差特征的奇异性与类内差异性的关联。实验结果表明,该方法有效地压缩了类内距离,减少了类内差异性。3、提出了一种兼顾类内和类间特征差异性的贝叶斯推理方法,该方法在降低类内特征差异性的同时,加入全局姿态和行为类别的判别信息,增大类间特征差异性。在姿态的高斯分布假设下,将自动编码机和对抗学习相结合获得全局姿态标签,进而使用该标签进行贝叶斯推理,得到姿态的后验高斯分布。实验结果表明,用后验分布的参数作为相关性特征,不仅降低了特征奇异性和类内差异性,而且融合了全局姿态和行为类别的判别信息增大了类间差异性。4、提出了一种具有时序信息的运动序列特征表示方法。考虑到协方差特征不能表达运动序列时间信息,通过融合基于姿态内对称协方差矩阵和姿态间非对称互协方差矩阵,重构含有时序信息的运动序列特征矩阵。由于重构的运动序列特征矩阵具有对称正定的特性,因而能在黎曼流形上直接度量。实验结果表明,由于该行为序列特征利用了行为序列中姿态间正向延迟和逆向延迟统计,分别体现行为序列的正向和反向行为顺序,可同时表达空间和时间的信息,增强了特征的判别能力。本文重点研究行为识别的特征建模问题,考虑了行为的类间差异性、类内差异性和时序信息三个影响因素对运动序列特征判别性的影响,提出了一系列行之有效的建模方法,理论分析和实验结果均表明所提出的方法在行为识别中的可行性和有效性。