人类行为识别近年来已经成为计算机视觉领域最热门的研究课题之一,其被广泛应用于视频监控、视频游戏和人机交互等相关领域。在过去十几年里,研究人员提出了大量基于RGB视频序列的行为识别方法并且取得了不错的识别效果。然而,传统RGB数据对于许多因素都是极其敏感的,如光照条件、尺度变化和数据遮挡等,这都将影响行为识别的准确率（识别率）。此外,传统单目视频传感器不可能精准地捕获3D空间中的人类运动。近年来,随着RGB-D摄像机的发布,从视频序列中提取人类骨架已变为一项相对容易的工作。与传统RGB视频序列相比较,基于骨架的行为序列对于上述不利因素更具鲁棒性,这就使得越来越多的科研工作者投身于基于骨架的行为识别研究工作中。本文通过研究人类行为的3D骨架序列,首先利用李群来描述骨架序列中刚体间的相对几何和相对旋转,并以此为基础来解决骨架序列中的噪声问题。随后使用张量分解的方法来获取刚体间的线性关系,构建基于非负张量的线性动态系统来模拟骨架间的时序关系。最后利用刚体活跃水平来发掘行为序列中表示身体运动的高维特征,并将这些高维特征映射到流形空间中,以克服骨架构型的不利影响。总体来说,本文的贡献和创新点包括以下三个方面:1.针对如何处理不同客体间的尺度变化、获取同一行为序列中不同骨架间的时序信息和排除行为序列中的噪声骨架等问题,本文从行为的李群表征中挖掘关键骨架模式来解决上述三个问题。具体步骤分以下三步:第一,为了捕获尺度不变的空间信息,骨架中任一刚体的方向都由六个旋转矩阵来表征,这些矩阵代表了该刚体和三个坐标轴之间的旋转。每一个旋转矩阵都被投影到特殊正交群S O（3）上。第二,利用刚体在不同骨架间的运动来表征3D骨架序列的时序信息。类似地,这些刚体运动被映射为特殊欧式群S E（3）上的几个点。在以上两步的基础之上,一个表征人类行为的骨架序列就可被看作为在李群（S E（3）×···×S E（3）,S O（3）×···×S O（3））上的一个点集。第三,提出了一个由Prefix Span算法改进的模式增长算法,用以从基于李群的行为表征中挖掘关键骨架模式。该算法通过在每个增长步中减少新模式的数量来提高搜索效率。2.由于线性动态系统是一种有效的时空数据编码工具,因此本文在行为序列的非负张量表征下,拓展了传统线性动态系统的参数估计方法,分析了基于非负张量的3D骨架序列的优势。首先,本文将每一个人类行为都表征为三阶非负张量形式。在此基础之上,提出一个基于非负张量的线性动态系统来模拟这些行为,并使用非负Tucker分解来估计这个线性动态系统的参数。最后,将由这些参数构建的行为描述符映射到无限Grassmann流上,利用在该流形上的字典学习和稀疏编码对人类行为编码,使用SVM对编码后的人类行为进行分类。3.为了排除掉行为中的噪声关节,本文提出了一种基于Kendall预形状的行为识别模型,其利用骨架序列中的活跃关节来表示人体实际运动的部分。然后将每一副骨架中的活跃关节坐标映射到Kendall预形状空间中,以获取形状不变的骨架构型。因此,一个人类行为就可以被看作为一个在Kendall预形状空间上的点集,在此基础之上,使用基于张量的线性动态系统（t LDSs）来描述骨架间的时序关系。