人体行为识别在智能视频监控、人机交互和智能驾驶行为识别等领域都有着广泛的应用。然而,当前的人体行为识别准确率还不尽如人意。本文针对行为识别中存在的部分遮挡、数据噪声、视角变化和数据量有限等问题,对基于时空特征的行为识别展开研究,主要的创新性工作包括以下三方面。第一,本文以几何代数为数学工具挖掘视频时空相关性,提出了一种基于联合视频表观与运动信息的时空兴趣点的视频行为识别算法。具体地,首先构建一个视频时空域几何代数空间,然后提出了一种联合视频表观与运动信息的视频表征模型,接着基于该模型发展了一种视频时空域相关性约束下的时空兴趣点检测算法,用于描述视频的时空邻域结构,最后将其应用于视频行为识别中。实验结果表明,相比于传统的时空兴趣点检测算法,本文检测得到的时空兴趣点充分地反映了视频表观与运动信息在时空域各梯度方向上的显著变化,并去除了大量与人体行为无关的冗余信息,同时对于视频中的部分遮挡和数据噪声具有较强的鲁棒性,可有效地提升视频行为识别的准确率。第二,本文以几何代数为数学工具挖掘骨架序列的几何特性,提出一种基于时空视角不变的形态与运动表征的骨架行为识别算法。具体来说,首先构建一个骨架序列几何代数空间,然后提出了一种基于旋转子的骨架序列视角变换方法,接着构建了骨架序列时空视角不变模型。进一步地,基于该模型提取骨架序列的形态与运动表征,以时空融合的方式对骨架序列的全局时空特征进行描述。最后将由骨架序列形态与运动表征编码形成的彩色图片输入一个可选择的多通道卷积神经网络,并输出骨架序列对应的行为识别结果。实验结果表明,本文提出的算法既消除了骨架序列的多视角差异性,又保留了帧间的相对旋转运动信息,提取得到的骨架序列形态与运动表征相互补充且具有视角不变性,有效地提升了骨架行为识别的准确率。第三,本文提出了一种基于时空注意力与运动增强的骨架行为识别深度网络。具体地,首先分别提出一种运动信息引导的通道注意力模型和一种时空注意力模型,然后将它们进行结合进而构造出局部与全局注意力网络,以时空注意力融合的方式提取骨架序列中涉及长距离依赖关系的深度全局时空特征。此外,为解决由于稀疏的骨架数据导致的类内差异性,提出了一种骨架特征演化图编码方法,有效地丰富了骨架序列特征。实验结果表明,本文设计的深度网络不仅能够捕捉骨架序列的帧间运动信息,又能够捕捉时空上下文感知协同信息,取得了现有最先进的骨架行为识别准确率。