人体行为识别是计算机视觉领域的重要方向,相关技术日益成熟并广泛应用。依据输入数据源不同,人体行为识别可分为基于RGB视频数据的行为识别、基于骨架数据的行为识别等,本文研究基于骨架数据开展。以骨架数据作为输入可缓解目标遮挡、视角差异、背景变化等问题,因此基于该类型数据的行为识别近来备受关注。当前基于骨架数据的研究仍存在瓶颈。首先,相关课题侧重于骨架空间特征的优化,而缺少时序上的全局依赖性,导致原子动作特征的语义关联弱,且特征冗余程度高致使模型精度因堆叠模块迅速趋于饱和。其次,相关研究少有多人交互特征的提取方案,且存在较严重单人行为与多人行为类别混淆的缺陷。最后,现有模型缺乏多粒度时序特征建模,许多方法预定义的小卷积核难以关注到速率变化不同的动态模式。围绕上述三点问题,论文的主要工作以及形成的研究成果如下:（1）提出了基于Transformer建模时序依赖的骨架行为识别方法。该方法设计了自注意力特征编码模块（transformer encoder,TE）,通过挖掘上游时序特征相似性获取长程时序依赖,以关联全局帧级语义信息。此外,引入了残差结构降低堆叠TE模块引起的网络退化风险,定义了特征时序冗余度以定量分析不同结构的效率差异,设计了包含侧向连接（lateral connection,La C）的并联结构以减少模型参数量并保持精度。（2）提出了面向多人物交互行为的骨架行为识别方法。该方法定义了人物维度上的标准化操作（M-layer normalization,M-LN）,避免预处理阶段引入噪声,增强人物数目区分效果。构建了扩展的TE模块（extend transformer encoder,E-TE）,通过建模人物间行为关联性提取交互特征。设计了渐进式多目标学习方案（gradual multi-task learning,GMTL）,以增强网络判别样本内人物数目的能力。（3）提出了基于多粒度时序信息融合的骨架行为识别方法。该方法设计了分支结构的多粒度时序信息编码模块（multi-scale temporal embedding modules,MT-EMs）,各分支以不同尺寸卷积核提取多种粒度的动作变化信息,兼顾不同动态模式。并提出了完备的多粒度提取时序依赖的骨架行为识别模板方案（multi-scale temporal transformer,MTT）。本文对所提出的方法均进行了消融实验验证其提升效果,且对网络设计包含的超参数进行调整选取合理的网络结构。实验结果表明,上述方法具有良好的通用性和有效性,并于NTU-RGBD 60、NTU-RGBD 120、Kinetics-Skeleton 400三个大数据集上取得了较好的效果。