人体行为分析是机器视觉、模式识别、深度学习、人工智能等多个学科的交叉融合,在基于内容的视频检索、医疗辅助、人机交互、视频监控等多个领域具有广阔的应用前景。人体可以看作是由关节连接的刚性段构成的关节系统,人体的姿态可以由骨架节点的三维空间位置加以描述,行为可以看做是骨架节点的空间位置随时间的变化过程。随着深度RGBD传感器技术的不断进步,基于人体姿态的行为分析受到了广泛的关注。本文以人体姿态信息为研究出发点,针对视频中人体行为分析存在的难点问题展开研究,研究目标为基于多维关系挖掘的人体行为分析的算法研究。人体行为分析的相关技术受到了国内外研究人员的广泛关注,并已获得了许多优秀的成果,但在算法性能上仍有较大的提升空间。本文基于目前人体行为分析的研究现状,深入开展研究,内容涉及人体行为特征的提取、行为边界的检测、行为分类及行为预测四个方面。本论文的主要贡献可归纳以下几个方面:(1)针对人体行为特征的提取与表征问题,本文提出了一种基于人体骨架关节的多维多粒度行为特征提取方法,用于表征人体行为的时空上下文关系。为将稀疏的骨架关节位置图转化为适合神经网络处理的密集信息,本文提出两种骨架关节间的关系密集矩阵。并以这两种关系密集矩阵为基础,分别提出了基于骨架关节相对位置的空域描述子,以及基于姿态动态变化的时域描述子。而后,将原始位置、时域、空域三个维度的行为特征按照人体的结构特性划分为,全局、局部、细节三个粒度层面的行为特征。(2)针对人体行为边界检测的问题,本文提出一种基于上下文关系的行为边界检测模型。根据视频帧序列中姿态动作之间的时间关联性,该模型通过引入注意力机制对每一帧动作进行角色分类,即,开始帧,过程帧,结束帧,空白帧,然后根据分类结果的上下文逻辑关系合理化行为作用域,从而定位出行为发生的时间范围,为行为识别奠定基础。(3)针对行为识别任务,本文提出一种基于困难样本挖掘的行为识别方法。该方法通过引入扩张神经网络对行为特征进行多尺度的时空建模。针对易混淆的相似样本,该方法引入困难样本挖掘机制,有针对性的加强学习,从而优化行为识别的效果。(4)针对人体行为早期识别的问题,本文提出一种基于生成对抗网络的行为片段预测方法用于行为的早期识别。预测模型根据部分动作序列预测出未来的动作序列,通过对未来真实的动作序列和生成的预测动作序列的对抗学习,最终生成可靠的、能够以假乱真的未来动作序列。为使得预测样本进一步提升行为识别的准确率,模型引入了弱点再学习机制,从而为行为的早期识别提供更多的依据,优化行为的早期识别的准确程度。针对基于人体姿态信息的行为识别中的上述问题,本文提出了行之有效的解决方案,并在具有挑战性的数据集上进行实验验证,逐一验证了算法的有效性,总结了研究中亟待解决的问题和下一步的研究方向。该论文共有图70幅,表25个,参考文献176篇。