人体行为识别是计算机视觉领域的极具挑战性的问题,因其具有广阔的应用场景近年来受到了越来越多的关注。一般来说,人体行为可以通过多种方式识别,如外观、深度、光流和人体骨骼。在这些模式中,动态人体骨骼通常传达的信息较其他几类数据类型更专注于人体本身的运动特征。本文立足于视频数据中人体骨架信息,并根据实际使用场景,将整个论文工作分为视频骨架信息的提取和行为识别模型搭建两个研究问题。针对视频数据中人体骨架信息的有效提取任务,本文通过对现有人体姿态预估工具在实际场景中存在的问题进行梳理,设计了用于人体骨架提取的多目标跟踪算法。首先,为了解决骨架序列在逐帧处理过程中容易造成人物对象错误匹配的问题,提出了帧间骨架匹配算法(SOMA算法),力求保留骨架序列数据在时间维度上正确的特征信息。接着,本文提出根据相邻帧内关节点的空间位置来平滑关节点运动轨迹,用于消除姿态估计工具结果中存在的误差,提升数据空间位置上的精准程度。最后,为了削弱姿态估计工具的结果在不同分辨率视频中示数范围不同对后续行为识别结果的影响,设计了骨架信息的归一化单元模块,使得模型能够同时接受不同分辨率、不同拍摄视角以及不同人物占比(人物对象在视频画面中所占的比例)的数据。针对基于人体骨架的行为识别模型的搭建,本文在时空图卷积网络模型的基础上,提出了利用数据驱动模型调整关节点间连通关系的自适应时空图卷积网络。原有的时空图卷积网络模型对关节点间拓扑关联性的设置较为固定,降低或限制了深度学习网络对潜在未知信息特征的学习能力。因此本文针对性地提出自学习拓扑关系的自适应时空图卷积网络模型,尽可能的释放数据本身的驱动能力,充分发挥基于动态人体骨架的识别模型的学习能力。另一方面,为了提升整个算法模型在移动平台落地的可能性,本文利用知识蒸馏机制进行模型参数的瘦身,在尽可能保留原模型学习能力的前提下,降低模型参数个数,为将来方案在实时场景中的落地提供依据。最后,本文针对以上研究模块设计了相应的仿真实验,对方案的性能进行严谨的论证,结果表明,本文所涉及的相关方案在完成基本功能任务的同时,相较于其他模型还表现出较好的稳定度和收敛速度。