论文部分内容阅读
在计算机视觉领域,基于骨架信息的行为识别是近几年热门的研究方向。它在智能安防、人机交互等诸多方面都有应用场景。人体骨架信息数据相比RGB视频数据更轻量,这使得用更轻量的算法去获取更优的识别性能成为可能。论文首先调研了国内外关于该任务的研究现状,然后分析了经典图卷积网络中构造骨架关节点之间依赖关系的几种方式以及它们的优缺点。在此基础上,论文提出了骨架关节点依赖关系推理网络(Joints-dependencice Inference Network,JIN)和骨架关节点上下文信息编码网络(Context-encoidng Network,Ce N)。这两种网络可以根据骨架序列的时空变化自动地为每一个样本推理一个骨架序列的邻接矩阵。其中JIN根据骨架序列的时空变化推理任意两个骨架关节点之间的依赖关系从而为每一个骨架序列构造对称的邻接矩阵,Ce N则从全局上下文信息的角度为每一个骨架序列构造非对称的邻接矩阵。这两种网络可以和图卷积网络构成端到端的网络框架JIN-SGCN和Dynamic GCN。在NTU-RGB+D数据集的跨对象划分规则中,相比经典的ST-GCN算法,这两个算法单模型识别准确率分别提高了4.5%和6.4%,都达到了学术界的领先水平。论文还分析了图卷积网络和带通道交换的卷积神经网络之间的理论联系,得到了当卷积核的尺寸和数量这两个条件松弛时,带通道交换的卷积操作等价于图卷积操作的结论。基于此,论文结合分组卷积和深度可分离卷积技术提出了增强版共现特征学习网络(Advance Co-occurance Feature-learning Network,ACFN)。相比普通共现特征学习网络,ACFN的识别准确率提高了0.9%,参数量降低了10.3%。最后论文对行为识别的整个系统流程做了设计,介绍了RGB视频的处理、提取RGB视频中的行人骨架信息和骨架信息的数据处理等五个模块。最后用监控场景数据和现场模拟数据对系统流程做了测试。