基于图卷积网络的人体3D骨骼行为识别技术的研究

来源 :东华大学 | 被引量 : 0次 | 上传用户:kingjongz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体行为识别技术是计算机视觉领域的重要研究课题,随着人工智能和互联网的蓬勃发展,它也具有了巨大的应用前景和经济价值,在智能监控系统、虚拟现实、人机交互等现实领域都得到了广泛应用。人体行为识别技术的核心在于行为识别数据集的建立和行为特征的提取两个方面。随着Kinect深度摄像机、人体骨骼关节点提取技术以及图卷积神经网络(Graph Convolutional Networks,GCN)的发展,人体行为识别技术领域出现了一个新的研究方向——基于图卷积神经的人体3D骨骼行为识别技术。这个技术主要有两个优势,一是相较于传统的RGB(Red Green Blue)视频数据,人体3D骨骼在环境变化、光照强度等复杂背景下具有较强的鲁棒性。二是相比于循环神经网络(Recurrent Neural Networks,RNN)和卷积神经网络(Convolutional Neural Networks,CNN),图卷积神经网络天然的适合处理具有图结构的人体3D骨骼数据。基于这两个优势,目前人体行为识别的大多数方法都是建立在图卷积网络的理论基础上来进行深入研究的。本文主要围绕着基于图卷积网络的人体3D骨骼行为识别技术进行研究。首先,本文详细的介绍和分析了图卷积神经网络在人体3D骨骼行为识别课题上的应用。然后,针对图卷积网络存在的提取行为特征不够理想的问题,本文提出了基于图注意力神经网络(Graph Attentional Networks,GAT)来优化骨骼数据空间特征提取的解决方案。最后,本文对所提出的模型进行实验分析,结果证明了所提出的使用图注意力机制来优化特征提取的方案对人体3D骨骼行为识别准确率的提升是有益的。综上,本文的贡献主要有以下两点:(1)将图注意力网络作为空间特征提取网络的残差连接,实现注意力的自主学习,提出了基于图卷积的注意力残差网络(Attentional Residual Connection Based Graph Convolutional Networks,ARGCN)。一方面,相比于传统的注意力机制,图注意力机制可以更好的学习具有图结构数据的特征,而无需特征值分解等复杂的矩阵运算,仅根据输入数据即可计算每个节点在特定动作上的重要程度。另一方面,残差机制有着对输出的变化更加敏感的作用,而且图注意力残差网络模块的输出信息直接流通到主干网络中,可以增强信息流通。通过对提出的ARGCN模型进行实验,并与不同的行为识别算法进行比较,结果证明了ARGCN模型具有更好的识别效果。(2)为了进一步简化模型,降低训练成本,本文提出了一个改进模型:基于图注意力的卷积神经网络(Graph Attentional Convolutional Networks,GATCN)模型。该模型的主要思想是,将图注意力网络分解为特征提取和特征融合两个阶段,只保留计算图注意力系数的特征提取阶段。之后,将注意力系数构成一个类邻接矩阵参与到图卷积网络的空间特征的融合过程中。这种情况下,图注意力机制的作用就仅仅是捕捉节点之间的相似度,而空间特征融合过程则交予图卷积完成。为了评估所提出的GATCN模型的识别效果,本文将实验得到的识别准确率与ARGCN模型以及其他的行为识别算法的准确率相比较,其对比结果也证实了GATCN模型具有较好的识别效果。在文章的最后,本文对所研究的内容进行了总结与展望,并针对文章提出的模型指出了一些可以继续优化的方面,为以后的深入研究提供了可能的方向。
其他文献
可见光遥感图像在军用和民用领域都发挥着重大的作用,可以应用在灾害控制、海洋监控、城市规划、生态环境监测等诸多领域。随着遥感技术的快速发展以及卫星和航天器的增多,我们能得到数量更多、分辨率更高的可见光遥感图像,图像中小型目标更加清晰可见,这既显著提高了可见光遥感图像的信息含量,又对其目标检测方法和技术的精确性提出了更高的要求。基于深度学习的目标检测算法已在自然图像目标检测领域取得了优异的成绩。但由于
学位
由于与环境污染和城市拥堵等其他重要问题有关,车辆交通正引起越来越多的科学兴趣。从经济和社会的角度来看,车辆流量的合理规划和管理是现代社会的重要课题,越来越多的项目旨在监测和优化道路交通的质量。车辆交通不仅是一个工程问题,而且是一个具有挑战性的数学问题。本文将通过Aw-Rascle-Zhang模型来描述宏观交通流系统,基于这种偏微分系统的控制方式有边界控制和域内控制两种方式。边界控制主要是通过静态交
学位
固体导弹由于体积小、机动性好、打击精度高、发射准备时间短,且可利用发射车机动发射等突出优势,成为世界各国武器研究的重点。本文以固体导弹为研究对象,针对导弹任务多样性需求,围绕助推段终端能量宽域可调开展研究。主要研究内容如下:1.导弹助推段标准弹道设计。首先建立导弹助推段运动模型,然后对助推段飞行程序进行参数化建模,在其基础上采用灰狼算法进行标准弹道设计。主要思路是以攻角模型的关键参数为优化变量,以
学位
小样本目标检测旨在仅有少量带标签的训练集图像的条件下,从查询集新类图像中检测到指定目标。目前小样本目标检测任务大多基于迁移学习模型,将大样本图像元特征信息迁移至小样本图像,实现小样本目标检测,其难点在于充分利用图像中的细节特征信息。注意力机制可以自适应地增强对图像前景目标区域的感知,本文通过引入注意力机制模块解决上述难点,提升小样本目标检测性能。本文分别设计了基于注意力机制和元特征二次重加权的改进
学位
Micro Electromechanical System(MEMS)电磁微镜是近几年来随着MOEMS技术发展而逐渐得到广泛应用的一种微型光学器件,内部集成微小型光学反射镜与微机电驱动器,其基本原理为内部光学反射镜在静电力的作用下发生平动或转动,从而改变输入光的传播方向或相位。MEMS电磁微镜及其门阵列因其优良的特性被广泛用于各种场景,例如光通讯中的光交换,光谱分析仪器,虚拟现实系统中的VR成像
学位
随着科技的发展,多智能体系统因其在工业、军事、航空等领域的广泛应用吸引了很多学者的关注,多智能体系统的编队控制也成为了其中的热点问题。在各类实际系统中,时滞的存在是引起系统不稳定和性能变差的重要原因,时滞系统的稳定性分析和反馈控制一直以来也是自动控制理论研究的热点问题。本文采用一对反应扩散偏微分方程(PDE)描述了三维空间中大规模多智能体系统的集体动力学行为,与常微分方程(ODE)建模的多智能体系
学位
对流可分辨尺度集合预报在强对流天气预报上有着重要的作用。本文利用一种新型局地增长模培育法(Local Breeding Growth Mode,LBGM),对两个飑线个例开展了对流可分辨尺度集合预报试验,检验了LBGM法在飑线天气中的实际预报效果,探讨了不同分辨率下的LBGM扰动的增长特征。随后,考虑到局地范围内格点差异性,提出了高斯权重,并进行集合对比试验。主要结论如下:首先,针对集合平均(En
学位
幼儿园是幼儿接受启蒙教育的重要场所,户外活动区的游戏活动能促进幼儿的思维发展。在户外游戏的过程中,幼儿与周围环境密切接触,与其他的伙伴互动交流,幼儿在开放性的环境中会形成一种新的思维,会尝试不断解决问题。幼师要给幼儿设计开发智力的户外游戏活动,引导幼儿一步一步的实现深度学习。
会议
目的:观察颈椎牵引加颈部康复操训练对颈椎病患者颈椎功能障碍指数量表(NDI)及视觉模拟评分法(VAS)评分的影响。方法:选择2020年6月至2022年6月期间郑州大学第一附属医院收治的104例颈椎病患者展开试验观察,参照双盲法对患者展开规范的分组操作,将其分为例数相同的对照组和观察组。针对对照组纳入的52例患者给予常规颈椎牵引治疗,针对观察组纳入的52例患者,在对照组的基础上进行颈部康复操训练,比
期刊
本文重点开展了基于偏振光/视觉/微惯性的组合导航算法研究,设计了基于全局矢量的自主归位控制方法,并以小型地面机器人为验证平台,实现了在不依赖于卫星导航信号条件下的自主归位。主要研究工作总结如下:(1)构建了基于Turtlebot2地面无人小车的自主导航系统硬件平台。首先将偏振光罗盘、视觉传感器以及微惯性组件(MIMU)进行组合,搭建了自主导航系统硬件平台,为算法实现与验证提供硬件基础;其次,给出了
学位