基于图神经网络的骨架动作识别相关研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:linan9348
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于骨架的人体动作识别受到研究人员的广泛关注。骨架数据能够鲁棒地适应如相机视角变化和背景干扰等动态的环境变化,因此可以帮助识别方法关注更鲁棒的动作特征。目前的先进方法将人体建模为拓扑图,并利用图卷积神经网络(graph Convolution Network,GCN)提取动作特征。但仍存在一些问题:一方面,动作由骨架姿态的时间序列构成,有效的时空特征易隐藏在冗余的关节顶点或帧中,如何让模型关注更重要的时空特征是一个尚未解决的难题;另一方面,一个鲁棒的识别算法应具有能生成精确、动态地反映关节间时空相关性的骨架图嵌入的能力;此外,虽然GCN具有很强的空间模式学习能力,但它忽略了消息传递所捕获的不同程度的高阶依赖关系,从而产生过平滑(over-smoothing)问题。针对上述问题,本文开展了骨架动作识别的相关研究。首先,本工作利用核注意力机制设计了一种时空特征增强器——时空核注意力模块,帮助模型关注更重要的时空特征。并创新地应用相似度函数聚合骨架序列的时空特征,提出了一种更鲁棒的自适应图策略。其次,本工作构建了一种时空核注意力自适应图卷积神经网络(KA-AGCN),并表现出了优异的识别性能。并利用基于多头(multi-head)自注意力的图Transformer算子建模关节点间的高阶空间依赖,以缓解图卷积的过平滑问题。最后,在KA-AGCN的基础上,应用了一种耦合多尺度动作特征的关节-骨骼双流策略,进一步提出了一种双流时序核注意力自适应图Transformer神经网络(KA-AGTN)。在双流策略的帮助下,KA-AGTN在NTU-RGBD 60和NTU-RGBD120数据集上,识别准确率显著提升。在Kinetics-Skeleton 400数据集上,识别准确率达到了国内外最先进(state-of-the-art)的水平。
其他文献
伴随着我国对破产企业救治和清算工作的稳妥推进,破产相关案件的优化审理对市场规范、资源整合的重要影响也愈加凸显。破产和解制度作为破产的三大支柱之一,在对企业救治中发挥着积极作用,但其较之破产重整制度,其运用率仍然较低。探其缘由,一则是在美日等国对传统破产和解制度的深度改革,导致和解制度面临退出历史舞台之尴尬境地。另一则是由于作为替代机制的破产重整制度不断革新和发展,我国破产和解制度在立法上存在缺漏,
学位
新型冠状病毒(SARS-Co V-2)是一种RNA病毒,其Spike蛋白的受体结合域(RBD)与人类ACE2受体结合,从而介导病毒进入细胞。随着新型冠状病毒在全球的持续爆发,出现了大量RBD区域组合突变(相对于野生株)的新毒株。已有研究表明,RBD-ACE2的结合亲和力与新型冠状病毒的侵染能力相关。然而,通过生物试验方式获取突变毒株RBD-ACE2结合亲和力费时费力,且远远落后于突变株序列的积累,
学位
纹理合成是计算机图形学领域的基础研究课题之一,随着多媒体技术的发展,纹理合成也在许多新型领域中得到应用,如游戏建模、电影渲染、虚拟绘制等。基于样本的纹理合成方法要求合成与样本图像尽可能相似的纹理,传统方法在实现这一目标方面取得了显著进展,然而对于复杂的纹理图案,已有的方法由于提取特征能力不足而导致合成结果错误。近年来,深度学习方法被广泛用于图像处理领域,然而,无论是传统的纹理合成方法,还是最近出现
学位
视觉问答任务是一个相对比较新的研究领域,不同于图像分类、目标检测、语义分割等传统视觉任务,视觉问答是将一张图像和关于这张图像的任何形式的问题作为输入,输出一个与问题相关的正确答案。因此视觉问答是一项结合计算机视觉、自然语言处理和多模态特征融合的任务。在医疗领域,自动化辅助系统提供的“第二意见”可以增强临床医生解读复杂医学图像的信心,所以医疗领域的视觉问答技术作为新型数字化智能医疗设备投入临床的应用
学位
视频目标跟踪技术已经应用到了生活的各个方面,如视频监控、自动驾驶、无人机跟踪等。尽管如此,由于各种视频场景的复杂性和不同行业对跟踪的不同要求,目前仍然没有一种能够适应各种复杂场景(如目标遮挡、尺度变化、相似对象干扰等)的目标跟踪算法,尤其是在无人机目标跟踪当中。本文针对相关滤波框架下无人机跟踪算法目前存在的一些问题,从目标函数、模板更新方式、特征提取三个方面进行了改进,主要改进内容如下:(1)在目
学位
随着在线教学逐步发展为高等教育教学的“新常态”,联合国教科文组织也一再强调公平地承认各国学生通过在线学习获得的资历,这为跨境教育的发展和学生流动带来了新的发展路线和突破口。然而,在线教学存在着师生信息素养水平不高、学习自主性差等不容忽视的“质量”问题,为了确保所有人能平等地获得高质量的教育,对于在线教学这种非传统教学模式进行质量保障至关重要。本研究基于亚太地区教育质量保障组织(APQN)的“APQ
学位
近几年硕士生持续扩招政策颁布之下,研究生培养存在量的扩张与质的冲突,从而引发社会公众对研究生教育教研质量的担忧。跨学科硕士研究生作为研究生教育的重要组成部分,他们升学前的经历、学科背景、学习行为和学习需求都具有多元化、与非跨学科硕士生相比具有异质性。因此关注跨学科硕士研究生的成长和发展,既是本研究的主要问题也是影响研究生教育质量的关键。本研究选主要采用了问卷调查法和访谈法,以改编问卷《跨学科硕士研
学位
场景一致性是指场景中的目标与其所处背景之间的一种关系,其主要受场景特征信息和语义信息的共同影响。在现实世界中,场景是指拥有一个或多个目标和背景的综合图像信息,在一致性场景中,目标出现在当前背景是大概率事件,在不一致场景中,目标出现在当前背景中是小概率事件。在目前的相关研究中,动物目标被认为是一种特殊的目标,其在人类的视觉系统中有着特殊的识别机制,从而使得动物目标的识别速度一般快于其他目标的识别速度
学位
卷积神经网络都具有深层的模型深度和数量巨大的参数,这对其在低功耗和硬件资源少的嵌入式设备上应用造成阻碍。FPGA拥有易并行性、高度的灵活性和低能效等特点,降低模型复杂度和参数量将卷积神经网络部署在FPGA上成为近几年研究的热点。本文采用参数量化的方法,提出了一种量化卷积神经网络的方法,将神经网络的参数从浮点精度量化至1-bit等低位宽的定点精度,在向前向后传播时,利用比特卷积核在低位宽的权重、激活
学位
2020年7月,习近平总书记提出要形成以国内大循环为主体、国内国际双循环相互促进的新发展格局,这是党中央立足当前我国经济形势和世界经济发展趋势作出的重大决策部署。总书记强调要坚持扩大内需这个战略基点构建新发展格局,而扩大内需的重点是要扩大居民消费,尤其是农民消费。虽然中央政府出台了一系列政策措施,例如规定粮食的最低收购价、增加转移支付和财产收入来扩大农民消费,但这些政策大多偏离了满足农民消费需求来
学位