基于3D骨骼点的人体动作识别研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:glc12123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着万物互联时代的来临,基于计算机视觉的人体动作识别研究已经成为当今一个重要的研究课题。传统的动作识别模型多数利用图像RGB数据、深度数据作为数据特征识别动作,但这些类型的数据通常含有大量外部噪音,使得模型的鲁棒性较差。近年来,应用图卷积网络对图结构数据进行分析的方法为计算机视觉领域提供了新的研究方向,而使用图卷积网络对人体3D骨骼点这一典型图结构数据进行建模和分析也成为了人体动作识别研究的新热点之一。本文针对基于时空图卷积网络(ST-GCN)模型的人体3D骨骼点动作识别方法展开研究,利用图卷积网络中的邻接矩阵获取人体相邻骨骼点之间的关系,并引入注意力机制对时空通道间以及帧间的权重关系进行自适应分配,提出对ST-GCN模型进行一系列改进方法。主要研究内容如下:第一,提出一种时空多残差图卷积神经网络模型,实现对人体骨骼时空图局部和全局信息的充分利用。针对ST-GCN模型对于相似动作区分不准确的问题,在对人体骨骼时空图结构中图子集的分区基础上,本文设计一种残差网络模型来学习人体非相邻骨骼点之间的特征信息,使骨骼点特征信息的利用更加全面。在人体骨骼时空图的空间域卷积中,模型并行学习两个特征分支,一个特征分支学习经过图子集划分的相邻骨骼点数据(局部特征),另一个特征分支利用残差网络学习未图子集经划分的非相邻骨骼点数据(全局特征),并利用残差网络中短连接的连接思想融合两分支中的局部特征和全局特征,提高模型的表达能力。在NTU-RGB+D、Kinetics数据集上进行对比实验,实验测试结果表明所提出的时空多残差图卷积神经网络模型性能优于传统骨骼点动作识别模型。第二,提出一种基于注意力机制的时空多残差图卷积神经网络模型,实现对重要特征的更有效提取和利用。该模型借鉴传统卷积神经网络(CNN)中通道注意力机制模型SENet的方法思想,将时空图卷积神经网络输入骨骼点特征图中最后三个维度(C,V,T)与图像特征中的三个维度(C,H,W)相对应,通过引入通道注意力模块和帧注意力模块的方式,压缩汇聚人体骨骼特征信息,重新对通道间和帧间的权重关系自适应分配,使模型有选择地强调有用特征,抑制无用特征。最终在NTU-RGB+D和Kinetics数据集上的测试结果表明了该模型的有效性。
其他文献
本文基于凯恩斯货币需求理论,在弗里德曼的货币需求函数基础上,构建流通现金需求的计量函数模型,以2010年至2021年的季度数据,对电子货币规模和支付便利性影响流通现金进行实证分析。本文的研究表明:电子货币对流通现金具有长期替代作用,且支付便利性对于流通现金具有周期性的替代和促进作用。
期刊
学位
科技创新是推动我国社会经济增长的第一推动力。金融资产配置和创新投资是我国制造业企业的两项重要的经营活动,关系到企业的长久稳定发展。但是,一方面近几年金融行业利润率高企而实体企业利润率逐年降低,出于资本趋利动机,一些实体企业加大了金融资产配置,并降低了创新投资。另一方面,全球宏观经济波动的加剧,中美竞争不断升级,为了调节经济增长,政府频繁出台产业、货币、财政等政策,经济政策不确定性大幅提高。为了应对
学位
财政部公布的2018年末全国地方政府债务余额为18.39万亿元,这部分可以认为是显性债务,但由于存在隐性债务,实际债务总量难以精确计量。地方举债是一把“双刃剑”:一则,地方政府的合理举债可以缓解地方财政赤字,聚集社会资金建设当地的基础设施,提高人民的生活水平,有利于促进经济增长;二则,过度的政府举债可能会反向拉升税收压力,抑制私人投资欲望,后续的兑付压力和无法及时承兑的风险会逐步攀升,最终影响地方
学位
“技术决定论”的传统强调媒介技术对社会的绝对影响力,忽略了人在技术采纳和使用中的能动性。本文从技术驯化论的视角出发,考察随迁老人在微信趣缘群中的互动模式,探寻这一使用方式嵌入到随迁老人日常生活脉络的机制。通过对W社区书法班微信群的线上观察和社会网络分析,以及对21位随迁老人的线下访谈,本研究发现趣缘群内的互动呈现为一种松散、稀疏的网络,具有广播式发言、符号化和仪式化三项特征;这一互动模式源于随迁老
学位
伴随着我国现代化建设的不断加快,人们越发的对居住环境和自然环境重视起来,因此未来实现可持续的战略发展,就要通过国土绿化的工作开展方式,营造出一个良好的社会发展环境。在该文的分析中,主要阐述当下乳源县国土的绿化推进以及实践的途径,以此为相关领域的工作人员提供一定的技术参考,全面推动该区域的建设和绿化环保工作,提升建设的整体力度。
期刊
学位
近年来,我国经济进入高速发展的快车道,但是高速发展的背后是沉重的环境代价,因此国家已将环境问题提升到了战略高度,动员社会各界加入环境保护的行列。2007年我国政府明确表示金融机构需要与环保部门合作,共同承担起改善环境的社会责任,因此对我国金融发展与环境污染之间的关系进行探讨具有十分重要的意义。本文通过对前人文献进行梳理,发现目前国内外对于金融发展与环境污染之间的关系尚未达成共识,在此基础上,本文从
学位
随着全球化时代的到来,各国间的文化传播交流活动愈发频繁。在我国,外来文化产品如韩综、美剧、日漫一直广受欢迎。在享受海外文化盛宴的同时,我们也需要推动本国文化产品走出去。“讲好中国故事,传播中国好声音”是习近平总书记提出的新时代使命,要想用故事向世界展现一个真实、立体、全面的中国,重点是要把“我们想讲的和国外受众想听的结合起来”。中国政府一向重视对美国民众的宣传工作,也曾多次在纽约时代广场播放国家形
学位
社交媒体在当下年轻人的生活中扮演着重要的角色,它不仅是沟通交流的主要渠道,也是年轻人表达自我的重要场域。在浪漫关系中,除关系双方需要不断交流沟通外,公开的关系状态展示也在浪漫关系建立和维持过程中越来越普遍。年轻人在技术赋能下愈加敢于“秀恩爱”,这种现象既是技术进步的结果,也是思想开放的必然现象。然而,技术进步不仅创造了表达空间,也带来了隐私风险。在浪漫关系中,如何平衡表露与隐私的关系,成为本研究关
学位