基于人体关键点的人体行为识别

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wwb316
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体行为识别主要应用于视频监控、人机交互、运动分析和虚拟现实等计算机视觉领域的众多场合中,该任务一直是学术界和工业界研究的热点之一。近年来,随着图卷积技术的发展,图卷积成功的应用到社交网络、交通网络、蛋白质分子结构等非欧几里德结构数据的特征提取任务中,这也标志着利用图卷积提取由人体关键点按照自然语义连接而成的人体骨骼的空间特征成为可能。同时循环神经网络在自然语言处理、视频分类等任务中都取得了突破性的进展,也证实了循环神经网络在提取时序特征上具有较大的研究价值。本文以图卷积和循环神经网络为基础,主要工作分为以下两个部分:一、结合图卷积与门控循环单元设计了一个全新的循环网络单元,使得空间特征和时序特征的提取在循环单元中交替互相促进,进一步提升了识别精度。二、设计蒸馏实验,在简单模型的训练中加入识别率较高的复杂模型中的“知识”作为先验来提升简单模型的准确率,运算速度较快的小模型上获得较高的识别精度。为了能够方便特征的提取,本文设计了特征映射结构,将关键点特征映射到高维空间以方便表达时空特征。设计了视角自适应结构,使得网络能够自适应的针对不同视角的关键点将其通过平移和旋转到一个相似的视角,以此来提高网络在视角上的鲁棒性。使用注意力机制是行为识别任务的通常选择,本文设计了作用范围各不相同的三种注意力机制,其分别作用于数据中的每一个元素、每一个关键点以及图卷积中的邻接矩阵中的元素,最终进一步提升了模型的识别精度。最后本文通过实验验证了上述结构的有效性同时找到了较优的参数设置以及注意力机制组合。在实际部署中,行为识别任务最好能够与视频拍摄实时进行。本文提出的网络在获得最大识别精度的情况下难以达到实时,为了在削减网络复杂程度的同时保持较高的识别精度,本文设计了蒸馏实验,在对比实验中找到了较优的蒸馏参数。
其他文献
插画的发展经历很久的历史,看似极其平凡的插画其实孕育着不平凡的内涵,从世界最古老的洞穴壁画到中国古老的图画艺术都深刻显示出插画的魅力。商业插画课程是现代艺术设计中
随着计算机技术的发展,在工业设计领域展开更为广泛的应用。计算机技术在工业设计中的应用主要涉及两大方面:网络的工业设计信息系统平台和计算机辅助工业设计。工业设计要学
探讨呼吸道合胞病毒(RSV)感染小鼠模型肺组织高迁移率族蛋白B1(HMGB1)的表达和释放。方法18只Balb/C小鼠,随机分成3组,分别为磷酸盐缓冲液(PBS)对照组、RSV组、RSV+利巴韦林
本文介绍了如何采用GPS模块、单片机、液晶显示屏设计一款可以实时显示当前日期、时间和所在位置的纬度、经度等信息的系统,经过测试,此设计可以完成预期的功能,实现了简易GP
目的探讨过氧化氢(H2O2)对人支气管上皮细胞(HBE)VEGF表达的影响及可能的分子调控机制。方法四唑盐(MTT)比色法检测不同H2O2浓度对正常人支气管上皮细胞株HBE135-E6E7活力的
叙述了用溶液聚合合成苯乙烯─马来酐共聚物,然后用SO3直接磺化制取磺化苯乙烯─马来酐共聚物的方法。研究了两反应的一些规律,选择了最佳工艺条件。还研究了磷化苯乙烯─马来酐共
<正>目前,我国在船舶安全管理方面存在很多问题。最主要的是船员安全管理意识不强,没有意识到安全管理的重要性。船员缺乏必要的培训和培养船员安全管理意识,语言能力不强,船
目的构建针对肝癌衍生生长因子(HDGF)基因的siRNA表达载体,建立稳定干扰HDGF基因表达的肺腺癌细胞株,检测干扰效率。方法实时荧光定量PCR比较肺腺癌细胞株SPC-A-1、10例肺腺
本文从传统文化视角,对幼儿大班水墨画欣赏教学的意义简析,在欣赏名家作品,欣赏创作技巧以及加强互动等相关方面,详细分析和阐述大班水墨画欣赏中教师指导策略。
在我国选矿行业中,球磨分级过程是一个重要的生产环节,直接影响到选矿的各项经济技术指标高低和经济效益的好坏,对磨矿分级实施自动控制可以稳定分级溢流粒度,满足选矿工艺,