基于图卷积网络和目标检测的人体动作识别研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:aqgcsw2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会信息化水平的持续提升,人体动作识别技术在智能安防、人机交互以及体育分析等领域得到了广泛的应用,对于预防安全事故和维护社会稳定具有重要作用。其中,基于图卷积网络的骨架动作识别方法因其强大的时空特征提取能力以及人体骨架数据对动作的强表达力,成为了动作识别领域的主流方法。然而在实际应用中,动作识别往往因为人体运动的复杂性和多变性而难以完全达到具体场景的应用要求,要精确地分辨人体动作类别仍存在很大的挑战性。本文围绕着现存的人体动作识别技术中存在的一些问题,在时空图卷积网络(Spatial Temporal Graph Convolutional Networks,ST-GCN)的基础上改进其网络结构并引入目标检测机制,具体研究内容分为以下三个部分:(1)针对ST-GCN网络忽视人体非物理连接关节点间的关联性以及未能充分利用人体高阶骨架信息的问题,本文改进了空间图卷积层的计算模型,通过多项式拓展关节点的邻域,以扩大图卷积的感受野,聚集更多的特征信息。与此同时,根据关节点的坐标,拓展出骨骼信息及关节点时间差信息,并进一步拓展出骨骼时间差信息。将这些骨架高阶信息分别输入到网络中,通过多流结构融合的方法进行动作识别。在KTH数据集和Kinetics数据集上的实验表明,与ST-GCN相比,本文提出的多流信息增强图卷积网络模型动作识别精度显著提高。(2)针对基于图卷积网络的人体动作识别方法仅使用人体骨架数据,丢失物体语义信息,造成无法有效区分骨架姿态相似动作(如打手机和摸头)的问题,本文在人体动作识别任务中引入目标检测机制。改进YOLOv5损失函数,并将其用于提取图像中的物体语义信息。研究结果表明,改进后的YOLOv5网络对于手机的小目标识别具有良好的检测效果,可满足动作识别任务中对物体语义信息获取的实时性和准确性要求。(3)在上述研究的基础上,本文进一步提出了一种基于图卷积网络和目标检测的打手机动作识别方法。首先,采用OpenPose算法提取骨架的关节点坐标值并对缺失值进行填充,并使用多流图卷积网络识别人员的初始动作类别;其次,使用改进后YOLOv5网络对手机物体进行目标检测;然后,判断人与手机的交互关系;最后,通过决策融合输出动作识别结果。构建打手机动作数据集对所提方法进行验证,研究结果表明,与仅基于图卷积网络的动作识别方法相比,本文所提策略可以对骨架姿态相似的动作进行有效区分,大幅度提升打手机此类人物交互动作的识别准确率。
其他文献
海外陪同口译特点为翻译形式多样、任务时间长、涉及领域广、突发情况多。此外,译员通常要承担对接协调等翻译外工作,这对译员翻译技能、心理素质等都提出了较高要求。本实践报告基于作者陪同A市代表团访问位于英国爱丁堡的职业医学研究所的口译实践,介绍了口译过程中遇到的困难,并在关联理论框架下,从认知语境、明示—推理模式、最佳关联三个层面,分析了作者如何运用单一或多种口译策略,应对口译中遇到的挑战,保证双方达成
学位
本文是基于笔者参与翻译的《中华纸业》期刊造纸行业科普与研究类文本写成的翻译实践报告。在本报告中,笔者结合具体案例探讨了系统功能语言学语域理论对造纸行业文本翻译的指导作用。《中华纸业》期刊是中国造纸协会会刊,是面向全国发行的造纸行业中文科技期刊。为了让更多读者了解现代造纸行业的新成果、新理念,《中华纸业》应中国造纸协会的要求,特别设置了科普与研究类专栏。在此过程中,笔者为该期刊翻译了大量摘录自国外英
学位
约翰·班扬的《天路历程》是英国文学史中一部重要的宗教文学著作。晚清时期,许多在华新教传教士选择译介此书来帮助他们在中国展开传教活动,因而在该时期产生了众多《天路历程》的汉译本。近来,一些学者已经逐步开始对相关晚清译本展开研究,但是晚清在华英国新教传教士胡德迈(T.H.Hudson;1800-1876)的译本却未得到相应的重视。当前学界对胡德迈译本的研究仍较零碎片面。原因可能在于该版本较稀有;相较于
学位
在各国不断深化合作的过程中,国家间文化交流日益密切。它帮助人们认识世界、提升自我。留学是国际文化交流的重要形式之一,为大众进一步深造提供了更多的空间与可能性。随着改革开放的不断深入,中国人的留学选择也更加多样。笔者为中国留学生攻读海外硕士提供课堂口译服务,并在此基础上撰写了实践报告。笔者于2021年4月至6月参加了菲律宾泛太平洋大学体育学硕士课程英汉及汉英口译实践。共有三位中国学生修读这门课程,由
学位
研究背景:目前应用于临床的生育力保存手段主要包括:卵子冷冻保存、精子冷冻保存、胚胎冷冻保存、睾丸组织冷冻保存以及卵巢组织冷冻保存等,其中配子冷冻保存(卵子、精子)和胚胎冷冻保存是辅助生殖技术(assistant reproductive technology,ART)治疗过程中最常用技术之一。国际首例冻融精子、胚胎和卵子妊娠的婴儿分别出生于1983年、1984年和1986年。自此,生育力保存技术在
学位
采用扩散焊接方法制备TC4钛合金多型腔结构件,将钛合金低密度、高比强度等优异的综合性能与多型腔结构件的轻量化设计两者优势相结合,可同时满足航空航天、汽车制造等行业对轻量化和高性能的要求。但是,扩散焊接过程产生的焊接变形与接头强度之间的矛盾不利于多型腔结构件的精确制造。为了解决焊接变形与强度之间的矛盾,实现多型腔结构的精确制造,本文根据航空发动机进气机匣内环结构特点,简化设计了TC4钛合金多型腔结构
学位
在《区域全面经济伙伴关系协定》(RCEP)签署的背景下,“中国(山东)—东盟中小企业合作发展大会”于2021年5月在山东省济南市召开。此次会议旨在通过一系列活动进一步推动中国(山东)与东盟国家的交流与合作,促进双方中小企业的共同发展。受新冠疫情影响,大会采取了线上线下相结合的方式。作为会议口译员,笔者参加了大会的一场线上商务会议。本报告即以此次口译实践为基础。传统口译要求译员在翻译过程中保持“隐身
学位
近年来,教育部为增强教学吸引力,激发学习者学习积极性和自主性,扩大优质教育资源受益面,大力推进和加快建设适合我国国情的新型在线开放课程和学习平台。国内外相关研究表明,越来越多的学者将学习投入与虚拟现实、移动设备、慕课或混合式教学模式相结合,探究二者之间的关系。然而,学习投入还没有应用到在线英语口译教学中。本文以学习投入为视角,调查并分析高校学生英语口译在线学习中存在的问题并加以解决。学生是教师教学
学位
研究背景男性因素不育是不孕症的主要原因之一,约占不孕患者的40%。当男性因为少弱畸形精子或勃起功能障碍等因素导致生育力下降时,可以采用夫精辅助生殖技术(Assisted reproductive technology-husband,ART-H)进行助孕治疗。但当男性患有不可逆无精子症、严重少精子症、弱精子症、畸形精子症和患有严重的遗传性疾病时,使用自身精子无法实现临床妊娠或者会导致后代患有严重的
学位
进入21世纪后,我国人口老龄化、高龄化现象越来越严重,养老压力越来越大,养老问题已成为全社会难题之一。地处鲁西南地区的泰安市E县也不例外。近年来,泰安市E县人口老龄化也愈发严重,老年人口数量急剧增长,“未富先老”现象显著,同时由于经济不发达,就业机会少,大批青壮年劳动力纷纷外出务工并定居,人口的大量流出,造成空巢、独居、留守、高龄、失能等老人数量不断增长。在指望子女养老愈发困难的情况下,老年人开始
学位