基于对抗式自适应图卷积的早期人体动作识别研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:cshuangyong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域中,动作识别一直是一个热门的研究问题。之前的动作识别主要基于视频数据,但近几年来随着深度传感器技术的发展,人体骨架数据变得容易获取,基于骨架数据的动作识别也逐渐成为一个重要的研究方向。骨架数据是人体动作的高维表征,其相比于视频数据有着数据量小、不受复杂背景与光照的干扰、鲁棒性强等优势。早期动作识别是动作识别任务的延伸,其不同之处在于早期动作识别需要在动作结束前识别出动作类型,从而能够让系统及时做出反应,缩短延迟时间。早期动作识别在危险预警、智能驾驶、人机协作等领域有着广泛的应用前景。
  本文对近几年的基于骨架的动作识别和早期动作识别的相关工作进行了综述总结,从中可以看出,基于骨架的早期动作识别的相关研究还不充分,因此在本文中针对该问题进行了研究,其中主要内容和创新点如下:(1)提出了对抗式的自适应图卷积早期动作识别网络(Adaptive Graph Convolutional Network with Adversarial Learning,AGCN-AL)。动作的全局信息对于识别动作类型非常重要,但是早期动作识别无法观测到完整的动作执行过程,所以相比于动作识别来说更加困难。本文使用对抗式学习,使同一类型的部分骨架动作序列和完整骨架动作序列的特征在特征空间中尽可能的相近,从而挖掘部分动作序列中潜在的全局信息,提高网络对部分动作序列的识别率。通过在NTU RGB+D数据集和SYSU3DHOI数据集上进行实验,本文方法相比于其他方法表现出了更好地效果。
  (2)为了防止网络对小观测比的部分动作序列过度拟合,提出了时间相关的损失函数。当观测到的动作时长占完整动作时长的比例越小(即观测比越小)时,部分动作序列所包含的信息也就越少,识别难度也就越大。为了加快网络收敛速度,防止过拟合,本文提出了时间相关的损失函数,减小对于小观测比的动作序列分类错误的惩罚。经过实验,相比于标准交叉熵损失函数,时间相关的损失函数效果更好。
  (3)提出了多视角融合和骨架与视频融合等两类方法来进一步提高早期动作识别效果。针对单视角存在的遮挡问题,提出了多种多视角融合方案,显著提高了早期动作识别的准确率。针对骨架数据无法反映必要的物品信息的局限性,提出将骨架数据与视频数据相融合,来补充必要的场景信息。实验结果表明,两种数据融合能够大幅提高早期动作识别的效果。
  
其他文献
近年来,数据流挖掘技术引起了学者们的广泛关注,其通过对大数据进行分析可以发现数据流中隐藏的有效信息,极大地便利生产生活的各个方面。然而科技的飞速发展使得数据流的种类逐渐丰富、内部的结构日益复杂、产生的速度显著提高,这些变化增加了数据流挖掘的复杂度,为原有的数据流挖掘技术带来了不可避免的挑战。因此,提升数据流挖掘的效率,提高有效信息的获取精度具有重要的意义。  作为数据流挖掘的常用方法,滑动窗口可以
近几年来,多旋翼无人机由于其结构构造简单、比较容易操控等优点得到迅速发展。随着无人机在军事和民用领域的大规模应用,其在各行业发展中扮演着越发重要的角色,其中无人机自主飞行技术是其在行业中大规模应用的关键技术之一。复杂场景下无人机的航迹规划技术直接影响着无人机自主执行任务的能力,现有实际无人机自主飞行应用中经常是飞手手动规划航线,其航线方案往往存在耗电量大、效率较低等缺点。本文将针对具体应用背景研究
机器人柔性装配技术对于提高工业产品的生产质量和效率具有十分关键的作用,为装配行业自动化和智能化发展提供技术支撑。在形状不规则、材料多样的复杂零部件装配过程中,多个部件之间配合关系复杂、空间紧凑,接触状态多样,从而导致机器人装配作业过程模型复杂度高,且难以精确建模。因此,如何处理复杂零部件装配过程中的接触多样性、状态不确定性是机器人柔性装配过程中的重要问题。本文面向复杂零部件机器人柔性装配作业需求,
学位
自然界中众多陆生腿足动物因其高度的运动灵活性和崎岖地形适应能力给予人类诸多启发。近几十年来,世界各国研究者持续进行腿足式仿生移动机器人研究,包括仿生结构、运动机理、驱动方式、能量效率、感知技术等多个方面,以期实现非结构化环境下的物资运输、工程作业、野外勘探、救援救灾等任务,弥补轮式和履带式移动方式的不足。目前多足机器人主要有双足、四足、六足等拓扑结构形式,其中四足机器人因其兼具稳定性、灵活性和运动
切换系统可精准地描述工程实际问题中出现的多模态切换及多控制器切换现象,是控制领域关注的热点.在稳定性分析方面已取得了许多奠基性成果.现实世界中的系统都或多或少地存在着非线性特征,因此对非线性切换系统的研究具有重要的理论价值和实际意义.Port-ControlledHamilton(PCH)系统作为一类重要的非线性系统具有广泛的实用性.近30年来在镇定和H∞控制方面,取得了许多突破性进展,然而对于切
基于机器视觉的交通流估计研究一直都是智能交通领域的研究热点,是解决城市交通问题的关键技术之一,具有重要的理论意义和应用价值。面向复杂城市交通环境的交通流估计面临诸多挑战:城市交通场景车辆多而密集,且存在遮挡和小尺寸目标,增加了目标特征提取处理难度;城市交通场景复杂,基于单个目标的时空关联过程复杂耗时且精度较低,难以有效实时地进行交通流估计;基于交通视频的方法仅可输出交通流参数数据,而针对可视化的交
海洋场景感知是无人艇等海上无人装备有效完成各类既定任务的前提,而目标检测是场景感知与理解领域的基础性任务,提升海面目标检测算法的精度对提升无入水面艇的工作能力意义重大。近年来,基于深度学习的目标检测研究取得了突破性进展,在大规模标准库上取得了较好的检测识别效果。但常用的目标检测数据集中海面目标缺乏,导致目标检测模型在海洋场景中的泛化能力较弱。与此同时,由于海洋环境更加复杂多变,高质量海洋目标样本获
目前,腰椎间盘突出症的诊断依靠医生主观判断,诊断结果的准确性会受到医生经验及知识水平的限制和影响。因此,实现腰椎间盘突出症的自动诊断具有重要的意义。本文在阅读大量脊柱疾病诊断技术相关文献的基础上,研究并开发了一套基于深度学习的腰椎间盘突出症自动诊断系统。针对椎间盘退变程度、突出位置及大小,实现了Pfirrmann分级诊断模型和MSU分型诊断模型,并构建了腰椎间盘突出症自动诊断系统为患者及医生提供诊
机器人导航是机器人领域中一项重要的技术,广泛应用于自动驾驶、国防航天、物流配送、巡逻安检等各个领域当中。近年来人工智能技术的发展,尤其是深度学习和计算机视觉等技术的发展为该领域的研究发展带来了新的契机,众多工业和学术界的研究人员针对该领域开展了丰富的研究。  虽然目前该领域已经有了诸多经典的工作,但是一方面系统设计的复杂性,对数据样本的需求以及模型的可解释性一直是不同技术框架中难以平衡的问题。另一
学位
随着人类科技应用和探索自然步伐的进一步深入,对机器人的移动能力也提出了越来越高的要求,要求其能够在复杂的地形环境下自主运动。与轮式或履带式机器人相比,腿足式机器人具有克服障碍和适应复杂地形的能力,可作为多自由度的移动承载平台,在非结构化地形完成移动任务。本文以六足机器人作为研究对象,针对六足机器人在复杂环境下的移动控制问题,研究六足机器人系统的高适应性运动规划算法与控制方法框架,力求实现基座运动与