基于人体骨骼关节点的三维动作识别算法研究

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:waxizhaojing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
早期的动作识别主要处理的是RGB视频序列数据,随着传感器相关技术的发展,深度相机的出现,使得主体的三维空间信息可以记录在数据中,即可以获取到三维人体骨骼关节点;相比于RGB视频序列,骨骼序列数据可以有效的规避背景、光照等干扰信息的优势,其数据维度远小于RGB视频序列,因此更便于进行人体动作的识别。然而,由于同一动作存在个体差异,相似动作不易区分等问题,本文将以人体骨骼数据为基础进行动作识别研究。近些年,基于深度学习的方法中,由于图卷积的方法可以有效的利用到人体的拓扑结构信息,得到较好的性能结果,但是,如何全面的表征一段骨骼序列、如何提高网络对于时间维度信息变化的鲁棒性、以及如何有效利用不同空间尺度特征的相关性等方面尚待进一步研究。所以,本文是以图卷积模型为基础,从骨骼数据运动表征、时间维度信息多变性以及不同空间尺度骨骼关节点特征相关性三个方面进行研究。本文的主要研究工作和特色如下:(1)依据人体在执行动作过程中的运动规律,构建骨骼关节点的速度信息特征、加速度信息特征与骨节向量特征,再将其进行有效的融合,从而更全面的表征骨骼序列;(2)针对动作特征在时间维度的多变性,利用不同参数的一维空洞卷积,构建了多时间特征提取模块,提取到的丰富的时间维度关节点特征,提高模型对于时间维度特征变化的鲁棒性;(3)通过本文构建的语义引导的多尺度空间特征提取网络模型,有效的利用了不同空间尺度特征之间的互补性;并且考虑到先验信息对于网络模型的重要性,结合不同尺度关节点语义信息的区别,利用不同的编码方式将关节点的语义信息嵌入网络学习中,增加关节点特征信息丰富度,从而进一步提高网络的识别准确率。最后,本文通过在NTURGB+D数据集与主流方法对比与消融实验,充分验证了本文方法的性能指标具有一定的优势,交叉视角和交叉人物两个指标在NTURGB+D数据集分别达到96.1%和90.5%的准确率。
其他文献
视觉跟踪作为计算机视觉领域重要的重要研究问题之一,被广泛的应用于智能交通、城市监控、军事战场、自动驾驶、无人机和人机交互等领域中。尽管该领域已经取得了巨大的成就,但是由于跟踪的场景繁多,环境复杂多变,目前为止仍没有合适的方案可以覆盖跟踪问题的所有场景,因此目标跟踪仍被认为是一个极具挑战性的任务。得益于大量数据离线训练与互相关相似度计算,基于孪生网络结构的跟踪算法具有较高的实时性,并在各主流测试数据
学位
铁路系统作为国家交通运输的基础性产业之一,对我国的战略发展有着重要支撑作用。随着列车的长期运行,轨道线路在轮轨力的作用下损伤日益严重,对列车运行的安全性及舒适性产生直接的影响,所以实现对轨道状态的及时检测是一项至关重要的任务。而目前综合轨检车存在高成本、检测周期长的问题,导致检测间隔期内的轨道不平顺维修不及时,从而严重威胁车辆运行安全,因此本文提出利用在役列车运行条件实现轨道状况的快速检测具有重要
学位
近年来,海洋对于人类发展所起到的作用愈发明显,想要对海洋所蕴藏的能源进行更好的开发利用,就要对水下环境与海底信息进行探测与分析。图像是信息的重要载体,水下图像在水下目标检测以及水下机器人等领域中更是起到了基石的作用,然而由于水下悬浮杂质、水体吸收以及水体湍流等因素的存在,水下图像降质严重,对后续的工作影响极大,所以对水下图像进行复原就显得格外重要。本文以解决水下图像的降质问题为目标,针对不同的降质
学位
近年来,在信息化、智能化、绿色化为发展主旋律的时代背景下,半导体集成电路、太阳能光伏发电等高科技技术得到了极大的发展,作为产业链上游的半导体硅单晶材料已成为不可替代的重要基础性材料。同时,随着芯片集成度的不断提高,芯片面积的不断增大,为半导体硅单晶的制造工艺带来了前所未有的挑战。这一挑战主要体现在直拉半导体硅单晶生长过程控制能否满足新工艺要求。面对高温、密闭和真空等硅单晶生长环境,单晶炉的稳定、高
学位
在复杂工业过程中,随着对过程安全、产品质量以及生产效率等要求不断的提高,需要对关键过程变量进行实时的检测和控制。但由于环境的限制或者硬件设备成本高昂,使得这些过程变量无法用仪表或者传感器直接测量。软测量是一种可以使用易测过程变量对难以测量的过程变量进行有效估计的技术,因此一直是复杂工业系统建模与控制领域的研究热点之一。为了进一步提高软测量模型的预测精度和防止离线模型随着系统运行工况的变化出现性能退
学位
随着风力发电大规模的并网,电网频率的控制受到了一定的影响,对电力系统运营的安全性和平稳运行造成了严峻的挑战。因此,研究风力发电参与电网频率调节具有重要的意义,本文围绕风电场参与电网频率调节的控制策略,主要展开了以下4个方面的研究。(1)研究了直驱永磁同步风力发电机组(Directly-driven Wind Turbine With Permanent Magnet Synchronous Gen
学位
随着电力轨道交通运输业的发展,高速列车在运行过程中的安全问题越来越受国家的重视。受电弓与接触线共同构成的弓网系统作为电力机车获取电能的唯一途径而变得尤为重要。但由于一直以来在列车行驶过程中弓网燃弧现象频繁发生,导致弓网系统中的受电弓碳滑板与接触线受到严重损害,影响弓网系统受流质量,严重时还会损害列车的正常运行。本文针对弓网系统中频繁出现的弓网燃弧现象,研发出一套非接触式弓网燃弧检测系统,实现了对弓
学位
感应加热是利用电磁感应定律,通过非接触式的加热方式将电能转化为热能。相对于传统加热,具有清洁、无污染、便捷、相对安全等特点,目前在熔炼、淬火等领域已成为常见的加热方式。感应加热由于存在集肤效应、邻近效应、圆环效应,类似于齿轮、工字型轨道等不规则的金属材料工件,使用单一频率对其加热会使工件的尖端和底部温差较大,造成整体淬火硬度差,达不到工艺要求,因此多使用双频感应加热技术来解决此类问题。用于不规则导
学位
脉冲电流源作为一种材料表面加工的专用电源被广泛应用。脉冲电流源前级直流变换器时常因为未能及时响应具有周期性脉冲变化特性的脉冲负载,导致输出电流波动大、失去稳定性并可能出现安全隐患等问题,因此,提高脉冲电流源前级直流变换器对脉冲负载的响应速度是脉冲电流源安全和高效运行中亟需解决的问题之一,对提升现有脉冲电源抗干扰性、降低脉冲电源运行能耗具有重要意义。论文以移相全桥(Phase-shifted Ful
学位
近年来,随着计算机科学和无人机技术的进步,固定翼无人机凭借飞行速度快、航程距离远、巡航面积大的特点,在边境巡逻、战术侦察、灾情监视等领域发挥着重要作用,对于无人机的飞行过程,姿态解算是整个飞控系统中不可或缺的重要一步。针对Mahony互补滤波和Madgwick梯度下降法各自使用时准确度低、稳定性差的问题,本文在扩展卡尔曼滤波的基础上,对融合了 Mahony互补滤波和动态梯度下降法后解算姿态角的精度
学位