基于图卷积的人体动作识别研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:fuji2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体动作识别的目标是通过视频分析和特征提取帮助计算机实现对视频中动作的识别,在安防监控、医疗检测、人机交互等领域都有丰富的应用场景和较高的应用价值。与基于RGB图像的方法相比,基于骨架的动作识别因其对光照、遮挡、视角、尺度等环境因素具有较高的鲁棒性,更适用于实际场景的应用。图卷积网络因其能保留和提取非欧式数据中的空间信息,在基于骨架的动作识别上取得了突出的性能。本文结合图卷积和深度学习中的时序建模方法,从特征融合、关键特征提取、时序建模等不同角度出发进行网络设计,从而提取更高判别性的鲁棒特征。具体工作总结如下:(1)提出了一种多尺度多流改进图卷积网络,可有效融合运动中的高阶特征和网络不同层次中的多尺度信息。在该网络每个时空卷积模块中,采用自适应图卷积与多核并行的时间卷积增强时空特征,并通过注意力机制强调运动中的关键点、关键帧和关键特征。在动作识别中首次引入了多尺度结构,以获得多层次信息。堆叠的时空卷积模块和多尺度结构组成了我们的单流模型。此外,我们构建了五个输入特征,包括关节、骨骼、关节运动、骨骼运动和骨骼余弦距离,分别输入到单流模型中。最终由多个模型结果的互补融合得到网络的预测。(2)提出了一种基于图卷积的门控循环单元网络,可有效获取高判别性的时间动态特征和空间结构特征,同时也能有效学习运动中时间维度和空间维度的共现特征。整体网络通过时间注意力池化和多层门控循环单元的堆叠增加网络感受野,从而获得深层次的语义信息。此外,采用注意力机制强调运动中的关键节点和关键帧。最终由最后一层循环单元的输出和时间末的隐藏状态共同预测动作类别。为验证本研究中提出的模型,我们在三个大型公开的骨架动作识别数据集进行了大量实验,并与其他先进模型进行了对比。实验表明,我们提出的模型能够达到当前领域的先进性能。
其他文献
深度神经网络广泛应用于自然语言处理、计算机视觉和语音识别等领域。随着深度神经网络的模型结构日趋复杂、参数量以及训练数据不断增加,传统的单机式训练方法已不能满足实际应用的需求。为实现深度神经网络的训练加速,分布式并行训练成为研究热点。分布式训练通过多计算节点间梯度参数的通信聚合实现模型更新。但是,频繁且大量的数据通信降低了训练速度,同时增大了数据传输带宽压力,导致平台扩展能力低和成本高等问题。尤其是
学位
自然界中存在着大量的生物序列。这些生物序列往往有着某些功能,对生物序列功能性研究一直是生物信息领域的热点。这里我们依据蛋白质氨基酸序列研究膜蛋白多分类,以及根据RNA/DNA序列研究亚细胞定位。膜蛋白具有多种对器官存活至关重要的生物功能,如氧化还原酶、转移酶或水解酶。如果能检测到膜蛋白的特定类型,就能快速确定蛋白的生物功能。现有的计算方法不仅利用了氨基酸疏水性指数的自相关函数,而且考虑了一级蛋白序
学位
微光CMOS图像传感器具有低成本、低功耗、易于集成的优点,有着广阔的应用前景。对微光像素内的传输栅进行高压、负压调节,可以有效改善微光成像质量。要产生这种高压、负压偏置,需在芯片内部集成像素专用的电荷泵系统。本文对应用于微光CMOS图像传感器的电荷泵系统进行研究,分析了该应用的指标要求,并完成了相应的电路设计与仿真验证。本文首先分析了电荷泵系统的非理想效应对微光像素的影响,提出关键设计指标:输出纹
学位
报纸
低剂量双能计算机断层扫描(Dual-energy Computed Tomography,DECT)技术能够在提供人体内部结构与组织成分信息的同时,降低X射线辐射所引发的患癌风险。物质分解作为DECT图像重建的关键环节,其准确性直接决定了诊断图像中组织形态与化学成分信息的可靠性。然而,降低剂量会导致DECT重建图像包含大量的噪声及伪影,从而造成物质分解准确性下降。为提高低剂量DECT图像物质分解准
学位
基于非线性准零刚度理论进行了水平双向隔震装置设计,开展了安装非线性隔震装置的特高压变压器缩尺模型的地震模拟振动台试验研究。在加速度峰值为0.4 g、0.8 g、1.2 g和1.6 g试验中,采用隔震装置隔震后,作用于特高压变压器模型底部的地震波加速度峰值减小了61.53%~90.00%,隔震后地震波的频谱响应曲线得到降低,特别是在地震动能量大的低频范围内降低幅度显著;在加速度峰值为0.4 g和0.
期刊
火灾是日常生活中主要灾害之一,严重威胁着人们的生命与财产安全,因此及时准确地发现火灾并预警具有十分重要的研究意义。传统的图像型火灾检测方法大都是基于对火焰浅层特征的提取,鲁棒性较差,很难适应于复杂环境下的火灾检测。近些年,随着深度学习技术的不断发展,利用卷积神经网络进行图像型火灾检测渐渐成为研究热点。但是,现有的基于深度学习的火灾检测方法存在着模型复杂、大量使用锚框、难以满足高检测率和高实时性检测
学位
<正>毒蘑菇中毒是湖南省主要的食源性疾病致病和致死因子,每年发生上百起中毒事件,给广大群众的身体健康和生命安全带来严重威胁。湖南省野生食用菌种类多、分布广,据统计,全省较为常见且易被误食引发中毒的毒蘑菇有20余种,不同种类的毒蘑菇含有多种不同毒素,可导致不同中毒症状,其中部分剧毒者可引发肝、肾损害以及横纹肌溶解和溶血等症状,可危及生命,需要对症进行不同的治疗。因此,发生中毒后的早期准确识别、及时诊
期刊
排汽室的性能对离心压缩机经济性影响很大,目前离心压缩机普遍使用切向排汽蜗壳,其排汽蜗壳流场稳定,气动性能较好。排汽蜗壳设计时不仅需要考虑气动性能如总压损失系数、静压恢复系数的高低,同时需要考虑结构紧凑性。本文针对某单级离心压缩机,给出了切向排汽蜗壳设计原理,使用大型3D数值分析软件CFX,对比分析了4种不同结构的排汽蜗壳,得出蜗壳外径一定的条件下,并不是无叶扩压器越长性能越好;无叶扩压器与排汽蜗壳
期刊
为提高气体传感器检测数据分类的准确度,提出一种随机森林算法,利用传感器响应输出电压和响应时间构建模型的特征向量,实验研究二氧化碳气体体积分数的分类,分析决策树数量对模型分类准确度的影响,验证模型分类的有效性。结果表明,与传统分类方法相比,随机森林算法模型的准确度能够达到94.6%,提高了分类准确度和计算效率。该研究为气体传感器数据分析提供了参考。
期刊