基于图卷积神经网络的人体行为识别技术研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:libin101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为图像和视频中的主要表现对象,研究让机器自动从图像和视频中识别人体的动作行为,具有非常重要的研究价值,也一直计算机视觉研究领域的热点问题。人体行为识别研究在视频监控、医疗保健、智能家居和人机交互等方面具有广泛的应用前景。人体的动作表现,主要是由骨架和关节点间相互牵引协作共同完成,因此人的骨架关节图中包含丰富的动作特征信息,并且骨架信息对尺度、光照和视角等变化具有很强的鲁棒性。在视频流任务中,时序维度较高,时序骨架特征与空间骨架特征的建模方法一直不成熟,模型计算量大与识别精度不高。本文针对以上问题展开深入研究,提出两种图神经网络模型,一种是在时空图卷积神经网络中引入空洞卷积与空间金字塔池化模块,另一种是融合图卷积神经网络和长短期记忆神经网络的双流网络方法2S-LSGCN,本文的主要工作如下:(1)总结并分析基于深度学习的人体行为识别方法,以及基于骨架关节点的人体行为识别的常用方法和数据集,并对之进行一定的归类处理。并针对视频流中骨架关节点的获取与骨架关节图的构建,进行归纳介绍。(2)提出了一种简单轻量级的模型,可有效解决动作关节图中时间特征不足、识别准确率不足的问题。首先,本文模型在时空图卷积神经网络的基础上,引入空洞卷积,以替换传统模型中普通的时间卷积核,使用带孔卷积提取时序特征来进行行为识别,以提取更大帧间范围的时序特征。其次,简单动作的视频中时间较短,缺少足够的时序特征,使得识别准确率较低。由于金字塔池化具有不同采样率和多重视野,能够以多尺度捕捉对象的空间特征与时间特征,本模型引入空间金字塔池化模块,以此弥补时序特征不足的问题,进而提升了模型的识别精度。(3)提出一种融合图卷积神经网络和长短期记忆神经网络的双流网络方法2S-LSGCN。该方法从人体关节点组成的骨架关节图中,提取动作的空间与时间特征。并利用GCN提取骨架关节点间潜在的空间信息,利用LSTM提取人体动作前后之间的时间序列特征作为补充,最后分别将两个网络的预测输出进行晚融合,解决了单个网络泛化能力不足的问题,以此解决复杂动作中空间复杂性和时间复杂性问题。
其他文献
物联网技术(IoT)是信息科技产业的第三次革命,通过把信息传感装置与互联网连接起来,实现设备的“高效、节能、安全、环保”智能化识别和管理,是制造业实现产业升级的必然途径。胀断机床是连杆胀断工艺的关键设备,论文针对广东工业大学研制的汽车连杆胀断机床,设计了一套基于物联网技术的远程监控系统,用于实时采集胀断机床液压系统的压力与温度数据,并将其上传至网络监控平台,实现对液压监控系统的远程监控与分析,实时
伸缩臂叉车是一种具有承载、运输、越野等功能的工程车辆,常用于农场、码头口岸、厂区等场所。伸缩臂叉车因结构复杂,参数配置不合理等原因,容易在行驶工况中产生共振问题,若发生共振,其部件加速度则会放大10-20倍,峰值加速度达到1500mm/s,将会严重损害到叉车的使用年限且容易造成操作人员驾驶疲劳,因此如何抑制伸缩臂叉车的共振一直以来都是企业优先考虑的问题。本论文依托某重工企业项目,研究了某型号复杂工
钛及钛合金材料具有比强度高、疲劳强度高和生物相容性好等性能优势,已经广泛地应用在航空航天、军事和医疗等领域。相比传统的制造技术,金属增材制造(3D打印)技术可以成形结构复杂且性能优异的零件。TC4合金粉末是目前主流的金属增材制造技术原材料,粉末的性能对成形件的缺陷和性能均会产生影响,为保证增材制造钛合金成形件的质量,TC4合金粉末需要满足球形度高、形貌好和粒径小等特点。现阶段,电极感应熔炼气雾化(
在中国制造2025计划的推动下,信息物理融合系统(CPS,Cyber-Physical Systems)成为当前智能制造和工业数字化、信息化的重要研究热点。分布式架构的CPS拥有大量异构设备,这些异构设备每时每刻产生大量的时序数据,这些数据通过有线网络、无线网络和本地网关等进行数据传输,如何对它们进行实时采集、传输和监控是关系到企业管理高效性和变化适应性响的关键问题。现有监控系统存在数据采集协议不
知识抽取可以将半结构化和非结构化的文本类数据转化为结构化的数据,为构建知识图谱,问答系统,知识库建立等自然语言处理领域的子任务所使用。而在现实应用中,知识抽取面临许多的挑战,一方面对于中文命名实体识别(NER)任务,只有非常少量的标注数据。中文命名实体识别和汉语分词(CWS)任务有许多相似的词边界。每个任务中也有特定的特性。然而,现有的中文命名实体识别方法要么没有充分利用语料中的词边界信息,要么无
近年来集成电路技术的快速发展,导致电子元件逐渐向微型化,低功耗,智能化方向靠近。对于电子表面贴装行业来说,元件贴装难度也越来越高,贴片机作为表面贴装技术的核心设备,它的贴装效率以及精度要求也更加严格。为了进一步提高贴片机视觉定位算法的精度可靠性,本文通过分析国内外的贴片机发展以及视觉定位算法的研究现状,了解到目前国内定位算法的精度和稳定性较差,容易受到目标环境等干扰。为此本文以提高定位算法的可靠性
随着信息技术的加速发展,信息阻塞也越来越严重,用户对所需信息的需求质量也随之提高,这成为了当下急需解决的问题。随着推荐系统的应运而生,学术界和工业界在此领域也进行了广泛研究。但当前的信息推荐,使各个领域内信息互相匹配且相似的内容与用户所需要的信息内容结果相比还不太理想,且对于推荐给用户所真正需要的资源还需要精准和完善。所以,眼下怎样令用户得到合理化和个性化的资源是推荐算法的主要研究目标。本文针对这
如今人们的生活被互联网包围,网络设备需要不间断地运行以满足终端用户的需求,每时每刻都有大量的数据通过公共和私有网络与网络设备进行交换,但互联网与网络设备的开放连接访问在大多数日常网络活动中带来了网络安全威胁。网络入侵检测系统是一种可靠高效的保障网络安全的技术,但目前的网络入侵检测系统仍存在面对不均衡样本时检测的准确率低误报率高的问题,本文研究的基于神经网络模型的网络入侵检测具有重要的理论意义和应用
真实感流体模拟的目标是获得物理真实、视觉细节丰富的流体动画。欧拉网格法是实现真实感流体模拟的经典方法,并随着近年数据驱动技术的兴起受到进一步重视。然而,欧拉网格法的求解过程存在难以避免的精度损失,造成流体细节丢失,降低了模拟质量,影响模拟流体动画的视觉效果。尽管直接提高模拟分辨率能改善模拟精度,但这同时也引起了计算开销的大幅增长。因此,如何在保证性能的同时,适当补偿求解过程中的精度损失,从而增强模
微纳结构因其优异的性能而具有巨大的应用潜力。微纳米纤维作为众多微纳结构中的一种,可以通过多种工艺制造,其中离心纺丝因其产量大和能耗低等突出的优势吸引了越来越多研究人员的关注。离心纺丝作为一种制造微纳米纤维的新工艺,其工作原理是利用离心力将液态聚合物甩出拉伸细化而形成纤维。本文工作以探索离心纺丝的工艺参数为核心展开,包括装置的研发、工艺参数的探索、应用初探和装置的改进与验证。首先开展的工作是设计并构