基于图卷积网络的人体行为识别方法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:talenthers312
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频逐渐成为当今主流的传播媒体,而海量的视频数据会给视频内容的审核带来巨大的挑战,因此使用计算机去识别视频中的行为具有重要的意义。此外,计算机可以处理多模态数据,完成人体行为识别任务,其中处理骨骼数据的方法具有计算量小、对光照变化鲁棒性强,动作表达能力强等特点。目前,使用基于图卷积网络的人体行为识别已成为一种新兴趋势。然而,如何准确的判断所属行为类别仍是人体行为识别技术的一个难点。本文在对人体行为识别技术相关的方法进行深入研究后,发现现有的研究中仍存在着预定义的骨架图仅代表人体物理结构、类内差异性和类间相似性、长距离依赖等问题,基于此提出了一种基于图卷积网络的人体行为识别方法。针对骨架图仅代表人体物理结构问题,本文在空间维度上首先考虑了空间多尺度特征,构造不同尺度的人体关节连接关系图,并在此基础上提出了空间多尺度图卷积模块,该模块主要由多个并行的图卷积网络分支组成,每个分支分别对不同尺度人体关节连接关系图进行特征提取,得到不同尺度的空间特征,然后将各个分支的输出进行融合,提升特征的表达能力。针对骨骼序列存在长距离依赖问题,提出了一种时间多尺度特征增强模块,在时间维度上提取骨架帧序列的时间多尺度特征。该模块使用一个并行的时间卷积结构提取不同尺度的时间特征,并引入注意力机制,根据输入的数据,动态调整每个时间卷积分支的权重,最后将不同尺度的特征图以非线性的方式叠加,增强特征的表达能力。接下来在NTU-RGB+D数据集和The Kinetics-Skeleton数据集上验证了空间多尺度图卷积模块和时间多尺度特征增强模块的有效性,与其他先进的行为识别方法相比较,提高了识别准确率,改善了类内差异性和类间相似性的问题。最后,在研究内容的基础上实现了一个行为识别系统,该系统可通过本文提出的人体行为识别方法识别出视频中的行为。
其他文献
多目标追踪是计算机视觉领域的热点问题,被广泛应用于智慧交通、智能监控、自动驾驶等领域。随着体育产业的快速发展,体育运动中的运动员追踪问题逐渐受到关注。不同于普通监控场景中的行人追踪,体育运动场景中运动员频繁遮挡、姿态变化大、外观相似等问题给运动员追踪带来很大的挑战。本文以篮球运动员追踪为研究对象,针对运动员检测、追踪方法进行研究。本文的主要内容如下:1.针对篮球运动场景下目标漏检问题,本文提出了一
学位
随着大数据、人工智能等技术的迅速发展及普遍应用,数据的规模呈现快速增长的趋势,大量的数据需要被实时处理。Apache Flink作为新生代的流式数据处理框架,相比于Storm、Spark等框架拥有更高的吞吐量和更低的延迟,为流式数据的实时处理提供了新的选择。然而,Flink默认采用随机的方式将任务分配给节点,在当前流行将大数据服务部署到云平台的场景下,没有考虑到在集群中可能造成的成本浪费以及负载不
学位
传统密码学的安全性主要依赖数学困难问题,该问题在经典世界中难以被解决。随着量子计算机的出现,传统密码学的安全性岌岌可危,为了解决此问题,量子密码学应运而生。量子密码学依靠量子力学基本特性,使得它在理论上能达到无条件安全。鉴于此,学者们提出了许多量子密码领域的协议,量子密码学成为量子信息中的重要分支。量子隐私查询是量子密码学中的重要研究内容,也是经典隐私查询在量子领域的延伸。虽然学者们提出了许多基于
学位
同时具有高时间分辨率和高空间分辨率的遥感图像对于监测地表异质景观至关重要。然而,由于卫星传感器硬件技术以及发射预算等因素的限制,获取具有高时空分辨率的遥感图像并不容易。这使得国内外的研究学者将目光集中到对现有卫星观测数据进行后处理,从而获取所需的高时空分辨率数据。在深度神经网络中,相对于图像的一些基本属性:颜色、纹理、形状等特征,深层特征即通过设计网络模型来挖掘图像更为抽象、更高级的特征。在时空融
学位
车云计算是云计算技术在车载网上的扩展,旨在利用车辆闲置的计算、存储等资源构建成云为车辆提供实时服务,保证车辆决策的实时性和有效性,实现智能交通管理,提升交通效率及安全性。然而车云具有高度的动态性和自组织性,如何安全匿名且高效地构建车云以及保证云用户的隐私是一个挑战。目前已有的研究方案中存在车辆的隐私保护问题或是构建车云的方案效率不高。本文重点研究在保护车辆身份隐私及位置隐私的情况下高效地构建车云,
学位
随着数据量的爆炸式增长,数据中蕴含的知识信息也越来越复杂多元化。因此,如何从海量数据信息中有效地挖掘出知识成为了当今学者研究的一大热点问题。知识发现一直都是大数据技术下的一个主要研究点之一,基于概率粗糙集的三支决策就是一种典型的知识发现算法,一个作为解决复杂问题和不确定性问题的三分而治模型,并且结合多粒度思想构建的序贯三支决策模型,能很好地实现复杂问题的动态决策的效果。然而,在实际决策中,当没有决
学位
随着云原生时代的到来,Kubernetes和容器技术已经成为云计算领域的主流技术。Kubernetes因其实现了对容器的服务发现与调度、负载均衡、服务自愈、弹性扩缩容和存储卷等功能,被作为容器管理平台的首选。虽然Kubernetes具备丰富的容器管理功能,但是它并不会考虑容器运行过程中的成本问题以及整体Pod之间的关系,也不具备重调度机制来节省成本。为此,本论文提出了基于Kubernetes的成本
学位
古文物承载着人类文明千年以来的历史文化和精神内涵,对研究古代经济、文明等方面起到至关重要的作用。通过将古文物进行数字化处理,从二维图像转换为三维模型的形式能够有效地减少实体展览所带来的空间和时间上的资源损耗,同时能够使人们能够通过网络的形式以三维的角度更全面地去了解并学习古代文物所蕴含的历史文化。不同于传统的三维重建方式,基于深度学习的三维重建方式更适用于单视图的情况,同时能够在不需要复杂的图像处
学位
随着计算机和三维扫描设备越来越快速的发展,三维几何模型也逐渐成为表达数字媒体信息的方式。点云作为三维模型主要表达方式,其应用场景也越来越多,但是原始点云占用空间较大,而且含有噪声,不适合直接进行使用。骨架可以理解为三维模型精简之后的表示,只需要原始三维模型的部分信息,就可以表达三维模型全局信息。因此,从三维点云数据中分离出可靠的骨架是非常重要的。目前基于深度学习的骨架提取方法主要针对二维图像,针对
学位
随着互联网的飞速发展,网络用户越来越多,社交媒体已经在人们的生活中占据了重要的地位,网络舆情的监管也变得越来越重要。如何分析群众的情感变化,如何挖掘民众关心的热点话题,已成为研究人员的重要研究课题。然而传统的舆情分析方法无法直观地表达文字背后的潜在信息,这就需要数据分析和可视化技术的结合。针对以上问题,本文提出了一种面向新冠肺炎舆情的可视分析方法,可以有效地帮助用户进行微博舆情分析。本文主要做了如
学位