基于时空超图神经网络的人体动作识别研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:mqzhen1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体动作识别是分析视频中个体的动作和多人之间的互动行为。作为高级信息的骨架序列可以传达人类活动的紧凑信息,为描述人体动作提供有效的表示。图卷积网络(Graph Convolutional Network,GCN)通过将人体骨架构建为一个时空图,取得很好的分类结果。然而,大多数现有图卷积方法忽略了关节点之间的非物理依赖性,也没有充分考虑不同人体关节点和视频帧的重要程度。因此,对于基于骨架的人体动作识别,如何充分利用骨架图的拓扑结构进一步提取更具有判别力的时空特征是目前具有挑战性的问题。针对上述问题,本文提出基于时空超图神经网络的人体动作识别方法,可以提取更有效的时空特征信息,进一步提高人体动作识别任务的准确率。本文主要工作和创新点如下:针对运动中人体多个关节点之间复杂的高阶交互关系问题,提出一种基于超图卷积网络(Hypergraph Convolutional Network,Hyper-GCN)的动作识别模型。首先,利用稀疏表示构建超边结构,进而在超图上进行卷积运算来提取动作的时空特征信息。然后,在残差模块中提取空间共现特征和时间的相关关系,将两种特征进一步融合得到更丰富的共现特征。最后,采用多流信息集成的方法对四种信息流(关节流、骨骼流、关节运动流和骨骼运动流)的特征信息进行加权融合得到最终预测结果。针对不同的关节点和视频帧对识别任务具有不同贡献的问题,提出一种融合时空语义和注意力的超图神经网络(Hypergraph Neural Network,Hyper-GNN)的动作识别模型。以Hyper-GCN为基础,融入时空语义信息模块和时空注意力模块进一步生成该模型。空间语义信息帮助网络理解关节点之间的语义关系,时间语义信息可以关注视频帧之间的时间关系。同时,设计空间注意力(即,超图注意力)模块和时间注意力模块分别为不同关节点和视频帧赋予不同权重,可以更准确地捕获运动中的时空特征信息。本文在NTU-RGB+D和Kinetics-Skeleton数据集上进行广泛实验。实验结果表明,所提出的模型具有较好的灵敏度和鲁棒性,与主流人体动作识别方法相比具有一定的优越性。
其他文献
近年来,“德国工业4.0”和“美国工业互联网”的相继提出引导着制造业向智能化方向转变。同时,信息技术的高速发展推动智能制造不断的创新和突破。我国作为全球制造业的中心,为紧跟世界发展趋势,提高制造业转型升级的速度提出了“中国制造2025”。随着传统制造向智能制造过渡,以客户需求为导向的个性化定制逐步成为主流的生产模式,精准掌握消费者的多样化需求并及时做出响应是企业提高市场竞争力的关键所在。但是消费者
学位
王龙溪在晚年思想成熟之后,十分重视先天之学与后天之学的相资为用,其心学思想表现为一种先天统后天的心学基调。王龙溪的这种思想基调,在对“志”的阐发中体现的尤为明显,通过对其志论的研究,可以更好的审视王龙溪的心学思想和人生态度。龙溪之学,首在辨志。志有真假,道宜之志才是龙溪所言真正的为学之志。“志”是“心”的流动状态,从先天正心之学的角度来看,“志”是“正心”的关键,是保持良知心体天然状态的必要条件;
学位
随着人们对公共安全要求的提高,超市、街道、路口等公共场合都安装了摄像头,产生大量视频资源,如何分析和利用这些数据显得尤为重要。行人重识别利用计算机视觉方法检索跨摄像头下的特定行人,在智能侦查、智能商业等领域应用广泛。行人重识别过程主要包括两个关键步骤:首先根据设计的算法来提取行人特征,然后对获得的特征依据度量方法进行相似性度量。但受遮挡、光照等因素影响,现有模型提取的特征效果不理想,导致识别率低,
学位
利用全球卫星导航系统(GNSS)极化掩星信号提取降水信息是国际上新兴起的研究领域.针对在前期理论研究、仿真分析和地基试验的基础上,重点解决地基试验数据中的周跳处理问题.结合地基试验双极化载波相位数据的特点,系统对比分析了高次差法、多普勒观测值法等6种常用周跳处理算法的可行性和适用范围,进而研究对高次差法进行改进以解决人为确定求差次数问题,最后通过仿真分析及实测数据验证了该方法的可靠性和有效性.结果
期刊
情感分析指通过计算机手段对网络评论文本的情感进行挖掘、识别和分析的过程。本文首先针对中文文本复杂性高的问题,提出了一种有效的关键句提取算法。然后针对单一分类器具有局限性和不稳定性的问题,提出了一种基于规则选择的基分类器集成算法,并将该算法应用于基于关键句的文本情感分析中。在传统关键句提取算法的基础上,提出一种融合全局特征和自身特征双窗口加权Text Rank关键句提取算法(Weighted Tex
学位
随着科学技术的发展,在神经网络、区块链等诸多领域中出现了越来越多的大规模超多目标优化问题,而传统演化算法针对此类问题难以获得较高的优化效率。因此,需要改进目前已有的策略并设计新颖的算法。本文通过研究、改进和有效组合多个已有的演化算法,提出两个改进的大规模超多目标演化算法。随着数据日益复杂多样,从这些数据的特征中选择具有较强代表性的特征存在一定的困难。因此,研究如何解决特征选择优化问题具有现实意义。
学位
中共十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》,允许农村集体经营性建设用地出让、租赁、入股,实行与国有土地同等入市、同权同价。2019年8月26日,全国人大常委会修改通过的《土地管理法》第63条规定“土地利用总体规划、城乡规划确定为工业、商业等经营性用途,并经依法登记的集体经营性建设用地,土地所有权人可以通过出让、出租等方式交由单位或者个人使用”,这是法律对集体经营性建设用
学位
随着互联网的迅速发展,越来越多的用户喜欢在网上表达自己的观点和想法,这就积累了海量的文本数据。对这些文本数据进行情感分类,可以挖掘这些文本数据的潜在信息,从而可以帮助平台以及其他行业的发展。在情感分类的过程中,主要是对互联网中产生的文本数据进行分析并做出情感倾向判断。这一过程往往需要大量带标签的文本资源,但是由于不同语言之间的数据资源差异导致情感分类在不用语言之间发展不平衡。这一现状,促使了跨语言
学位
在市政道路建设施工中不可避免的设置大量的雨水井、污水井、燃气等类型的检查井,检查井的施工质量将直接影响了道路交通车辆行驶的舒适性和安全性。针对此,本文主要分析球墨铸铁可调式防沉降检查井盖安装技术,并从安装流程、工艺关键环节进行探究,并提出井圈周边加固施工工艺后,减少了井周路面开裂、下沉和破损,减少了井盖松动噪音扰民等病害,对城市管理在一定程度上起了积极的影响。
期刊
专利背景技术包含丰富的技术问题信息,能帮助我们快速了解当前技术的核心问题,在专利推荐方面具有重要价值。目前专利推荐主要是基于专利内容进行推荐,缺乏对技术问题具有针对性的推荐,且专利技术问题的相关研究甚少,无法展示专利多元化的问题信息。本文从专利背景技术中入手,采用先筛选后抽取的两步骤策略抽取出结构化的专利问题信息,并进一步利用问题信息结合专利标题表示专利特征向量,提出了一种基于多元问题信息的专利聚
学位