基于ST-GCN与骨架信息的人体行为识别

来源 :常州大学 | 被引量 : 0次 | 上传用户:xfengxue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于骨骼的动作识别因不受人体物理特征的影响以及潜在优势,可以简单、清晰地传达人体行为识别的重要信息,已经成为了计算机视觉这一领域的活跃主题。然而传统的应用程序骨架建模通常依赖遍历规则的人为设置而导致表达能力有限和推广困难,以及部分方法未着重关注动作识别过程中身体部位之间的运动联系而导致的识别效率未达预期。针对这些问题,本文提出了基于ST-GCN的不同改进方法,主要工作内容如下:(1)在ST-GCN模型基础上提出了一种新的划分骨架关节点的分区策略:首先,利用Open Pose提取骨架关节点,在骨架序列中构造时空图,然后通过加强身体相对位置之间的关系构建新的划分策略,提高骨架关节点信息在时空上的关联。再联合利用帧序列空间信息来提取骨架信息,从信息中提取更高级别的特征来聚合图像。最后利用Soft Max对图像动作进行分类识别。(2)提出的新型训练策略能够有效改善训练模型的收敛性。首先,利用超参数的线性规则这一理论,对学习率进行相适应的调整。然后,根据学习率逐渐衰减的方法对模型进行训练。仿真结果表明,在有效改善了训练模型收敛的稳定性的同时,并不会增加训练时间。(3)在ST-GCN模型基础上提出了一种新的处理视频数据及骨架关节图的方法,能有效解决因复杂环境背景以及拍摄手段等问题所导致的不明确帧的干扰。首先,对视频数据使用马尔科夫决策过程,进行有效信息帧的关注。其次,对所选中的关键信息帧的骨架关节图中关节之间的依赖关系进行捕捉,从而加强ST-GCN模型在空间上的信息关联。(4)在人体行为识别的两大公开数据集Deepmind Kinetics和NTU-RGB+D(分为X-Sub和X-View两组数据集)上验证本文中所提出的两种基于ST-GCN模型的改进方法。根据实验结果显示,将加强身体相对位置之间的关系与提取骨架关节点信息相结合的分区策略有效地提升了人体行为识别的识别精度。通过对关键信息帧的提取和捕捉基于图像的卷积神经网络关节之间的依赖关系,对大规模数据集中视频数据存在大镜头运动稳定性差的问题有着明显的提升效果。对于本文提出的训练策略方法,在Kinetics和NTU-RGB+D(X-Sub和X-View)两组数据集上进行了验证。实验表明:在相同环境下进行训练时,通过训练策略对学习率进行相适应的调整,改善了模型收敛的稳定性,对应的两组数据集的top-1的识别精度分别有着一定的提升。本文中所提方法在大规模数据集下的识别精度与目前主流的方法比较具有较强的竞争力。
其他文献
抑郁障碍作为常见的精神疾病之一,其发病率逐年增加,但其病因和病理生理机制尚未明确。近年来,研究认为氧化应激可能是导致抑郁障碍的重要发病因素。现对抑郁障碍与氧化应激及其生物标志物的国内外研究结果进行归纳性介绍。
随着我国公路交通建设的不断完善,交通网络四通八达,交通建设的重心逐渐转移到道路养护上。混凝土作为重要材料被广泛应用于道路修建中,混凝土结构的设施由于长期受负载承重、恶劣环境的侵蚀以及施工工艺质量等因素的影响,导致路面容易出现裂缝病害,缩短混凝土设施的使用寿命,存在巨大的安全隐患。传统的检测方法依靠人工视觉检测或者选用无损的传感器进行辅助检测,要求检测人员具有相关的技术和经验,但是这种检测方法效率低
随着现代化的发展,国际间的交流日益开放、紧密,伴随着我国经济大环境的影响和国家政策的支持,旅游产业和体育产业之间的联系越发紧密,开始出现逐步融合发展的趋势。但是目前我国体育产业和旅游产业的交流融合尚处于浅层次的阶段,有关这两类产业融合发展的研究仍然较少,相关研究尚且不够深入。该文从理论角度分析了体育和旅游产业融合发展的制约因素和动力保障,籍此为我国体育和旅游产业进一步融合发展提供相关的参考和建议,
压电材料作为应用比较广泛,产量较大的一类功能材料,在对环保要求越来越高的当下社会,其无铅化成为了一项迫切的需求。而BaTiO3(BT)基无铅压电陶瓷是目前被研究较多的三类压电陶瓷中的一类,通过对其A位和B位离子掺杂,发现压电性能得到极大的提高,并且同时具备典型的铁电性能和优异的介电性能。有望实现实际应用,替换掉有毒的铅基压电材料。本论文选取了其中研究较少的Ba0.85Ca0.15Ti0.9Hf0.
狼儿峪村是平西地区最早建立起党支部的地方之一。1938年3月,昌宛联合县政府在狼儿峪村成立,先后建立党组织和抗日政权,建立民兵队伍,开展游击战争,指挥平西地区的革命斗争,为革命的胜利作出了不可磨灭的贡献。
期刊
离子渗氮是一种清洁高效的表面改性技术,能够显著提高表层硬度、改善耐磨性。常规离子渗氮处理后,渗氮层特性随离子渗氮工艺的改变通常具有这样的变化规律:随渗氮层增厚,化合物层、扩散层及有效硬化层都增厚,同时伴随表层硬度提高。遗憾的是:化合物层增厚将导致渗层脆性增大,对于承受冲击和重载磨损的零部件,如热冲压模、热锻模及重载齿轮等,常规离子渗氮处理常常存在渗层特性与服役要求冲突的难题,即随渗氮层增厚,表层硬
人体行为识别是机器视觉和人工智能方向的研究热点之一,成果已应用于人机交互、生物识别、健康监测、视频监控系统、体感游戏、机器人技术等领域。本文致力于研究基于时空特征表示的人体行为识别算法,主要包括关键帧算法、深度时空能量特征表示和整体协同时空特征表示算法。本文内容如下:一、针对深度图序列中冗余信息过多的问题,提出一种关键帧算法。首先对深度图序列相邻帧之间做差分处理,得到差分图像序列;然后求取差分图像
火龙果在我国种植面积大,产量多,品质高,但食用方式单一,精深加工不足,造成大量鲜果浪费,以罗甸红心火龙果为原料酿造的火龙果酒不仅大大延长了市场供应期,还将火龙果营养价值与酒特殊风味完美结合。然而,火龙果自身有机酸和酯类芳香因子等风味化合物含量较少,因而生产出的火龙果酒由于风味不足,往往难以满足消费者的需求。为提高火龙果酒香味复杂度与品质,将德尔布有孢圆酵母(Torulaspora delbruec
安全帽在环境复杂的施工场所是工人最基本的安全防护装置。然而国内工人素质参差不齐,许多工人未按要求佩戴安全帽,所以在施工现场自动检测工人是否佩戴安全帽对安全生产具有重要意义。近年来,已有不少针对于安全帽佩戴检测的研究,但是大多数研究方向旨在提高直立条件下安全帽的识别率,对于施工人员复杂姿态下的安全帽佩戴检测的研究相对较少。本文结合当前研究热点与具体实际应用背景,引入人体姿态估计算法进行安全帽佩戴检测