基于特征自适应机制的ST-GCN人体行为识别研究

来源 :常州大学 | 被引量 : 0次 | 上传用户:dingbinqi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在人体行为识别任务中,基于骨架关节点的模型由于能清晰、直观地表达特征、运算简便,且鲁棒性高,因此倍受关注。但是在传统骨架建模方法中,依然存在空间图构造受预定义影响,忽略了非相邻节点间信息的有效利用,以及常规卷积神经网络对遮挡适应性较差、容易忽略全局特征等问题。针对此,本文在ST-GCN模型基础上,提出几点改进方法,具体如下:(1)提出一种基于全局图遍历的ST-GCN人体行为识别算法。在STGCN模型基础上,受动态规划寻优启发,提出一种全局图遍历方法建立节点关联模型。对输入视频图像经Open Pose姿态估计,进行关节信息提取并输入至卷积网络。对空间卷积部分进行优化,对节点进行全局遍历并作卷积操作,以加强非相邻节点之间的信息关联。实验时,根据梯度下降思想采用迭代下降的学习率以控制模型准确度,最后采用Soft Max分类器对动作进行识别分类。(2)提出一种位运算操作以减少计算成本。在空间图卷积过程中,加入位运算操作,以控制对节点的取舍,通过舍弃节点来减少卷积时的计算量。实验结果证明,该方法可以有效降低模型计算时的成本。(3)提出基于注意力机制的多尺度特征融合方法。首先根据特征金字塔思想,对输入特征图进行上采样处理,以生成粗尺度特征图,用以表达全局特征,再通过引入注意力机制对粗尺度图进行加权处理,通过不同的权重以区分不同身体部位重要性,减少因关节点漏标或错标而导致的识别误差,再将该特征图与细尺度特征图融合,生成最终输入特征图进行卷积。(4)在两个大型数据集NTU-RGB+D和Kinetics上验证了本文方法。对于全局图遍历方法,实验结果证明了其能有效利用非相邻节点对行为分类的影响,提升识别精度同时降低计算量。对于基于注意力机制的多尺度特征融合方法,在Kinetics数据集上有着优秀的表现,在NTURGB+D数据集也有一定的识别精度提升。本文方法在现阶段相较于主流人体行为识别算法,依然具有一定的有效性与竞争性。
其他文献
报纸
对于中国来说,发展无污染能源,风能是主力军。风力发电机作为风电的主要设备,尤其备受关注,这类高耸塔式结构纵向尺寸和横向尺寸之比很大,整体结构的抗弯刚度相对柔软。在许多自然灾害如地震、台风等发生时,载荷作用于建筑物产生弯矩,当此数值大于极限屈曲值,就会出现断裂、坍塌等破坏现象。本文通过ANSYS软件的有限元分析方法,选取某1.5MW风力发电机,通过建立模型,做了一系列工作,本文主要研究如下:(1)在
学位
动力波洗涤技术自被美国孟山都公司开发以来,在国民经济各行业中的运用已经十分广泛,尤其是在脱硫脱硝的行业。不同于其他湿法脱硫反应器,动力波洗涤器具有净化效率高、喷嘴不易堵塞、配置方便灵活、操作弹性大等优点。喷头是动力波洗涤装置的核心部件之一,喷头内流道的结构直接影响洗涤液的喷出情况,进而影响动力波洗涤器对工业废气的处理效果和脱硫效率。改进喷头的结构,对于优化整体结构、提高气液混合效果和脱硫效率有着至
学位
人教版教材由国家教育部审定,合理设计了课程来培养学生的空间想象能力。教参最有参考性,给教师提供了重要的教学建议。深入教参,整理出五年级涉及空间想象能力的内容,归纳出培养学生空间想象能力的建议。
期刊
命名实体识别是自然语言处理的基础任务之一。在临床医学领域,围绕医学信息进行数据分析和命名实体识别可为后续构建医学知识库和辅助推荐系统等相关任务提供数据基础。因此,医学命名实体具有重要价值,但医学文本大都为非结构化数据,文本领域性强、实体类型多且行文较为复杂,在命名实体识别过程中会面临更多挑战。本文以中文电子病历为主要研究对象,深入研究病历行文特点和文本实体特征来设计和改进现有模型结构。针对当前命名
学位
传统充气轮胎存在爆胎问题,影响工程机械的正常服役,而免充气轮胎不会爆胎,因此其在工程车辆领域的应用前景看好。仿生技术是近年来的新兴课题,借鉴自然界中生物体的结构特点,将其改良并引入工程机械结构设计中,可以达到提高强度、节省材料等目的。为此,本文在免充气轮胎国内外研究现状分析的基础上,应用仿生技术,提出了一种满足可靠性指标要求的工程机械仿生免充气轮胎结构,并对其承载能力、等效应力、接触压强等进行了研
学位
移动机器人的路径规划分为单目标路径规划和多目标路径规划。强化学习方法能够有效解决单目标路径规划问题,但多目标路径规划问题通常包含多个相互冲突的目标,且强化学习中标量形式的奖励很难同时描述多个目标,导致强化学习算法在多目标路径规划问题中性能不佳。针对上述问题,本文将多目标强化学习(Multiobjective Reinforcement Learning,MORL)应用于多目标路径规划,使用向量形式
学位
近年来,由于网络的日益发达,使用在网络的评价量呈现指数级别上升,这些评论中承载了用户对产品或某一对象的态度和观点,研究这些评论中蕴含的情感倾向具有重要的现实意义。随着对情感分析的深入研究,涌现出许多基于深度学习的各类模型。其中也出现了许多问题,例如基于传统注意力机制的神经网络模型在捕捉句子长依赖关系上的表现并不突出,而能解决该问题的依赖树模型容易忽略依赖弧上的标签信息。另一边,随着科技的发展,用户
学位
近年来,行人重识别技术由于深度学习的发展取得了巨大的进展。然而,目前的行人重识别研究主要是集中在短时间情况下,即行人的衣着不太可能发生改变。这些方法在很大程度上依赖于行人穿着衣物的颜色外观。然而现实中更常见的情况是长时间下,一个人有很大的机会更换衣服,所以现有的方法在此情况下是不可靠的,行人重识别模型应该考虑这种情况。因此,换衣行人重识别任务应运而生,本文针对换衣行人重识别问题,主要做了如下方面的
学位
区块链作为一种去中心化的分布式账本系统受到世界的普遍关注。联盟链作为区块链中的一类,具有高性能、强可控性的特性,其弱中心化的特点也更符合企业属性。因此高性能联盟链系统关键技术研究也是区块链技术研究的一个重要方向。目前对于联盟链系统的性能提升研究主要致力于共识算法的优化,而分片技术的加入能够进一步提高联盟链的扩展性,但是现有的分片协议大多针对公有链系统设计,甚至部分需要硬件依赖。因此,基于联盟链的共
学位