基于重投影约束和对抗训练模型的3D人体姿态估计方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:lianzi0118
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人机交互技术的迅速发展,机器需要借助计算机视觉正确地认识和理解人类的行为,3D人体姿态估计是计算机视觉领域的热门研究课题。最近深度学习技术的快速发展使得越来越多的学者利用神经网络进行3D人体姿态估计的研究,并取得了良好的效果。但这些方法大多是有监督的学习方法,他们使用真实3D姿态数据作为监督信息才能达到较高的性能,而对这些有监督的3D姿态数据进行标注需要耗费大量的时间以及人力物力。因此,使用弱监督信息或无监督信息进行3D人体姿态估计正成为目前的研究热点。本文基于生成式对抗网络对单张图像的3D人体姿态估计方法进行研究,在构建对抗训练模型时,不仅可以考虑生成的3D姿态在多个角度下观察时保持合理的约束,而且可以考虑生成的3D姿态与输入的2D姿态应该保持一致性的约束,从而提升3D人体姿态估计的精度。本文提出了两种基于重投影约束和对抗训练约束的3D人体姿态估计方法,取得的主要成果如下:(1)基于生成的3D姿态在多个角度下观察时均应保持姿态合理的特点,本文提出了一种基于单视角多角度一致性约束的无监督3D人体姿态估计模型。该网络模型首先对单张图像提取的2D姿态进行3D姿态估计以及对应的弱透视相机估计;然后将生成的3D姿态进行多个角度的随机旋转并通过估计的弱透视相机进行重投影,随后将2D重投影再通过生成器估计相应的3D姿态和弱透视相机。由于来自同一角度的2D重投影应该保持一致性,所以在训练过程中该模型通过混合生成的3D姿态以及相机以生成多个2D重投影,并添加单视角多角度一致性损失函数提升了3D人体姿态估计的精度。在公开数据集上的实验结果表明,所提出的模型在评价指标上超过先进方法15%,并且通过消融实验验证了各个约束的有效性。(2)基于生成的3D姿态与输入的2D姿态应该保持一致性的特点,本文提出了一种基于2D-3D一致性约束的弱监督3D人体姿态估计模型。该网络模型包含生成器、判别器以及重投影网络。模型的生成器对单张图像提取的2D姿态进行3D姿态估计,然后将生成的3D姿态进行随机角度的旋转并通过重投影网络进行2D重投影。判别器对3D姿态、2D重投影以及根据3D姿态计算的KCS矩阵进行联合判别以实现2D-3D一致性约束,其中为了反映骨骼距离对关节角度信息重要度的影响,对KCS矩阵进行了加权处理。该模型使用了三个网络的同步训练策略以有效降低模型输入的2D姿态的误差的影响并提升2D-3D一致性判别的效果,从而进一步提升了姿态估计精度。在公开数据集上的实验结果表明,所提出的模型在评价指标上超过先进方法24.7%,并且通过消融实验验证了各个约束的有效性。
其他文献
党的十九届六中全会再次强调了坚定制度自信,首先要坚定政治制度自信。我国政治制度作为社会主义整体制度框架中的重要部分,是实现人民幸福、维护社会稳定和国家发展的重要保证。政治制度自信不是凭空出现的,而是以政治制度优越性为基础,从无到有逐渐生成的。它能够凝聚共识、激发人民的创造活力、从容应对风险和挑战。所以,新时代的长征路上,坚定中国特色社会主义政治制度自信,为国家发展战略目标的实现提供精神动力。本论文
学位
长江江豚(Neophocaena asiaeorientalis asiaeorientalis)是一种小型齿鲸,主要生活在长江中下游干流及鄱阳湖和洞庭湖,为国家一级重点保护野生动物,其种群极度濒危(CR),是长江水生态系统健康与否的重要指标。长江江豚具有发达的声纳系统,通过高频脉冲信号和低频连续信号进行巡航、捕食和通讯等生命活动。随着长江流域社会经济快速发展,人类活动愈加频繁,长江江豚生存空间不
学位
某一商标已经在两个或者两个以上国家获得注册,并受到相关知识产权法保护。该商标的商标权利人或者得到其授权的主体生产制造了带有该商标的特定商品,并将其销售至不同国家或地区。在这种情况下,如果将该特定的商品从一国进口至另一国进行销售,则称为商标平行进口。目前,国际上对于商标平行进口行为是否合法还未有定论,出现了不同的理论学说,在司法实践中的判决也并非完全相同。在我国,法律目前对商标平行进口也没有明确规定
学位
中国共产党诞生于近代内忧外患的近代中国,自成立起就以马克思主义为指导,将马克思主义群众观作为对待人民群众、处理党群关系的思想指引,在随后的革命、建设和改革开放历程中,党逐渐形成了群众路线这一独创理论成果。以党的十八大为新起点,党在对我国新形势下群众工作进行客观分析的基础上,对群众路线进行了新的实践探索和理论发展。本文在厘清群众、群众观、群众路线几个基本概念的前提下,首先对群众路线的发展的思想渊源、
学位
依托于互联网技术的广泛应用,网络经济得到了迅速发展,其在为消费者的消费生活带来便利的同时也进一步加剧了经营者与消费者间存在的信息分布不均衡问题。消费者评价作为消费者间信息交流的主要途径,在弥补消费者信息获取能力劣势、引导经营者提高商品和服务质量的方面具有重要地位。在现有法律体系并未直接对消费者评价权作出正面回应,仅通过为经营者设定义务的模式对消费者评价进行保护的情况下,司法实践面临着缺少具体法律规
学位
从战略高度把握新时代民族工作,不断铸牢中华民族共同体意识,必须注重历史与现实相贯通、理论与实践相结合、整体与局部相统一、目标与路径相契合、国际与国内相关联的角度进行全面统筹。记忆、认同、共生,三者相通相连、相契相合、相辅相成、相互促进、相得益彰。共同记忆是民族共同体得以形成与维系的心灵根脉,认同共识是铸牢中华民族共同体意识的核心内容,互融共生是中华民族共同体建设的文化价值体系。记忆、认同、共生的三
期刊
近年来,我国的经济与科技发展迅速,以电子商务为主体的互联网经济成为我国经济发展中的重要部分。随着电子商务交易的发展也带来了一定的交易风险。近年来我国在互联网领域倡导诚信建设、加强平台监管,推动电子商务领域建立健全电子商务信用评价制度。我国虽然基本上建立了以电子商务法为核心的信用评价法律规范体系,不同法律条款之间缺乏互联互通,法律规定存在内涵不明、力度不强等问题,因此仍需要从基本原则、信用评价主体、
学位
随着“交通强国”战略的持续深入,2020年我国铁路营业里程已达到14.63万公里,铁路建设规模位居世界第二。同时,“十四五”规划发展纲要中提出要加快构建快速铁路网,基本贯通“八纵八横”高速铁路格局,这说明我国的铁路建设规模将进一步扩大。但目前我国铁路建设资金主要来自政府财政支出与银行贷款等方面,资金压力巨大。政府主管部门在进行投资决策、成本估算时,缺乏能快速估算项目成本的技术手段,且目前我国铁路工
学位
教学质量是教学环节中一个重要的指标,它体现了该学校教学水平的高下和教师教学效果的优劣,教学质量的研究有助于帮助学校不断提高教学质量,促进教学水平和教育质量的不断提高和发展。随着社会和教育的不断进步,国家和社会不仅会要求教育的覆盖度,更加注重教育的高质量发展,建立高校课堂教学数据的监测工程是确保高校人才培养战略不断提升的手段和方法。本文的主要研究是基于目前的传统教学评价手段,利用信息化和部分计算机新
学位
2020年是旅游直播元年,受疫情影响旅游市场大幅萎缩,旅游直播因其突破时空限制、传播迅速、互动性强的特点已经成为潜在旅游者凝视目的地的新兴媒体,是助力旅游业复苏的重要途径。名人在旅游直播中发挥着不可忽视的作用,如携程打造的“BOSS直播”、多地文旅局长带领大家“云旅游”等。旅游直播发展火热,直播场景下的旅游凝视行为发生了改变,名人在旅游直播中的作用尚未厘清,因此从凝视角度出发,对名人直播的内在机制
学位