基于图卷积网络的三维手部姿态估计方法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:hua3287226
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手是人类与客观世界交互的重要媒介,人类依赖于手部的多种姿态来操纵物体,与他人交流。最近,越来越多的新兴技术要求同时从单眼(RGB)二维手部图像中精确地识别三维手形网格和三维手部关节点,如人机交互、增强现实(AR)、虚拟现实(VR)、机器人和手语识别等。得益于近年来深度学习的成功,单目三维手部姿态估计取得了显著的成功,如机器可以从单一的二维图像中精确地预测21个手部关节点。然而,从单张RGB图像中重建三维手形仍然是一种挑战,因为表示三维手形网格需要准确地预测成千上百个三维顶点,其难度远远大于预测21个三维关节点。随着参数化手模型MANO的提出,人们可以利用少量的MANO模型参数来同时恢复三维手部关节点和密集的三维网格顶点。但是这种参数化手模型存在一个明显的缺陷,即模型参数与二维图像像素之间没有明显的对应关系,缺乏足够的空间信息对模型参数进行精准的回归。为了解决这个问题,本文结合图卷积网络和MANO参数化手模型,设计了一个基于图卷积网络的三维手部关节点估计和三维手形重建的深度学习框架。该框架包含三个部分:(1)利用卷积神经网络和MANO手部模型设计一个基于MANO模型的三维手部姿态估计和三维手形重建的主干网络。高分辨率网络和深度残差网络结合作为特征提取网络,从单眼RGB图像中预测MANO参数和具有空间信息的特征;预测的MANO参数通过MANO模型映射成为三维网格顶点和三维关节点。(2)根据三维手部关节点和三维手形网格的空间结构构建姿势图和形状图,提出了一个新颖的基于图卷积网络的算法——MANO-GCN。该算法由姿势参数图卷积和形状参数图卷积组成。将主干网络预测的包含空间信息的特征设置为姿势图和形状图的节点特征,通过MANO模型中定义的边连接节点,节点特征沿着边传播,学习空间信息。(3)为了将MANO-GCN算法生成的手部对齐到空间中的正确位置,提出了一种简洁高效的手部全局变换方法,通过高分辨率网络保留的空间信息来生成手部的放缩系数、旋转矩阵与平移量,并使用这些参数对手部进行全局变换,使得预测的三维网格顶点和三维关节点能够准确的对齐到图像坐标系上。
其他文献
临近预报一般是指对某一区域未来短时间内(0-2 h)的降水量或者强对流天气进行预报,在日常的气象灾害防范中有着极其重要的作用。我国位于东亚地区,濒临太平洋西海岸,大陆性季风气候显著,这就使得我国在夏秋两季饱受洪涝灾害侵袭的困扰,因此建立一个准确的临近预报系统对我国来说是迫切需要的。准确的降水临近预报系统不仅可以有效的指导人们的日常生活,出行以及户外活动,同时对于道路交通,空中运输以及气象灾害预警的
随着商标数据的爆炸式增长,国内外发生的商标近似侵权案件越来越多,如何从海量商标数据中准确地检索出近似商标,从而辅助用户对商标进行调整,提高商标注册成功率,成为商标领域值得研究的一个问题。目前,短文本相似度计算方法广泛用于商标领域中,现有中文商标相似度计算主要是从字形、拼音及含义这三个角度出发,在字形和拼音角度存在近似判定因素单一片面的问题,在含义角度存在同义词识别不准,知识库有限和相似度计算结果不
目前气象卫星在日常生活中发挥着越来越重要的作用,人们对于卫星观测的精度要求越来越高。随着近年来各国气象卫星发射数量的增多,对卫星场地辐射定标的简便性和可持续性也提出要求。传统的人工观测和单次或几次观测已不能满足卫星遥感器在轨定标和遥感数据定量化应用的需求,亟需将场地的地表和大气光学波段辐射特性观测推向全自动、连续观测的阶段。本文在此背景下,以敦煌卫星辐射定标场为实验场地,对布设在场内的自动化观测设
随着网络社交媒体的迅速发展和人们生活水平的提高,网络文本信息也在迅速发展。微博是目前中国最受欢迎的博客应用,任何时候都在产生大量的数据。这些数据包括大量关于网民感受和态度的信息,若能将情感分析技术应用到微博产生的大量文本信息中,宏观上可以监控和引导网民在舆情爆发前后的情绪走向,从而有关部门能及时采取措施进行防控。同时,文本主题分析,舆情分析也都是以情感分析为研究基础,发掘数据情感价值,有助于完善网
自主移动机器人已广泛应用在多个生产生活领域,并在其中发挥着愈加重要的作用。路径规划是移动机器人实现导航的关键和核心,研究路径规划方法对于保障移动机器人的自主化和智能化水平等具有重要的意义。近年来,基于光学成像的传感器技术(即相机)凭借采集环境信息丰富、性价比高等优势,已广泛应用在机器人领域。当前,传统的路径规划方法通常需要事先构建精确的环境地图,这种方法在面对未知环境时无法有效地实现路径规划,并且
随着我国钢铁生产的不断发展,生产工艺的不断完善,对于操作工人所具备的生产经验有较大的依赖性,同时操作人员的工作习惯等一系列的因素影响,炼钢的效率和优化控制有更进一步的改进空间。传统工艺中取样、肉眼辨温、钢花估碳、验渣估氧硫等操作更是进一步增加了产品质量对生产人员依靠经验操作准确度的要求,故需要将工艺参数信息化,原材料状况数字化,发展智能制造,建立智能自动化的现代型炼钢模式,以减少人工操作、降低生产
车联网是一种新型的移动自组织网,实现车辆与其他通信单元间的信息传输。作为智能交通的重要发展方向,它在事故预警、交通管控以及信息服务等方面具有广阔的应用前景。车联网中多采用广播的方式进行信息分发,若源广播车辆与目标车辆无法直接通信,需选择中继车辆以多跳的方式进行转发,从而实现数据信息的大范围传输。因此中继车辆的选择在多跳广播算法中至关重要。本文介绍了车联网中的关键技术和应用分类,并对现有的广播算法进
随着能源和电力系统的发展,可再生能源的并网,用电设备的接入,电网的规模越来越大,网络拓扑结构也越来越复杂,给故障诊断带来困难。电网发生故障时,及时实现故障的定位和故障类型的识别,对保证故障及时排除,供用电迅速恢复都具有重要的意义。大部分电网故障诊断方法是将故障开关量和电气量作为故障诊断模型的输入进行故障诊断,本文从这两种不同的输入量分别针对不同的问题进行电网故障诊断技术的研究。从故障开关量出发,本
传统的控制任务采用的是时间触发控制。它是指在固定的时间间隔内对系统的状态信息进行采样,并使采样后的状态信号进入系统工作。由于网络的带宽限制,这可能导致控制性能的降低。最近,事件触发控制以其减轻传输负担、节省通信、提高计算效率等优点在控制领域引起了广泛的兴趣,其控制输入仅在违反触发条件时进行更新,降低了执行器的平均更新频率。然而传统的事件触发控制几乎不考虑最优控制。最优是指控制性能最大化和资源最小化
随着新能源汽车以及制造业的快速发展,电动冲击扳手作为汽车组装螺栓紧固或拆卸的重要电动工具之一,其输出扭矩的准确度、工作效率和安全性一直是该领域研究者的研究重点。电动冲击扳手在对不同型号的螺栓进行紧固操作时,不仅要避免由于输出扭矩过大导致螺栓发生形变而损坏,还要防止输出扭矩过小导致螺栓松动脱落,如何能够实现电动冲击扳手定扭矩控制是目前待解决的关键问题。目前,电动冲击扳手输出扭矩的控制方法主要是通过在