基于RGB图像及反向运动学的手部三维重建技术研究

来源 :济南大学 | 被引量 : 0次 | 上传用户:xushuai880620
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着虚拟现实和增强现实的飞速发展,三维虚拟人的构建和研究起着至关重要的作用,手部三维重建是实现这一切项目的基础。目前,很多研究都是专注于手部关键点的二维手部姿态估计和三维手部姿态估计等模糊且抽象化的形式来实现手部三维重建。这些方法大多数依赖于深度图像,即靠深度摄像机进行采集数据,存在高成本且功耗大、限制性大和数据采集难等问题。仅仅估计抽象的手部姿态不能解决手部模糊、手部遮挡和手部与物体交互等情况,因此,建构精确且形象化的手部三维重建是有必要的。彩色图像RGB图像易获取,仅用普通相机就可以采集,灵活性大,节省时间、人力和物力,手部姿态估计和手部形状相互配合能重建出精确且形象化的三维手部。因此,本文提出一种基于RGB图像及反向运动学的手部三维重建的方法来实现三维人手模型构建,提出的人手模型的架构包含三个模块:基于二维预测器的二维手部姿态估计模块、基于三维预测器的三维手部姿态估计模块和基于参数估计网络的手部三维重建模块。论文的主要工作如下:(1)针对二维手部关键点预测不到位的问题,提出一种基于二维预测器的二维手部姿态估计模块的方法。用特征提取模块提取手部的特征,利用二维预测器估计准确的二维手部关键点,得出精准的手部的二维信息,从而实现准确的二维手部姿态。(2)针对因中间环节监督缺乏而导致三维手部姿态估计不准确的问题,提出一种基于三维预测器的三维手部姿态估计模块的方法。三维手部姿态估计模块利用手部的二维信息作为中间监督,用基于三维预测器的三维手部姿态估计模块预测三维手部姿态。(3)针对因手部模糊、手部遮挡及手与物体交互而无法重建形象化手部的问题,提出一种基于参数估计网络的手部三维重建模块的方法。参数估计网络包括形状参数估计和姿态参数估计,参数估计网络用二维手部姿态和三维手部姿态作为初始手部姿态,实现由手部姿态估计重建手部形状的反向运动学方法的手部三维重建。用形状参数估计模块来预测形状参数、关节旋转预测的姿态参数估计模块预测姿态参数,形状参数和姿态参数输送到MANO模型进行模型变形,产生手部几何形状,从而实现手部三维重建。最后,通过消融实验和对比实验,验证本文所提出的3个创新点能够提升手部三维重建的准确性。
其他文献
涡轴发动机是结构复杂的热机,存在着火风险,若同时直升机上灭火系统丧失功能将导致火情不可控。为分析直升机上发动机不可控火情的发生概率和设计薄弱环节,本文开展了基于模型的安全性分析。通过模型驱动的安全性分析软件simfia进行建模并自动生成故障树,通过概率计算验证其发生概率符合适航规章要求。通过最小割集分析和重要度分析得出设计薄弱环节为发动机燃油进油接口、直升机灭火瓶和灭火管路。
期刊
聚类算法在数据挖掘中占有重要地位,并被广泛应用于医疗行业、金融行业、房地产行业等等,与我们的生活工作关联十分密切。在数据量较小维度较低的场景下,传统聚类算法能够表现出收敛速度快,结果精度高的优势。然而随着科学技术的发展,大数据时代中高维海量数据的出现,导致传统聚类算法计算量大大增加,难以取得较好的聚类效果。随着深度学习的发展,高度非线性转换的方式可以将数据处理成更有利于聚类的表示,于是与传统方法相
学位
时代在进步,技术在革新,我国整体社会形态随着经济的高速发展不断演变,在这种不断演变的背景下,现代企业所处的行业和形态也发生了天翻地覆的变化,国内外竞争日益剧烈。据2020年第七次人口普查数据来看,我国人口年龄结构发生很大变化,老龄化程度加剧,而劳动力供给总量占比下降的结构性变化也早在2012年就已开始。所以对于企业而言,无论经济环境和管理对象都呈现出了新的时代特征,大批量的新生代员工步入社会就业,
学位
为研究装配式移动平台的安全性,以某高速公路标段为背景,研究装配式移动平台体系。通过运用有限元计算软件Midas-Civil,建立移动平台模型,设置边界、荷载条件,分析了在自重、施工活荷载以及风荷载等荷载组合工况下,装配式移动平台的强度、刚度及稳定性,计算结果表明移动平台的安全系数满足规范要求,内力、变形以及整体稳定性均能较好地控制在安全范围内,配套的安全保障措施能使移动平台充分保证安全性,根据装配
期刊
蛋白质间的相互作用(Protein-Protein Interactions,PPIs)参与了生物体内绝大部分生命活动,对蛋白质相互作用的预测研究是生物信息学领域中一个亟待解决的重要问题。高通量实验室技术的日臻成熟积累了大量的PPIs数据,但数据十分嘈杂且覆盖率很低。近几年,随着计算机技术日新月异的发展,计算方法开始在PPIs领域显现出其优势,基于蛋白质序列与机器学习的计算方法逐渐成为蛋白质相互作
学位
随着服务机器人的广泛应用,其缺陷日渐凸显,如果考虑到老年人陪护中的问题,就知道现有陪护机器人还有多少问题亟待解决了。对于老年人来说,表达清楚一件事是有一定难度的,但是通常老年人表达意图时,环境因素和他们的手势、体态表达的信息往往是十分重要的,很多服务型机器人忽略了这一点,机器人不理解人的行为意图成为助老陪护机器人的应用痛点问题。因此,根据老年人特点,本文创建了多模态意图逆向主动融合的机器人交互系统
学位
随着生活水平的提升和汽车行业的飞速发展,如何有效减少交通事故成为社会关注的热点之一,而驾驶员分心是诱发交通事故的主要原因。根据美国道路国家高速公路安全管理局(National Highway Traffic Safety Administration,NHTSA)公布的数据,交通事故死亡人数中,16%为驾驶员分心导致,因此驾驶分心检测技术对保障道路交通安全有着至关重要的作用。基于机器视觉的分心检测
学位
计算机视觉技术的快速发展使智能监控领域迎来了广阔的发展前景。现实生活中如家庭、游泳馆等不同场景的智能监控与安全保障意义重大,而这些场景下监控的目的之一是为了对于不同场景下的人体异常行为进行识别。不同的异常行为与实际发生的场景息息相关,如室内独居老人的摔倒行为、游泳馆的溺水行为、加油站的吸烟行为等。现有的异常行为识别方法主要是利用可见光摄像头进行的,可见光视频纹理清晰、方法成熟。但在实际场景中依然存
学位
随着我国经济的持续发展,货币资金在企业中的重要性逐渐显现出来。货币资金在产品的生产与公司的经营中都起着重要的作用。货币资金管理对企业的重要性不亚于其他任何因素,也是企业资产的重要组成部分。目前,我国中小企业发展相对缓慢,且中小企业在货币资金制度的运用、实施上,都面临着困难和问题,因此对货币资金管理迫切需要采取一系列的措施。本文将分析中小企业货币资金管理的相关问题,并给出合理对策。
期刊
随着智能终端设备的普及与无线互联网的快速发展,大量基于位置的服务在日常生活中被广泛应用,移动对象k近邻查询问题是许多基于位置服务的核心问题,同时又是空间数据库查询中的重要理论基础。由于时空数据的自身特性,一些已有的移动对象k近邻查询方法并不能很好的解决移动对象k近邻查询及增量查询问题,因此研究移动对象k近邻查询的相关问题具有重要意义。本文针对移动对象k近邻相关问题进行研究,第一部分研究内容是基于欧
学位