基于深度相机的人与物体交互运动实时三维重建

来源 :清华大学 | 被引量 : 0次 | 上传用户:caesarm4
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在日常生活中,人与环境中的物体进行大量复杂的交互。对人与物体的交互运动进行三维重建是计算机视觉和计算机图形学的重要研究内容,在动画、机器人、增强现实等领域具有广泛的应用价值。当前,人与物体交互运动重建技术在重建的空间范围、结果的完整性以及使用的简便性上仍有诸多限制。本文围绕基于深度相机的人与物体交互运动实时三维重建技术进行了深入的研究,提出了一系列创新算法,拓展了交互运动重建的空间范围,提升了重建结果的丰富度和完整性,简化了系统的要求,为交互运动重建技术的应用提供了有效的方法。本文的主要研究成果和创新点如下:(1)提出了基于模型分割的人与场景联合实时三维重建方法。针对大范围场景与高复杂度人体难以联合实时重建的难题,该方法设计了基于Sigmoid函数的相机运动和人体运动解耦算法,提出了基于配准残差和模型连通性的动静态模型分割方法,建立了对动静模型进行统一稀疏体素表达的混合体素分配机制,最终实现了人与场景的联合实时三维重建。该方法应用于人与物体的交互运动重建中有效地提升了交互运动重建的空间范围(从1.2m×1.2m×1.2m提升到4.9m×2.3m×2.0m)。(2)提出了基于双深度相机的手与物体交互运动实时三维重建方法。针对手与物体交互运动复杂、物体几何多变带来的高维求解难题和手物互遮挡带来的数据缺失难题,该方法设计了双深度相机对视采集方案并提出了基于标准几何体的快速标定方法,构建了物体运动跟踪的轮廓约束和变刚性约束,并建模了手与物体的交互作用,最终实现了交互过程中人手姿态信息、物体几何信息、物体刚性运动和非刚性变形信息的实时三维重建,提升了交互运动重建结果的丰富度和完整性。(3)在使用双深度相机实现交互运动重建的基础上,本文进一步提出了基于单深度相机的交互运动实时三维重建方法。针对单视角下严重的手物互遮挡问题,该方法提出了人手三维关键点预测和手物数据分割的联合学习神经网络,构建了包含人手三维关键点标注及手物分割标注的真实数据集,并为物体重建提出了手物切向接触约束,最终在不降低重建结果质量的同时提高了交互运动重建系统的鲁棒性和易用性。
其他文献
在群智感知系统中,数据包含的敏感信息使得数据发布的过程面临着潜在的隐私泄露风险。本文在本地化差分隐私的框架下,以设计群智感知系统中面向数据发布的隐私保护机制为主要研究目标。根据群智感知数据发布中的数据感知、编码以及分析流程,本文分别从数据的可获取性、数据类型、个性化隐私保护需求以及数据分析四个层面展开研究,明确了现有隐私保护机制在缺失数据统计信息发布、键值对数据关联信息发布、个性化隐私保护以及模型
尾坐式无人机兼具传统固定翼飞机高速巡航与旋翼飞机垂直起降的优点,在军民领域均具有广阔的应用前景。其中,悬停转平飞和平飞转悬停过渡过程是该类无人机特有的飞行状态,但因俯仰角、飞行速度等的大范围变化,对其控制提出了极大挑战,是限制尾坐式无人机应用的关键。本文即针对过渡过程阶段飞行走廊构建、轨迹优化和鲁棒控制等典型问题展开研究,主要工作和创新点包括:(1)为解决传统配平飞行走廊未考虑尾坐式无人机过渡过程
随着数字经济浪潮席卷全球,从国家到地方,都将数字经济作为发展重点。在这样的大背景下,数字化转型已经成为全球电信业的大势所趋,对我国电信运营商来说,数字化转型既是其自身生存发展的市场倒逼应对之举,也是拥抱数字经济商业机会与信息变革的主动选择。本文以J省移动公司为重点研究对象,对J省移动政企转型业务(DICT业务)发展战略进行分析研究,通过案例分析法、深度访谈法、问卷调查法、文献研究法及战略管理方法等
风力发电已成为全球清洁能源的重要组成部分。海上漂浮式风力机因其适用水深范围广、易于大型化、便于移动及灵活拆卸等优点,加之我国海上风电资源丰富,潜力巨大,且靠近以东部经济发达地区为主的负荷中心,就地消纳方便,成为近年该领域重点发展方向之一。为降低度电成本,海上漂浮式风力机正在经历大型化甚至是超大型化进程,并不断向远海发展。随着离岸距离及水深增加,波浪作用对风力机系统干扰加剧,尤其是远海高速风载荷显著
分组密码算法具有高安全性、易于标准化、加解密速度快、适用于软硬件实现等优点,在数据加密领域起着至关重要的作用。本文从分组密码的部件密码学性质、分析理论等方面研究其安全性,包括旋转对称函数的数学性质、非线性变换的差分分支数、几种广义Feistel结构的量子安全性、活跃S盒个数自动化搜索等。基于上述理论研究,设计了一种新的轻量化分组密码算法。分组密码的部件研究 分组密码基本部件包括非线性层和线性层。非
片上网络由于其高度的可扩展性和灵活性,成为了片上系统最核心的组件,能够为核与核之间提供高速且可靠的通信。片上网络的研究主要从拓扑结构、交换技术和路由算法这三方面,路由算法为消息选择合适的传输路径,是影响系统性能的关键因素。因此,对片上网络的路由算法进行研究具有非常重要的意义。本文对mesh网络的路由算法中存在的问题进行了深入的分析,并展开了一系列的研究,主要成果包括:·本文针对现有的二维mesh网
人力资源是企业至关重要的竞争要素,也是判断企业核心竞争力的主要维度。组织需要结合实际工作以及先进管理理念,不断探索、研究和优化人力资源的管理方法,并使其助力于企业发展。近年A公司由于业务发展、人力资源管理以及外部竞争等影响,员工流失较大,影响企业发展。本文基于扩展Mobley模型,结合A公司人力资源相关数据、问卷调查和员工访谈结果分析了员工离职原因,主要包括:(1)个人因素:对企业发展和管理不认同
房地产行业牵涉广泛,是国民经济的支柱产业。近年来,房地产行业在我国蓬勃发展,成为经济增长的重要引擎,在筹集财政收入、支持地方经济发展等方面发挥关键作用。但是房地产企业因税务风险被税务机关查处的情况仍时有发生,企业税务风险的爆发,极大的影响公司自身的生产经营。因此研究房地产企业税务风险的管控,可以帮助房地产企业在市场竞争中取得竞争优势,也可以促进房地产行业的健康发展。本文研究的思路是,根据房地产企业
利用膨胀剂与水和其它胶凝组分的反应产生膨胀,可有效控制水泥基材料的收缩开裂。MgO膨胀剂具有反应需水量小、水化产物稳定、膨胀历程易于控制等优点,可用于补偿混凝土在各龄期的收缩。目前对于MgO膨胀剂的水化作用机理研究很少,无法解释其在使用过程中遇到的过度膨胀、持续膨胀等问题,不利于MgO膨胀剂的推广应用。本文研究了MgO膨胀剂在水泥浆体中的水化反应过程与产物,揭示了MgO膨胀剂的作用机理,观察了Mg
在新能源产业快速发展的大背景下,锂离子电池的市场规模迅速扩大。然而繁荣背后,一方面由碰撞引发的电动汽车电池安全事故频繁见诸报道,另一方面车企为了续航里程的提升,困扰于如何提高电池系统能量密度。可无论是解决电池碰撞安全问题还是针对电池系统结构的优化,都亟待深入研究锂离子电池力学特性。本研究从电池的组分材料力学测试与标定着手,结合微观建模的手段分析其在真实电池内部的力学机理。再利用精细化的建模仿真方法