高保真虚拟数字人的表示与重建

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:zhucejuren2011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
虚拟数字人一直是三维视觉和计算机图形学的研究热点,相关技术更是广泛应用于AR/VR、全息通信、影视/游戏制作等多个领域。数字人的基本研究可描述为将人以及与之相关的人体、人脸以及服装等对象进行数字化表示,表示内容则往往涉及数字人的几何外观和语义信息。前者旨在对数字人的三维几何和材质外观进行高保真的描述刻画,后者则致力于对数字人的语义信息进行有效表示,它们分别对应数字人的外在呈现和语义概括,并可通过数字人的语义参数化模型进行关联。此外,针对不同的任务场景,往往也对应着构建高效、训练有效以及语义理解等不同的任务需求,伴随着则需要在相应的任务场景下设计有针对性的数字人表示方式和重建方法。本文围绕高保真虚拟数字人的表示与重建展开,并取得如下技术贡献和创新成果:面向动态人体的高保真纹理序列表示与生成。深度成像技术的快速发展使得基于消费级深度传感设备的实时动态人体重建方法被广泛研究。我们针对该场景提出一种具有时空一致性的纹理地图快速生成方法。该方法将纹理序列一致性约束转换为网格序列一致性分割问题,并综合考虑序列的一致性时序约束以及纹理成像要求,进而设计有效的目标函数来描述刻画网格序列分割质量。同时,该方法也设计一种高效的序列网格帧间对应快速生成方法来辅助构建并优化该目标函数。当使用H.264对相关生成数据进行编码压缩时,可大幅度地降低纹理地图序列的视频码率,进而有效降低数据内存占有和可能的面向全息通信等技术的传输带宽要求。基于双目的高保真人体神经隐式几何表示与重建。深度学习的快速发展让人们开始探索适于网络训练的三维表示和输入更加简易的重建算法。为此我们提出一种高保真人体几何的神经隐式表示,并基于该表示提出一种仅使用双目图片输入的低成本、高质量人体重建算法。在该算法中,我们将精心设计的体素对齐特征和相对z差特征引入神经隐式几何表示,前者使得相关算法可以深度感知地重建人体几何,后者则帮助算法恢复目标重建对象细粒度的几何细节,并同时能够利用人体深度先验提升相关算法的鲁棒性及其重建结果的完整性。相较于之前算法,该算法显著提升了重建精度,且实现了当时最优的人体重建质量。基于神经辐射场的高保真语义参数化头部模型。语义参数化模型可扮演数字人几何外观和语义信息间的桥梁,并可根据给定的语义参数生成相应的三维表示。这里我们关注人脸头部语义参数化表示,并发现现有的基于传统几何表示的人脸头部语义参数化模型常面临表达能力有限以及几何训练数据收集困难的问题。为此,我们将神经辐射场作为人脸头部表示的三维代理,并将其创新性地应用于人脸头部参数化模型构建。得益于对网络结构、训练策略以及损失函数的精心设计,该参数化模型能够实时地渲染照片级高保真的人脸头部图像,并能直接控制调整目标对象的渲染参数以及语义解耦地编辑生成图像的身份、表情和外观属性。概括来说,本文研究任务场景涉及动态重建场景下的三维数字人外观表示、适于学习训练的数字人几何表示以及高真实感人脸头部语义参数化模型表示构建,内容上则涵盖了数字人几何、外观以及语义参数化表示多个方面。文中丰富的实验测试也验证了提出的表示及其相关重建算法的有效性和优越性。我们相信文中对虚拟数字人综合且全面的改进将有效推动虚拟数字人的相关研究,从而帮助人们进一步向未来数字人迈进。
其他文献
等几何分析是美国国家工程院Hughes院士等人于2005年提出的数值偏微分方程求解框架,该框架将计算机辅助设计(CAD)中表示几何的基函数运用于计算机辅助工程(CAE)中的有限元分析(FEA)过程,以期实现CAD与CAE间的无缝融合。相比于传统的有限元方法,等几何分析框架避免了网格生成的巨大时间开销,简化了网格加细的步骤,消除了网格近似导致的几何误差,提高了数值分析的效率和精度。等几何方法提出后,
学位
本论文先总结了电化学发光(ECL)的基本概念、原理、典型反应体系、常见的ECL生物传感器分类以及信号放大技术在ECL生物传感中的应用,介绍了 DNA分子逻辑体系的概念、大致分类、应用、急性心肌梗死的概况及其生物标志物等内容。然后围绕着ECL生物传感器研究中普遍关注的一些关键问题(如灵敏度、选择性、稳定性、重复性、普适性等)和DNA分子逻辑器件的运行能力的提高开展了以下研究:一、构筑基于信号放大技术
学位
[目的]分析总结杨传华教授治疗高血压的思路。[方法]通过随师临诊,整理医案,总结杨教授临床预防及治疗高血压的经验,以藏象理论、血脉理论、络脉理论为出发点,总结治疗高血压的理论,并附一验案予以佐证。[结果]杨教授认为,肝、脾、肾三脏为高血压疾病的病机核心,且青年在肝,以调肝为主;中年在脾,以健脾为要;老年在肾,以补肾为需。并提出从微观脉道和血脉理论方面治疗高血压疾病的新思路,认为络脉的异常可直接从微
期刊
世界能源消耗很大程度上依赖化石燃料的燃烧,其引发的能源和环境危机使得能源转型成为21世纪人类社会面临的重要课题和挑战。同时,为满足电动汽车、手机、柔性电子等各种新型设备的供电需求,开发低成本、高效、清洁、可再生的新能源转换和存储装置(如锂电池和电解水装置等)至关重要。然而,目前这些新能源装置的电极材料仍然难以满足实用化性能或者严重依赖于贵金属基材料,阻碍了新能源装置的大规模发展和商业化应用。3d过
学位
中子散射超导磁体产生的稳态磁场广泛应用于散裂中子源装置中的样品环境谱仪,对于改善中子散射样品环境的实验技术,意义深远。为了能够得到适用于中子散射的稳态磁场,需要对中子散射超导磁体的多维度参数进行实时检测,并对采集的多维度参数进行分析计算,得出相应的控制指令,有效可靠的控制中子散射超导磁体的主要设备,保障超导磁体安全稳定运行。针对中国散裂中子源样品环境对稳态强磁场的需求,本论文主要针对中子散射超导磁
学位
电子与物质相互作用时的二次电子发射与许多研究和技术应用相关,这些应用领域包括扫描电子显微镜、航天器工业、高能加速器和辐射生物学。然而,即使在二次电子发射现象被发现一个世纪后,由于测量数据存在较大偏差,仍然很难有可靠的实验数据。此外,传统的理论方法不能描述与材料相关的二次电子产额,也没有计算绝对产额的公式,可用的公式仅针对约化产额。因此,非常需要一种准确和有效的新方法,在足够广的入射能量范围内预测元
学位
中国幅员辽阔、地形复杂,在地理上依据高原、山地、丘陵和平原的分布及地势走向,将中国地域分为三级阶梯。独特的三级阶梯地形分布形成了我国独特的气候格局,其中也包含了这种地形对东亚大气环流、云降水时空分布及垂直结构等大气参数的影响。研究中国三级阶梯的云降水垂直结构及其大气温湿结构等特征,可以认知地形对降水产生作用的规律,并为数值模式模拟地形降水提供观测依据。本文利用热带测雨卫星(TRMM)上搭载的测雨雷
学位
本论文主要聚焦于两方面研究,其一是以XY模型为载体研究系统纠缠熵(α-Rényi)的有限尺寸效应及其物理意义,并推广到多体离散块系统。本文简单地回顾了香农熵、互信息的性质,然后将这些性质推广到纠缠熵(α-Rényi);接下来将详细介绍纠缠熵的解析计算方法,并以XY模型为例来探讨系统分别处于无能隙相和有能隙相的有限尺寸效应;最后考虑了多体情形,我们计算了均匀膨胀多体离散系统的有限尺寸效应,其性质与单
学位
随着电子产品朝小型化、大功率和高频率的方向发展,系统级封装和3D封装亟需高性能的电子封装材料。5G通讯技术的发展加快了高性能电子封装材料的研发。聚合物因其优异的性能已经被广泛应用于电子封装材料中。但是,随着系统集成技术的发展,聚合物的导热性能差进而引起的芯片热集聚问题逐渐成为制约电子器件发展的瓶颈。目前关于聚合物基电子封装材料导热性能的提升已有大量的报道,包括聚合物本体导热系数的提升和填充型高导热
学位
在高校声乐教学中渗透审美教育,不仅能充分挖掘学生的音乐潜力,还有助于学生树立正确的人生观和价值观,指引他们建立健全的人格并拥有积极乐观的心态。在高校的声乐教学中,无论是作品的意境还是歌曲内容,都蕴含着强烈的美学因素,都能对学生的审美价值取向和艺术表现力进行正确引导。本文将站在高校声乐教学审美教育渗透的角度,对现如今高校声乐教学存在的问题进行简要分析,并深入研究审美教育渗透路径,希望能促进高校声乐教
期刊