基于三维人脸重建的人脸动作重定向研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:a294953312
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,在人工智能、虚拟现实等新技术浪潮下,虚拟数字人技术正在得到越来越多的关注。其中,人脸动作重定向是虚拟数字人技术的重要组成部分,目标是从普通RGB人脸图像中捕捉人脸的动作(人脸表情与头部旋转姿势),并重定向到其他定制化的3D角色人脸上。该任务通常被建模为三维人脸重建问题,通过估计3DMM人脸模型的身份、表情、头部旋转系数等进行三维人脸重建,然后将最终估计的表情系数和头部旋转系数重定向到目标3D角色上。目前,基于三维人脸重建的人脸动作重定向技术面临着以下挑战。第一个重要挑战是当前缺乏一套同时具有语义表情模型和纹理模型的高质量3DMM人脸模型,难以利用现实世界丰富图像数据进行自监督训练来提升模型泛化性能。第二个重要挑战是由于3DMM人脸模型的身份属性和表情属性没有完全解耦,导致当前的方法对人脸表情的估计准确度不够高,影响了人脸动作重定向的效果。为了解决上述第一个挑战,本文提出构建一个同时具有语义表情模型和纹理模型的高质量语义3DMM人脸模型。基于此3DMM人脸模型,本文提出了一个自监督人脸动作重定向算法,以充分利用丰富的图像信息,通过多项自监督损失函数进行训练。为了评估人脸表情拟合的准确度,本文还收集和构造了一个表情评估测试集。在基准数据集上的大量实验证明,本文提出的自监督人脸动作重定向算法取得了较好的三维人脸重建性能和人脸动作估计性能。为了解决上述第二个挑战,本文探索利用视频序列中同一个人的多帧视频帧信息,提出一个简单有效的身份一致性约束,通过从同一个人多个视频帧中学习一致且准确的人脸身份,来提高表情估计性能。此外,本文还提出一个表情互斥约束来抑制互斥表情单元的同时出现,以进一步促进人脸表情的准确估计。在人脸动作重定向和三维人脸重建的基准数据集上的大量实验证明了本文所提方法相对于其他最先进方法的优越性。
其他文献
近些年,为了满足医疗健康检测及人机界面互动的需求,柔性导电聚合物材料受到了人们的广泛关注。随着科技的快速发展,柔性导电聚合物材料已经拓展应用到各种领域,例如可穿戴柔性传感器、电子皮肤、软机器人等。其中柔性传感器可以被用来检测与收集人体的各种生理信号,拥有广阔的应用前景。传统柔性传感器尽管表现出良好的导电性,但它们往往缺乏可调节的机械性、可加工性、生物相容性。导电水凝胶材料可以弥补上述缺点,并且应用
学位
共轭聚合物作为一类具有优良光电特性的高分子材料,主要用于光电领域,近年来发展迅速。目前,具有优良特性的光电共轭聚合物其分子设计及器件的制备过程已被广泛探究,然而针对其溶液行为及薄膜凝聚态结构的研究因受限于研究方法却鲜见报道,但是其溶液行为由于在内部因素或者外界因素诱导调控下产生的溶液行为变化却对后期器件制备具有重大影响。从其溶液到薄膜的动力学过程中,共轭聚合物分子链要经历从单链到聚集的缓慢自组装过
学位
凝血机制是人体维持正常生理活动的重要机制,凝血和抗凝血的动态平衡保证了人体的血液循环及止血。癌症是目前严重威胁人类生命健康的重大挑战之一,癌症会破坏正常的凝血功能,癌症患者需同时面临出血和癌栓的共同风险。凝血酶在凝血和抗凝血过程发挥着十分重要的作用。凝血酶适配体是调控凝血酶凝血活性的有效物质。但要满足其在癌症患者治疗方面的需求还需要解决智能响应等问题。针对此问题及癌细胞微环境的特点,我们设计制备了
学位
近年来,工业界与学术界涌现出各式各样的知识图谱。这些侧重于不同领域、基于不同数据库的知识图谱之间存在着大量的共同实体。为了寻找这些共同实体以实现知识图谱之间的知识融合,实体对齐任务应运而生。知识图谱表示学习的出现为实体对齐提供了新的解决方案。然而,现有的大多数基于知识图谱表示学习的实体对齐方法在利用实体邻域信息建模中心实体时,不但没有考虑邻域信息中关系多语义的影响,而且没有剔除掉对实体对齐无用的邻
学位
知识图谱以结构化的方式描述客观事实,可以帮助人们更有效地获取、管理和使用互联网中的复杂数据信息,具有广泛的应用价值。知识图谱推理旨在根据知识图谱中已有的知识推理出知识图谱中缺失的部分,可以帮助丰富、完善知识图谱,具有重要的研究意义。现有的时序知识图谱的知识推理方法主要使用知识表示学习方法将实体和关系映射为低维向量来提取邻域特征信息,然后使用循环神经网络学习时序特征信息,根据这些信息对未来的事件进行
学位
随着时代的发展和人类社会的进步,各种便携,可穿戴,可监测的柔性传感器纷纷涌入人们的视野之中,已成为生活中不可或缺的一部分,传感器的制备和改善成为科学家们研究的热点。传统的以碳基材料,导电聚合物或者金属材料为导电基质构建的水凝胶传感器通常面临着一些问题,比如,碳基材料固有的疏水性和较差的溶解性,导电聚合物的较强的刚性和差稳定性,金属材料的工作电压较高且价格昂贵,这些导电材料的缺点限制了其在传感器领域
学位
近年来,随着人工智能和自然语言处理技术的发展,机器阅读理解技术受到广泛的关注。这项技术赋予了计算机理解文章的能力,从而辅助用户快速得到问题答案。然而,现实中的文本含有大量的数值词符,该类数值文本难以被直接建模。与非数值词符相比,数值词符还包含数值离散信息,例如数值之间包含大小等偏序关系、数值之间可以进行四则运算等。如何对数值离散信息进行建模还未被深入研究。本文在机器阅读理解原有的研究成果上,针对数
学位
电控荧光是指通过电化学刺激,使材料发生氧化还原反应,进而对材料的荧光性质如开关、颜色等进行可逆的调控的一种行为。电控荧光材料具有颜色变化鲜艳、安全可控、能耗低等一系列优点,在显示、传感、防伪等领域具有广阔的应用前景。然而,目前设计报道的电控荧光材料大多存在荧光对比度低、驱动电压高、转变速度慢、稳定性差等不足,限制了其进一步发展。因此,探索合成具有良好电控荧光性能的新型材料具有重要意义。三苯胺结构具
学位
随着科学技术的发展,纳米材料已被广泛应用于催化、传感、医疗等众多领域。由于其特殊尺寸,它具有不同于常规大尺寸材料的特殊性能。例如,表面效应、小尺寸效应、量子尺寸、宏观量子隧穿效应等,赋予其独特的光学、磁性、电化学性能。基于其优异的光学成像性质,良好的生物相容性,小尺寸容易被细胞内吞的特点,纳米材料在疾病成像与治疗方面的应用受到越来越广泛的关注。通过对纳米粒子表面功能化与疾病特异性靶点结合,实现疾病
学位
近年来,随着社会进入大数据时代,文本摘要生成任务愈发受到研究人员的关注,其目标是针对篇幅较长的文本生成能够简洁准确反应原意的短文本摘要。当前的文本摘要生成方法分为两类:抽取式摘要生成方法和生成式摘要生成方法。前者为从原文本中抽取部分片段,组合构成摘要。后者为直接根据原文生成摘要,可出现原文中未有的词汇。本文研究针对的是文本匹配范式的抽取式摘要生成方法。现有的相关方法使用预训练语言模型分别抽取文档、
学位