基于深度学习的人脸逆向渲染与三维重建方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:huninbo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸因为具备空间信息,在诸如人脸识别、影视娱乐和医疗美容等很多应用场合都是重要的研究对象。三维重建的目的是二维样本重建出三维人脸,这是一个逆向的病态问题。传统的基于模板的方法利用大量三维样本作为先验知识建立人脸形变模型,但这类方法仍存在重建精度低,重建人脸真实性不足等问题。近年来,深度学习方法在三维重建领域的应用表现出优越的重建效果和重建速度。综合国内外对三维人脸重建技术的研究成果,本文课题是在深度学习理论基础上,展开对单图三维人脸重建技术的研究探索,研究目标是从单幅无三维标签的人脸图像中重建出真实性强、精度高的三维人脸。主要研究工作如下:第一,提出一种基于可微分渲染器的三维人脸重建算法。目前一些自监督学习的三维人脸重建算法中使用的光栅化渲染器并不是完全可微分的,这阻碍了神经网络利用梯度下降来优化网络参数,从而影响了三维人脸重建的精度。针对这一问题,本文引入一个可微分渲染器以一种软光栅化的方式渲染图像,稳定训练过程。此外,本文添加了一个生成伪样本标签的支干网络,并在整体网络中添加对抗性损失和身份一致性损失约束网络训练方向,实现在多姿态条件下能够重建出身份特征显著的三维人脸。在实验结果上中本重建算法对比之前的自监督算法在重建精度上约有8%的提升。第二,提出一种基于生成对抗网络的人脸逆向渲染与重建算法。基于图形学规则的渲染器由于简化了真实世界中的照明、反射模型,其所渲染的图像与真实图像之间存在域间隔,这给网络优化或训练的过程带来大量域转移噪声。针对这一问题,本文训练一个条件生成对抗网络模拟渲染器从三维人脸生成二维图像的过程,并将该渲染器置于基于优化的算法框架中,根据一个良好的初始值,迭代优化得到三维人脸参数。整体网络实现了二维图像重建三维人脸几何形状的逆向渲染过程,对输出参数做出修改并将其返还给渲染器,可以实现人脸图像编辑的作用。在实验结果中该算法在重建精度上对比目前主流的自监督算法约有8%的提升,并且可实现在对人脸图像进行风格迁移和人脸替换的操作。
其他文献
热探测器由于其轻便、价格低廉以及响应光谱范围宽的优点有望取代光子型探测器普及到民用领用,然而响应速度慢、信噪比较低的缺点限制了其在许多场合的应用。热释电探测器由于其材料内部极化变化的速度非常快以及天然的过滤低频噪声的能力成为了克服热探测器缺点的首选。本文基于300~350nm厚的LiNbO3单晶薄膜设计了热释电探测器新结构,通过MATLAB以及有限元仿真软件COMSOL系统的分析了结构参数对探测器
学位
关于出甲醇合成塔合成气管道,华东理工工艺包在选材上基本都是使用不锈钢,国外工艺包如戴维、鲁奇和卡萨利在选材上使用铬钼钢。在煤化工项目运行过程中,以市场价计算不锈钢每吨价格比铬钼钢高出很多。调查研究可知,该出甲醇合成塔合成气管道在选材上可能使用铬钼钢。针对上述问题,本文将着重讨论出甲醇合成塔合成气管道如何选材,在满足本质安全的基础上,可以优化工程项目成本。
期刊
触觉传感器能够将自然界中的机械信号转化成电路系统可处理的电学信号,在生物医学、仿生机器人和人工智能等领域具有广阔的应用前景。近年来,与薄膜晶体管(TFT)集成的触觉传感器由于适合探测微弱信号和易于阵列化等优点得到了国内外学者的广泛关注。本文首先研究了纳米氧化锌ZnO(Nano-ZnO)压电触觉传感器和薄膜晶体管的制备。在此基础上,将压电传感器和TFT集成,实现了压电响应良好的集成触觉传感器。本文的
学位
宫颈癌是一种常见的恶性肿瘤,严重威胁着育龄妇女的生命健康。放射治疗作为宫颈癌的主要治疗手段被广泛使用,而放射治疗依赖于医学影像。所谓医学影像,指的是借助某些方式,从外部对人体或部分结构进行“探索”,获取其内部的影像资料的过程。通俗的说,医学图像可视化了人体的内部构造。具有经验的医生通过观察医学图像,找出其病变区域。在放射治疗中,还需精准勾画肿瘤靶区和危及器官,以进行进一步的诊断。所以说,从医学图像
学位
在低光环境下拍摄的图像存在着曝光度不足、噪声过大、图像纹理退化、对比度降低等问题。这不仅影响了图像本身的感知质量,而且严重阻碍了依靠准确语义信息的高级计算机视觉任务的发展。目前,利用深度学习的方法来解决低照度图像问题已经取得了巨大的成功,但一些问题依然有待改进:一、低照度图像中较大的暗区域由于缺乏相关的语义信息往往难以准确增强;二、当前的深度学习方法缺乏对图像全局信息的关注,增强后的图像容易出现颜
学位
无人船(Unmanned Surface Vehicle,USV)作为一种无人化智能设备在海洋经济发展中担当起了重要角色,并且凭借其高自主性、高机动性、强稳定性在军事和民用领域应用愈加广泛。在有关无人船的众多关键技术领域中,决定无人船安全稳定的运动控制系统是目前备受关注的研究课题。本文以涵道式双螺旋桨推进无人船为研究对象,搭建了一套用于水声通信及路径跟踪控制实验的无人船平台,同时研究了单无人船的路
学位
超快电子脉冲在研究超快动力学、探测材料的内部结构并揭示其表面组成等方面有着巨大优势。电子条纹技术固有的大束流穿越路径以及空间电荷效应限制了电子脉冲可达到的最大时间分辨率。传统的射频电子加速技术由于加速器长度和将电子加速到高能所需的总存储能量通常体型很大且价格昂贵。然而,许多应用要求用于产生超快电子脉冲的设备减小尺寸和降低成本。表面等离极化激元(Surface plasmon polaritons,
学位
十九大提出海洋强国战略,十四五规划将为建设中国特色海洋强国提速,海洋的发展受到重视,其战略地位凸显。无人船作为加强海洋经济中智能化、自动化的一环,具有广阔的发展前景。路径规划更是无人船众多技术领域中重要的一环。然而,相较于地面环境,海面环境复杂,存在风浪流等外部干扰,严重影响无人船的续航能力。海面上存在除岛屿、礁石这类不可通行的障碍物外,还存在具备探测或攻击能力的风险区域。无人船的续航能力和安全性
学位
本文通过对甲醇合成过程工艺条件和费托合成过程工艺条件的对比分析,提出合成气中羰基铁在甲醇合成催化剂上分解并沉积铁元素,继而催化了费托蜡合成副反应是系统产生蜡的主要因素,有针对性地提出减少产生蜡的解决方案,有效提升了装置运行效能。
期刊
随着化工产业的高速发展,作为当今化工产业重要的工业原料,如何提高甲醇产品的整体品质,并使其合成的产品在质量和数量上达到行业需求,已成为行业内关注的话题。本文首先分析了甲醇合成反应原理、操作流程以及合成方法,随后介绍了甲醇合成塔,最后介绍了甲醇合成工艺优化措施,包括工艺参数优化、处理设备优化以及控制措施优化,希望能给相关人士提供有效参考。
期刊