【摘 要】
:
大多数的用户在网络上发布图像或者视频之前,会使用一些图像处理软件来编辑人脸图像,例如磨皮、祛痘等操作,而经过编辑后人脸图像一般都会变得不够真实。其主要原因是,大多数算法在处理人脸图像的过程中,丢失掉人脸图像中的部分纹理细节和光照信息。使用逆渲染算法来编辑人脸图像,能够保留足够的纹理细节和完整的光照信息,使得编辑后的人脸图像看上去更加真实。同时,逆渲染算法不仅仅能保证人脸图像在编辑前与编辑后光照信息
论文部分内容阅读
大多数的用户在网络上发布图像或者视频之前,会使用一些图像处理软件来编辑人脸图像,例如磨皮、祛痘等操作,而经过编辑后人脸图像一般都会变得不够真实。其主要原因是,大多数算法在处理人脸图像的过程中,丢失掉人脸图像中的部分纹理细节和光照信息。使用逆渲染算法来编辑人脸图像,能够保留足够的纹理细节和完整的光照信息,使得编辑后的人脸图像看上去更加真实。同时,逆渲染算法不仅仅能保证人脸图像在编辑前与编辑后光照信息的一致性,还能根据任务的需求,修改图像中的光照信息,例如,在保留足够纹理细节的同时,把光线较为暗淡的人脸图像修改成为较为明亮的图像。本文主要针对真实人脸图像的逆向渲染问题进行了研究。主要工作如下:1)现有方法利用合成人脸图像数据对基于深度学习的Sf SNet网络模型进行全监督训练,将人脸图像分解为本色图、法线图和光照参数等三个部分,再重建出人脸图像。由于真实的人脸图像并不存在与其对应的本色图、法线图和光照参数,即没有可用于监督的标签,因此无法使用真实人脸数据监督训练网络模型。但是,真实人脸图像与合成人脸图像之间存在域间隔,使用合成人脸图像数据所训练的模型,通常无法直接应用到真实人脸图像上。为了解决这一问题,本文在最新Sf SNet算法的基础上设计了Align-net结构,提出了一种弱监督训练方法,利用人脸视频数据中不同帧本色图和法线图身份一致性,使用Align-net弱监督Sf SNet网络模型和本文提出的Illu Res-Sf S网络模型,解决了真实人脸数据与合成人脸数据之间的域间隔难题,使得训练出来的网络模型能够有效地逆向渲染和重建真实人脸图像。2)Sf SNet算法中使用的朗伯体光照模型存在局限性。朗伯体光照模型通过多阶球谐函数表征光照信息,该模型仅适用于朗伯体。Sf SNet算法仅保留了朗伯体光照模型中的前三阶球谐函数系数,丢掉了其余高阶分量。同时真实的人脸不属于完全的朗伯体,因此该Sf SNet算法无法处理真实人脸图像中的部分纹理细节和部分光照信息。为此,本文提出Illu Res-Sf S深度学习算法,在分解出本色图、法线图和光照参数的前提下,进一步取出人脸图像中的光照残差图,光照残差图包含Sf SNet算法和朗伯体光照模型中忽略的纹理细节和光照残差分量。我们提出的算法能够有效提升本色图、法线图和重建人脸图像质量。本文从主客观的角度全面评估了基于Align-net的弱监督学习和Illu Res-Sf S算法的性能,对比实验结果表明本文所提出的基于弱监督学习的Illu Res-Sf S算法优于其他最新的人脸图像逆渲染算法。
其他文献
学术翻译是连接国内外学术思想文化的桥梁。随着桥梁的筑起,学术翻译持续为中外思想文化注入新鲜血液,但同时也存在一些发展问题,导致了目前国外学术文献的汉译版本良莠不齐的状况。因此,对学术翻译实践活动进行记录、分析和研究的工作至关重要。笔者以石瑞教授(Charles Stafford)编辑和撰写的人类学著作《中国日常伦理》第一章为源语文本,在获得作者本人授权后,进行了为期四个月的翻译实践,期间浅得一些成
碳纤维增强树脂基复合材料具有高强高模、耐疲劳性好、重量轻、可设计性强等优点广泛的应用于各个领域。但碳纤维的乱层石墨结构导致其表面非极性,与树脂基体之间的浸润性差,
浮力驱动气泡上升现象广泛存在于现代工业生产过程中,对液体中气泡的上升行为特性及规律的认识极为重要。已有研究表明,在液气多相流体系中引入电场能够有效地控制气泡的变形
时至今日,可逆-失活自由基聚合(Reversible-Deactivation Radical Polymerization,RDRP)已成为合成结构精确、分子量及分子量分布可控的聚合物的重要聚合方法。其中,嵌段共聚
当前,基于微尺度燃烧的微动力系统在军事、民用等多个领域的微型、小型设备上都有广阔的应用前景,对于微尺度燃烧过程的研究也得到了众多研究学者的重视。微尺度燃烧具有能效
表面等离子共振(Surface plasmon resonance,SPR)传感是一种基于折射率检测的技术,由于具有极高的探测精度,并且可以进行微量无损检测,在现代生物医疗方面具有重要作用。传统SPR检测仪是角度调制型仪器,体积较大,不便进行微小环境下的检测;光纤SPR传感器采用波长调制,具有体积小、结构紧凑、本身不受电磁干扰、远距离光传输信号稳定等优点受到了学者们的青睐。光纤SPR传感器的发展时
随着黄河流域生态保护和高质量发展成为重大国家战略,城市群作为黄河流域承载发展要素的主要空间之一,如何实现以城市群发展带动流域高质量发展成为一个关键问题。基于此,本
随着贸易的全球化、市场的多元化,港口越来越展现出其枢纽地位。港口起重机作为港口码头中的主力军,承担了大部分的装卸工作。岸边集装箱装卸桥(以下简称岸桥)作为港口起重机中的一个典型代表,其结构复杂、工作速度快,一旦发生事故,轻则设备损坏,重则机毁人亡。同时,随着岸桥服役年限的增加,加之空气中的水分与盐分的腐蚀,岸桥的故障率会因为金属结构性能的降低而逐年提高。因此,开展岸桥的安全评价工作具有十分重要的意
在本文中,我们用嵌入方法讨论了弱范数一致有界的黎曼度量的光滑化问题.本文按照Petersen,Wei及Ye的方法,即:局部嵌入到希尔伯特空间,从而达到度量的光滑化,并且具体计算出光
1985年,媒介环境学者乔舒亚·梅罗维茨从媒介技术视角考察了电视时代儿童的成人化趋势。三十多年后,电视似乎成了“过去式”,移动媒介已深深嵌入到儿童生活当中,成人化趋势不减反增。与之相伴的手机网游,正凭借生动的画面、操作的快感吸引着儿童玩家的注意力,重构着当代童年。基于此,本文沿着梅罗维茨媒介情境论的方向,将手机网游视为一种新型媒介,考察手机网游场景对儿童“成人化”的影响,即手游的“催熟”机制。主要