人脸合成中的去几何和光照变化研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:wangfang1896
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何有效地去除人脸图像中的几何、光照变化进而合成标准光照下的正面人脸图像,是人脸识别研究中一个亟待解决的问题。本文针对该问题展开了系统性的研究,提出了多种基于深度神经网络的人脸合成方法。本文的主要工作和贡献包括以下几个方面:  1.提出了一种能够去除人脸图像中几何和光照变化的深度神经网络,旨在学习具有视角不变性的人脸特征表达,并合成正面人脸图像。该网络包含两个串联的模块:第一个模块用来学习输入人脸图像对应的姿态;第二个模块包含多个子网络,其中每个子网络的输入为对应于一个特定视角、不同光照条件的人脸图像,输出为与输入图像相对应的标准光照下的正面人脸图像。该网络需要较少的计算资源,而且只需要较少的训练数据就能够学习到人脸图像的由视角变化引起的几何变化。在基准数据集Mutli-PIE上的对比实验结果表明,该网络的性能优于文献中的四种方法。  2.提出了一种两分支的深度相关网络,旨在融合几何和纹理特征从而实现正面人脸合成。该网络包含一个几何分支网络和一个纹理分支网络,网络的输入为任意视角下的单幅人脸图像:首先,利用这两个分支网络分别提取输入图像的几何特征和纹理特征。然后,引入一个相关层融合这两种特征。最后,利用融合后的特征合成标准光照下的正面人脸图像。在基准数据集Multi-PIE和LFW上的实验结果表明,该两分支深度相关网络的性能优于文献中八种当前流行的方法。  3.提出了一种深度分解连体网络(Deep Disentangling Siamese Network),旨在利用图像对来合成标准光照下的正面人脸图像。不同于其他相关文献将单幅图像作为网络的输入图像,该网络将一对具有随机身份、角度和光照的人脸图像作为网络的输入图像,将正面人脸合成问题建模为一个关于人脸图像的编码-分解-解码的过程:首先,连体网络中的编码模块学习到输入图像对的特征表达。然后,分解模块将这对人脸特征表达分别分解为代表身份、角度和光照信息的特征表达。最终,解码模块将身份表达转换为正面人脸图像。在基准数据集Multi-PIE上的定性和定量实验结果表明,该深度连体分解网络的性能优于文献中九种当前流行的方法。  4.提出了一种能够去除人脸图像中角度变化和遮挡的生成对抗网络(Generative Adversarial Network),旨在从遮挡的人脸图像中恢复对应的正面人脸图像。该生成对抗网络使用一个编码器-解码器的网络结构作为生成器,并同时引入两个判别器:一个是全局判别器,用于区分整张人脸图像的真实性,同时保持身份特征不变;另一个是局部判别器,用于区分人脸中遮挡区域的真实性。此外,引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。在基准数据集Multi-PIE上的定性和定量实验结果表明,该生成对抗网络的性能优于文献中九种当前流行的方法。
其他文献
无速度传感器矢量控制变频调速技术是近年来国内外学者研究的热点.该文从无速度传感器矢量控制系统的控制对象(异步电机)、控制策略、数字化实现以及异步电机稳态参数自检测
超级电容器(又称电化学电容器、电双层电容器)是一种介于传统电容器和电池之间的新型储能元件,属新一代绿色能源.在使用超级电容器时,如果需要较大的电量,就需要采用电容器组
随着以太网的普及,家用电器及工业现场控制器也将普遍采用网络接口。利用32位高档MCU(如ARM芯片)做开发对开发人员要求较高,开发周期长,相对于大量并不复杂的控制要求来说,有必要
载人航天发射工程对发射场供配电系统的可靠性提出了更高的要求,传统的通过操作手现场抄表来进行电网运行参数记录的方法已经远远不能适应任务的需求,建立在线式供配电监测系
视觉位姿测量即利用视觉技术来感知和获取周围环境中的地理或人工信标的相对位置信息,从而计算载体相对于目标的位置和姿态.视觉位姿测量在科研、工业、医疗、娱乐、军事、空
我国原铝产量位居世界第一,但是铝电解关键技术和基础理论研究薄弱,导致我国铝电解工业资源消耗高、能源利用率低、三废排放大。我国的铝电解槽寿命只有4到6年,比国外平均寿命少
将外部设备连接到计算机上时,USB(Universal Serial Bus)接口是优先的选择.不管是使用外围设备的用户,或是开发USB软硬件的设计者,USB都有让双方满意的特性.从客户端的观点来
该课题从工程实际出发,对基于电磁加热技术和软开关技术的电磁炉控制系统设计和应用进行了研究,旨在为国内的电磁炉及其它应用电磁加热系统的家电设计探讨一种新的思考及实践
产生于中枢神经系统的脑电信号包含丰富的情感生理信息,非常适于情感识别方面的研究。近年来,伴随着信号处理和机器学习技术的快速发展,基于脑电信号的情感识别正在成为模式识别
在靶场试验中,飞行目标的三维姿态参数是反映目标飞行状态的重要指标,对武器系统的研制、开发都具有十分重要的意义.目前,靶场对空中飞行目标的姿态测量,主要还是采用遥测或