基于条件对抗自编码器与生成对抗网络的人脸衰老图像生成

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:zmjmengm1988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于深度学习的、与年龄相关的人脸图像分析已经成为计算机视觉领域的一个重要研究内容,在众多深度神经网络模型中,生成对抗网络是最具魅力的模型之一,它强大的生成能力让我们可以完成许多有趣的事情,例如图像风格迁移、文本到图像的合成、图像超分辨率、人脸衰老图像生成、图像修复等。人脸图像衰老合成作为一个应用范围非常广泛的研究方向,包括追捕通缉犯、寻找走失儿童、自动升级职员数据库、提高人脸识别系统的鲁棒性以及科普展示与娱乐等,已经引起越来越多的关注与研究。然而如何产生可信的、自然的人脸衰老图像仍然面临诸多挑战。在传统的人脸衰老图像生成方法中,基于原型的方法所得的合成图像会丢失特定于人的身份信息,从而导致合成的人脸缺乏真实感,基于物理参数模型的方法需要大量的跨年龄人脸图像样本和复杂的运算。随着深度学习的快速发展,已经出现一些基于深度神经网络,例如生成对抗网络、循环神经网络等,来进行人脸衰老图像生成的研究。本文对人脸图像衰老合成的研究现状进行总结,探讨如何基于条件对抗自动编码器与生成对抗网络的进行人脸衰老图像生成,并提出三点改进措施:(1)基于目标检测常用的PANet网络结构,在编码器中添加多尺度特征融合模块,提取多尺度、融合高低层特征;(2)将空间金字塔池化层运用于解码器中,进而可实现同一特征图不同区域特征的融合,提高了模型的特征表达能力。该模块通过卷积层降低维度,通过池化层提取不同区域特征,充分利用低维度特征,得到高维度特征;(3)在解码器中添加空洞卷积模块,该模块中主要使用带有空洞率的卷积层,通过多个尺度空洞卷积层的串联从而可以提取不同局部感受野的特征,最后再将这些特征融合起来作为新的特征,用于后续人脸图像的生成。在实验分析部分,基于UTKFace人脸数据集和CUHK Student数据集进行实验,并与HRFAE、IPCGAN进行了定性与定量的比较分析,主要成果为:(1)基于上述算法改进后的模型相比原始CAAE模型,更不容易过拟合。具体表现是在实际训练过程中,原始CAAE模型在训练30轮左右效果最佳,过多的训练反而会使各模块损失变大、结果变差。相比之下,我们的模型训练48轮以后效果达到最优,更不容易过拟合;(2)本文提出的模型所生成的人脸衰老图片同时具备较高的清晰度,面部衰老变化自然并且保持了人物身份信息的高度一致,相比之下,HRFAE模型所生成的人脸图片最为不清晰并且脸部存在大量的色斑,并不能体现出人脸的轮廓、头发的颜色随着年龄增大的变化等重要的衰老特征。IPCGAN模型生成的人脸衰老图片在清晰度、平滑度方面表现优异,生成的照片具有高度的真实感,但是所生成的人脸图像与原始照片存在较大的人物身份信息差异;(3)在图像质量主观定性评价上,本文提出的模型合成图像的质量优于IPCGAN和HRFAE,在两个数据集上MOS平均值接近3,在3个模型中为最优。说明从人眼视觉效果出发,本文提出的方法生成的人脸图像老化效果更优,并且更接近于原始图像;(4)无论是在UTKFace数据集还是在CUHK Student数据集上,本文提出的方法在3项客观图像质量评价指标(PSNR、SSIM、FID)上均达到了最优表现,这与主观的定性评价结论一致,充分说明我们的方法所生成的人脸图像具备更高的图像质量;(5)通过消融实验可以发现,只有当我们的模型构成为多尺度特征融合+空间金字塔池化+空洞卷积时,PSNR值最大、SSIM值最大、FID值最小,说明只有当添加的三大改进模块同时存在时,生成的人脸图像质量最高,缺少了任意一个或几个模块均会导致指标表现变差,充分说明本文提出的改进模块的有效性。
其他文献
随着中国经济的发展,中国家庭的财富逐渐增加,为了实现对资产的增值保值,普通个人对投资的需求也不断加大。股票二级市场创造了许多财富神话,成为了不少人投资的重要选择,伴随着股票市场高收益的则是股票市场的高风险。普通个人凭借自己的知识和研究,虽然也有可能在股票市场中获得收益,不过这种可能性的确不高。目前中国的股票市场已经有大量专业的机构投资者,机构投资者往往吸引了最优秀的人才加入,组成有体系的研究团队,
学位
期刊
作为经济市场运行的基础之一,市场信息效率逐渐进入我们的视野。由于当前市场普遍处于非理性的假设下,资产的价格并非是一成不变的,市场中的信息以及某些不可控的噪音都会对其造成影响影响。此时,信息这一变量便成为调节市场运行状态的重要因素,它可以直接对资产价格造成影响,同时能对市场噪声造成的影响进行控制。当资本市场具有较高的信息效率时,投资者可以充分地挖掘存在公司中特有的,未被公开的信息,从而将资源流向引导
学位
在2019年12月20日,黄金期权正式在上期所上市,这是中国衍生品市场进一步发展的重要标志。期权以期货为基础,是一种新的金融衍生产品,具有独特的投资功能和风险管理价值。在2015年2月,中国期权市场推出了第一只期权——上证50ETF期权,相较于海外市场发展较晚。但随着期权制度建设的日益完善,期权市场的涉及范围与国内外影响力日益提高,国内对于期权的需求也日益扩大。自2017年3月起,国内陆续推出了豆
学位
随着人工智能技术的逐步发展,以及围绕图像的深度学习体系的不断完善,深度学习在图像分类领域中愈发发挥着无法替代的角色,其应用范围更加广泛,过往的难题也更易解决。依托过去的技术,实现光伏行业中光伏电池片的缺陷自动分类极为困难,现借助深度学习中的卷积神经网络算法,该难题有望实现落地。光伏电池片的缺陷分类是对电致发光原理下的光伏电池片图片进行分类,卷积神经网络算法能够深度挖掘图像特征,分析以及学习。通过实
学位
随着互联网技术的飞速发展,互联网金融对于传统金融市场的冲击也越来越猛烈,传统金融机构在产品营销方面面临的压力也是与日俱增,如何进行个性化营销成了亟需解决的问题。目前针对个性化推荐,金融机构使用的模型方法还较为简单,较传统营销方式效果提升不明显,故本文基于金融业务,提出了一套推荐方法,该方法能够很好地捕捉到用户的真实喜好,从而做到个性化推荐。它通过利用用户的历史购买记录,生成金融理财产品的向量表示与
学位
大数据时代,随着技术手段不断进步,海量数据不断涌现。分子生物信息学领域的微阵列数据,网络购物的用户行为和交易数据,信息化金融市场的交易数据等等,这些庞大的高维数据给传统分析的低维数据数据分析方法提出了挑战,也推动了多重假设检验理论的应用和发展。随着生活水平的提高,人类寿命不断延长,癌症已经成为危害人类健康的头号敌人。而多数癌症患者早期大多性状不明显,且同一类癌症往往性状表现也不尽相同,如何从分子水
学位
随着长三角一体化发展上升为国家战略,党和国家对长三角区域产业协同发展提出了更高的要求,这对长三角三省一市而言既是一次难得的机遇,同时又面临着前所未有的挑战。长三角地区如何立足自身资源禀赋,形成区域产业分工协作、优势互补的发展格局,打造我国强劲活跃增长极,引领全国高质量发展,成为了一项极具现实意义的时代课题。鉴于此,本文尝试从区域间产业关联的视角,通过编制长三角地区间投入产出表,对长三角地区间的产业
学位
疫情之下,全球金融市场进入大波动时代,各国金融调控政策、突发事件层出不穷,例如美联储无限量QE、欧央行7500亿复苏基金、中美关闭使领馆、阿塞拜疆和亚美尼亚爆发空战...如何智能监控全球舆情,从而最快速地做出反应、最大可能地规避风险,就成了一项特别重要的工作。自然语言处理技术作为一种新兴技术,在发展过程中,便于金融产生了联系。在《全球金融科技权威指南》一书中提到了Econob公司,这家做自然语言处
学位
一个准确的电力负荷供应决策对于电力系统来说至关重要,而其中最为关键的就是对电力负荷的预测。而电力负荷日峰值的预测是其中一个重要指标。在目前的研究中,研究者们往往侧重于提高电力负荷整体的预测精度,而预测的稳健性一直被他们所忽视。在建立模型的过程中,我们往往会利用模型选择法来选择某一“最优”模型作为后续预测的模型,而人们却忽视了模型选择过程中的不确定性。模型平均则是用来解决以上问题的一个有效办法。它避
学位