基于特征级联的素描人脸合成方法研究

来源 :北京信息科技大学 | 被引量 : 0次 | 上传用户:jinmeng79
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机视觉技术的快速发展,以深度学习为代表的模型驱动类方法在素描人脸合成领域发挥了巨大作用,但也存在一些不可忽视的问题。传统素描人脸合成方法生成的人脸轮廓清晰度不足,纹理粗糙,轮廓内的面部特征细节有所缺失。同时,图像中存在着明显的粗糙像素点,素描风格缺乏真实感。为了解决上述问题,本文提出了特征级联模块,并在此基础上作了针对性改进,主要贡献概括如下:1、提出了一种基于特征滤波的生成对抗网络素描人脸合成方法。针对传统素描人脸合成方法中纹理粗糙、细节缺失等问题,该方法首先通过级联的特征提取模块对不同尺度的人脸特征进行提取,丰富人脸特征细节,并通过特征损失约束光学照片与合成素描图片之间的差异。然后通过外观滤波与纹理处理模块对素描图的外观轮廓与纹理细节进行处理,并通过对应的外观损失与纹理损失提升合成图像的外观轮廓与纹理细节表现。最后通过全变差损失函数减少图像中的粗糙像素点,提高图像整体清晰度。实验结果表明,在CUFS和CUFSF数据集上的PSNR指标分别提升了10.22%和13.62%,SSIM指标则分别提升了9.34%和11.21%,证明了该方法在丰富人脸特征、改善纹理细节以及减少图像粗糙像素点等方面的有效性。2、提出了一种基于自适应三元组损失的生成对抗网络素描人脸合成方法。上述基于特征滤波的方法改进了素描合成图像的纹理细节表现,但是人脸边缘模糊、素描风格失真的问题依然存在。为此,引入了自适应三元组损失模块,旨在约束光学照片与合成素描图片之间的差异,提高合成图像素描风格真实性。具体而言,利用AdaIN模块合成的正样本与负样本,对网络进行训练,确保网络能够在完整还原光学人脸面部特征的同时,保持素描图像的风格不失真。除此之外,针对人脸边缘不清晰的问题,添加了边缘平滑处理模块。通过改进的对抗损失训练判别器,提高判别器性能,使合成结果的人脸轮廓更加清晰完整。实验结果表明,在CUFS和CUFSF数据集上的PSNR指标分别提升了9.90%和13.94%,SSIM指标分别提升了8.50%和12.17%,且合成结果中人脸边缘更清晰,素描风格更真实,网络的稳定性也更高。进一步,针对网络模型训练与测试的内存消耗与时间开销的实验分析表明,本方案可以在不增加过多计算开销的条件下获得网络性能的较大提高。
其他文献
一直以来,社团划分和聚类分析被认为是相似的,其目的都是将相似的对象分为一组,但近几十年来都被分开研究,缺少一个统一的框架去处理这两类问题,其中一个重要原因在于向量数据和拓扑数据之间的差异。异质性是网络拓扑中社团结构和向量数据中簇结构存在的共同条件,它表示数据的重要属性间存在差异,相比之下,均质性的晶格网络或随机均匀分布的数据点则不存在团簇结构。以异质性为基础,本文将向量数据中密度的概念扩展至拓扑数
学位
随着技术的进步,工业过程向着智能化发展。由于设备一般工作在正常状态,只是在很短的时间内处于故障状态,导致采集的各类故障数据呈现出不平衡的特点,给故障诊断带来了困难。同时,采集到的数据还具有不平衡、非线性、强耦合和具有流形结构等特点。如何对不平衡故障样本进行数据生成并提取有效特征,成为提高诊断精度的重要因素。流形学习算法相比与传统故障诊断方法,能保留数据的局部结构信息,提取与故障相关的主要特征。局部
学位
工业的发展是建设社会主义现代化强国的关键,近些年我国工业生产规模不断地扩大,生产设备也愈加精密化,同时得益于更加便捷的数据采集存储技术,大量的生产过程历史数据被记录下来,这为基于数据驱动的故障诊断技术创造了良好的发展条件。工业生产过程的数据一般具有高维、动态的特点,因此从测量空间提取数据的有效特征、考虑数据的时序相关性是十分重要的。基于上述问题,本文进行了以下研究:(1)提出一种基于马氏距离的局部
学位
【目的】探讨发芽-挤压膨化-高温α-淀粉酶协同处理对速食糙米粉的冲调性、流动性、色度、风味和淀粉消化性能等品质特性的影响,为高品质速食糙米食品的加工提供理论依据。【方法】糙米经发芽处理后采用高温α-淀粉酶辅助挤压膨化协同处理(Extrusion-Germinated Brown Rice-Enzyme,EGBRE),以糙米发芽直接挤压膨化处理(Extrusion-Germinated Brown
期刊
2021年是我国著名会计学家、审计学家裘宗舜教授诞辰100周年。裘宗舜先生一生致力于会计理论与方法研究,著作等身,影响广泛。裘宗舜先生潜心立德树人,率先垂范,培养了大批优秀人才。为了更好地纪念缅怀裘宗舜教授对我国会计事业作出的突出贡献,江西财经大学会计学院举办了系列纪念活动,并将办公大楼命名为"宗舜楼"。裘老弟子们发起设立了宗舜教育基金,同时邀请著名会计学家郭道扬、曲晓辉、秦荣生、魏明海、李心合和
期刊
编译错误是新手程序员在编程过程中不可避免遇到的一类错误,其中编译器报错信息通常是协助解决编译错误的主要参考内容。然而,新手程序员因经验不足而难以理解报错信息,进而无法顺利定位并修复错误。研究表明,无法及时解决编译错误会显著降低新手程序员的学习热情。程序错误自动修复技术可以在一定程度上修复编译错误,但仅仅修复错误并不能帮助新手程序员理解错误产生的原因并提升编程能力。基于程序员解决编译错误的过程,改进
学位
深度学习技术使医学影像分类准确率得到显著的提升。高性能深度学习模型需要大规模、高质量标注数据集训练,由医学专家标注构建数据集成本高、耗时久,且无法保证标注同质性,难以满足模型训练的需求。众包、在线搜索等标注方式成本较低,但会产生大量标注噪音,导致模型分类准确率下降。标注数量和质量已经成为制约深度学习在医学影像分类中进一步发展的因素之一。标注噪音鲁棒的方法通过调整损失函数、添加正则项或特殊的训练策略
学位
静电放电是通讯设备应用中很重要的产品可靠性要求。本文通过一个具体的案例,分析介绍了仿真的方法和作用。通过仿真直观地展现静电放电时产品的状态,并根据仿真结果迭代计算,最终分析出更好的解决方案。
会议
在食品数量安全得到保障之后,人们越发关注食品质量安全,在食品营养和卫生方面提出了更高的要求。然而近年来,国内外食品安全事件频发,如美国的沙门氏菌病危机、中国的镉污染大米以及欧洲的二恶英鸡污染事件等,不仅引发了公众恐慌,而且给各国造成了严重的经济损失。因此,为保障食品质量安全,降低食品安全事故发生率,预防食品中的营养不均衡风险和环境污染风险对人体健康造成的危害,本文以机器学习算法为核心,以食品安全检
学位
红外成像具有可夜间成像、穿透性强、能识别伪装等显著优点,逐步走进了人们的视野,其具体应用场景也在不断被发掘。随着对红外成像系统的深入研究,现如今,红外成像系统在现代军事或民用领域均发挥着不可或缺的作用。在红外图像处理领域,小目标检测具有重要的意义。但是,随着红外成像距离的不断增大,导致了目标信号愈发变弱,噪声信号出现的概率大大增加,图像背景杂波干扰严重。并且在远距离成像的情况下,小目标在红外图像中
学位