基于生成对抗网络的人脸超分辨率算法研究

来源 :广州大学 | 被引量 : 0次 | 上传用户:lian2008bang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人脸技术在现实生活中的广泛使用,人脸图像的相关研究受到越来越多的关注,人脸超分辨率重建技术(Face Super-Resolution,FSR)便是其中之一。在现实生活中,由于设备质量、拍摄环境和物体运动等因素的影响,人脸图像出现模糊、细节丢失和纹理不清晰等情况,影响人脸图像的使用效果。因此,改善人脸图像质量,提出快速而有效的方法变得十分重要。近年来,为了提高人脸图像的重建效果,越来越多的优秀算法被提出,生成对抗网络(Generative Adversarial Network,GAN)的出现给FSR提供了更加有效的手段,使得FSR能够重建出视觉感知效果更好,纹理细节更清晰的人脸图像。人脸图像具有特殊的结构和规律,因此,具有人脸规律特性和细节信息的先验知识常作为人脸重建技术的重要组成部分。基于此背景,本文以GAN网络为基础,并融合人脸先验知识(Facial Prior Knowledge),研究了FSR的相关技术。其中,人脸先验知识种类繁多,包括人脸关键点、人脸解析图和人脸热图等,本文选用的先验知识是人脸解析图(Facial Parsing Map,PM)。具体工作如下:(1)针对低分辨率图像特征提取不充分的问题以及人脸图像特殊性的情况,提出一种基于残差稠密块结构并优化损失函数的生成对抗网络--SC-GAN网络。该方法在生成网络中,使用残差稠密块作为基础模块,通过稠密连接的方式,增加低分辨率图像及其特征图向后层网络层传输的信息流;并通过局部残差的方式引入低分辨率图像的直接映射,从而减少信息损失。出于人脸图像特殊性的考虑,在网络训练过程中,联合使用基于局部特征的结构相似性损失(SSIM Loss)和基于语义的上下文损失(Contextual Loss)作为目标函数训练网络,使网络从结构和语义方面约束图像的重建,从而得到纹理细节更清晰,结构更准确的人脸图像。(2)本文发现原先使用人脸解析图PM的网络进行解析图提取的人脸图像过于粗糙,并不能准确的提取解析图,基于此情况,提出一种基于人脸解析图的重建算法--PM-SC-GAN网络。该网络使用SC-GAN中的生成网络作为初始重建网络,得到略清晰的图像,并将其分别输入解析图提取网络和特征提取层,将得到的人脸解析图与人脸特征拼接在一起作为后续重建网络的输入。这种方法比直接从粗糙的人脸图像中提取人脸解析图的准确度更高,也能更好的辅助生成网络重建出质量更好的人脸图像。综上所述,本文主要从网络结构和先验知识两方面对FSR技术进行改进,该方法首先对低分辨率图像信息的利用率更高,其次对人脸先验知识的应用更准确,可以实现细节更清晰的人脸图像的重建,具有更好的应用前景。
其他文献
分数阶微分方程能更好地研究和描述各种复杂的物理现象和记忆特性.因此,分数阶微分方程受到了众多研究者的关注.本论文主要研究几类广义Hilfer分数阶微分方程的单调迭代法.全文结构分为六章.第一章,绪论介绍了分数阶微积分的历史研究背景,国内外发展现状以及本文的研究内容.第二章,预备知识介绍广义Hilfer分数阶微积分的基本定义,重要引理,定理和性质.第三章,研究一类0
近些年来,我国经济不断发展、人口逐年增多并且城市化进程也在持续性增长,铁路建设也随之不断发展,使得国民对于铁路旅客运输效率和服务质量提出了更高的要求。我国铁路客运站是实现旅客服务和旅客运输的重要地点,具有乘客数量多、流量大,到发列车多等特点,是发生列车之间作业冲突最多的地方。因此,为了解决以上问题,就需要我们结合我国铁路客运站的现状,对铁路列车作业计划编制的优化问题进行深入的研究。本文研究内容主要
海鸥优化算法(Seagull Optimization Algorithm,SOA)是一种模拟海鸥迁徙和攻击行为的新型群智能优化算法。该算法具有参数少、易于操作、搜索能力强、数学模型简单等优点。但SOA的研究仍然处于初步阶段,算法自身还存在容易陷入局部极值、求解精度较低以及参数选取敏感的缺点。为此,本文对海鸥优化算法存在的缺点进行了分析和改进,提出了三种不同策略的海鸥优化算法,同时将改进的算法应用
机器人在进行铣削加工时,由于刚度较低,极易出现振动现象,这将对加工的精度和工件表面的质量等产生消极作用。为了抑制加工振动,常常通过振动稳定性分析获得加工参数的稳定域,通过优选加工参数来避开振动区间。振动稳定性分析的重要基础是模态参数,一般借助实验模态分析获取。然而机器人在不同位置和姿态下的模态参数差别很大,有时一个角度的变化也会造成模态参数的改变,那么在不同位姿下进行模态实验将花费大量的时间和人力
运用实地调研等研究方法,对“双减”背景下县域学校体育治理的境遇进行了分析。研究认为:囿于资本竞争机制、校外盈利性培训和线上网络教育等资本市场机制的对冲交叠,县域学校体育治理处于一种教育生态失衡的状态;应试观念固化导致县域学校体育“时间与空间上的限制”,促使学校体育课后服务地位再次向知识分数本位妥协;媒介化介入致使县域学校体育治理陷于“校长假权威式”和中层管理者“夹心式”以及体育教师“表面服从与隐形
随着信息技术的快速发展,一方面产品用户不断的对客服的质量、专业性和实时性提出了更高的要求;另一方面企业开始寻求和发展自动客服系统,以降低日趋庞大的空间成本和人力成本。本文针对自动客服问答技术进行研究,能够完善现有的技术体系,具有良好的应用前景。目前,自动问答系统存在如下几个难点:第一,单纯的词法特征和句法特征,难以表达深层次的语义信息,语义理解不深入导致问句相似度计算准确率不高。第二,语义网的快速
随着我国人口持续增加,水资源日益匮乏,已经严重限制了我国经济社会的持续健康发展,我国作为传统的农业大国,在农业灌溉中的总用水量约占我国可使用的淡水资源的70%,因此智能节水灌溉技术需要得到大力发展和推广。为了进一步发展智能节水灌溉技术,本文研究了基于物联网的干深-时域智能灌溉数据监控装置的应用系统,此系统可以进行实时存储与查询环境参数,通过模糊控制算法对土壤湿度进行实时采集,从而做出智能灌溉决策,
随着电子科技产品的高速发展,电子元器件呈现出高集成度、高频率、小体积的发展趋势,随之带来的是电子元件功耗的增加,发热量的增多。平板热管因其良好的传热性能、体积小、加工简单、与发热器件贴合紧密等优点,已成为当代电子产品解决散热问题的首选方案。但平板热管的传热性能随着热源温度的升高呈现下降的趋势,因此如何提高平板热管的传热性能极限具有重要的研究意义。对此,本文对平板热管工作中内部传热传质过程进行了分析
微流控技术是近年来极具发展前景的新兴技术,微液滴作为微流控技术的主要产物被广泛应用在各个领域。目前工业应用对于微液滴的需求极大(1000吨/年),而微流道的并联化能够在确保微液滴分散性与可控性的同时提高微液滴生成速率,制备出符合工业应用需求的微液滴。双乳液滴作为其中一种主要的微液滴类型,近年来众多学者对实现其批量化生产的芯片结构进行了研究。但是,目前用于双乳液滴生产的微通道结构复杂,占用面积大,这
进入21世纪以来,计算机技术发展越来越快,计算机技术也应在生活中的方方面面,人类社会的进步也离不开计算机技术的发展和应用。特别是近两三年来,随着计算机软硬件技术的飞速发展,计算机的运算速度越来越快,存储容量也越来越大,人工智能技术也得到了新的发展契机,在多个领域得到了广泛的应用。基于人工智能的自然语言处理是指利用计算机来识别、处理、理解并能正确回应人类的语言。智能问答系统是自然语言处理领域内的研究