单元与多元人脸图像修复算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yc332612
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复技术的目标是实现对图片中的缺损区域进行修补,并使得修补后的图片具备真实性,是计算机视觉领域的关键技术。目前随着生成对抗网络与变分自编码器等图像生成技术的快速发展,众多科研人员投入到基于深度学习的自然场景图像修复研究中,而专门针对人脸的图像修复研究还相对较少,由于人脸其具有复杂且多样的结构,在自然场景下实现的模型不一定适用于解决人脸图像,并且人脸图像的研究在生活中有广泛的应用场景,基于此,本文所提出的主要工作是针对人脸图像进行修复的解决方案,又由于图像修复是一个不适定问题,意味着其可能存在多解的情况,因此,本文提出了两种人脸图像修复算法,分别针对单元的与多元的修复目标,其中,借鉴了过往针对自然场景图像修复的研究成果,并思考其不足之处,进行了一定的改进和创新,主要贡献如下:首先,在单元人脸图像修复方面,本文介绍了一种高保真度人脸图像修复模型,其主要基于一个带有监督信号的双路注意力模块,通过高效地提取缺损区域内部特征联系与缺损区域与已知区域特征联系,使修复出来的人脸更加符合上下文的关系,有效减少了瑕疵伪影。另外,针对面部器官的复杂与多样性,采用了多鉴别器的结构,对这些区域单独设置鉴别器进行鉴别,引导网络关注这些重点区域。最后,在两个大规模的高清人脸数据集中,通过定量与定性的方式比较了多种方法,从实验结果可以看出,利用本文方法修复的结果取得了最优的效果,同时通过消融实验,分别验证了各模块的有效性。其次,在多元人脸图像修复方面,本文介绍了基于特征向量量化的多元人脸图像修复算法,首先根据过去工作中采用的基于变分自编码器的实现方案,通过理论分析,总结其中存在的缺点与问题,特别是后验崩溃问题,导致从代表多样性的空间采样得到的特征与已知区域产生矛盾的情况,针对这些问题,提出了采用特征向量量化的技术路线,通过完整图片学习人脸特征字典,再引导空洞图像从中匹配潜在的多个特征向量,生成多样化的结果,最后通过定量实验与定性实验设计比较了该方法与过往方法的效果,证明了该方案不仅可以生成高质量的人脸图像,还具有生成多元修复结果的能力。
其他文献
烘焙类食品具有独特的口感、风味、即食、耐贮藏等特性,深受广大消费者的喜爱。然而,近年来研究发现热加工伴生化学危害物氯丙醇酯(Monochloropropanediol esters,MCPDEs)和缩水甘油酯(Glycidyl esters,GEs)在高脂烘焙类食品中广泛存在。毒理学数据表明MCPDEs和GEs在体内脂肪酶的作用下会被水解为3-氯丙醇和缩水甘油,而水解物具有肾脏毒性和基因毒性,已被
图像隐写就是在满足不可察觉性的前提下将秘密信息嵌入图像中,然而,在实现秘密通信的同时它也很有可能被犯罪分子所利用,从而危害国家安全。图像隐写分析作为图像隐写的对立面,主要目的就是为了检测在信道传输的图像是否存在秘密信息来防止违法犯罪。因此,对图像隐写分析的研究具有重要意义。近些年,CNN以其优越的性能在图像隐写分析中占据了优势,其中以选择信道信息作为辅助信息的算法取得良好的发展势头,然而,该方法也
金属氧化物薄膜晶体管(MO TFT)具有迁移率高、均匀性好、开关电流比大、亚阈值摆幅高、制备成本低、可制作于柔性衬底上等一系列优点。这使得MO TFT在如平板显示、RFID标签、传感阵列等大规模电子系统领域存在巨大的应用潜力。模数转换器(Analog-To-Digital Converter,ADC)是传感系统中重要的组成部分,其负责将传感器输出的模拟信号转换成处理器可识别和处理的数字信号。开发基
半纤维素是一种储量非常丰富的植物源天然高分子。木聚糖是阔叶木及禾本科植物中半纤维素的主要种类,其具有替代石油基高分子的潜力。然而目前木聚糖工业利用率相对较低,存在于造纸废液或者农业废弃物中的大量木聚糖被作为低值能源直接焚烧。木聚糖水分散性较好,易于在水中分散形成稳定的胶体溶液,干燥后分子互相交织具有形成薄膜的能力,在精细化学品特别是功能涂料及包覆剂中具有极高的应用潜能。以水为溶剂的涂料及包覆剂的本
快速响应特性是功率变换器的关键性能指标之一。然而,由于采样环节的量化效应、延迟效应等天然缺陷,在功率变换器上日益广泛使用的数字控制系统,难以在响应速度方面达到与模拟控制系统相近的性能。为了提高数字控制功率变换器的响应速度,有必要针对性地开发一种适用于数字控制系统的快速响应控制方法。本文受启发于单周期控制的思想,提出了一种具备有限周期响应能力的新型控制方法,并将其成功应用于数字控制系统中。本文研究工
极小曲面由数学公式生成,具有特别的数学美感与艺术表现力。由于极小曲面独特的数理特性以及迷幻有趣的空间造型特征,给各个学科带来了诸多实际运用的场景;尤其在建筑领域体现出巨大的艺术价值与应用前景。但是,由于大型极小曲面壳体的高度复杂以及极致轻薄的特性,对结构力学设计以及曲面制作技术,构成了高难度的挑战。因此,基于结构性能的找形与制作方法的研究显得非常重要。本文首先从结构性能的视角,剖析高度复杂与轻薄壳
发动机前端附件驱动(Engine Front End Accessory Drive,EFEAD)系统是汽车上一个重要的传动系统。发动机曲轴输出的动力通过该系统中皮带传至空调压缩机、转向泵、发电机和风扇等附件轮上。传动所用的皮带包括多楔带、V型带和正时带等,目前EFEAD系统动力传递广泛采用的是多楔带,因其具有接触面积大、传递功率大、楔面和背面均能传动、轮系布置紧凑和方便维护等优点。然而,EFEA
目前,对于工程结构的研究和规范大多集中在地震作用和风荷载对结构的影响上,开展结构在随机荷载作用下的动力响应随机模拟分析,对抗震和抗风设计具有重要意义。工程结构减振设计一直是土木工程结构的重要研究方向,尽管工程结构减振技术已有较长的发展历史,但关于结构在随机荷载作用下,对减振设计中减振装置(如粘弹性阻尼器等)的位置和数量进行优化设计的研究尚不常见。因此,本文的主要研究内容是开展结构地震响应和风振响应
随着时代的发展,健康问题越来越受到人们的重视。据调查显示有70%的人都处于亚健康状态。中医是一门重要的“治未病”和无创诊断模式,与亚健康以个人感受为主而无明显病症的定义非常契合。随着近年来中医诊断客观化研究的不断深入,为中医辨识亚健康状态提供了无限可能。本课题结合中医理论设计了一款基于中医理论的小巧型人体双模态生理信息采集系统,主要包括脉象采集子系统和舌象采集子系统;脉象采集子系统设置有三部独立压
相变储能技术是一种能够协调能量供需时间和空间不匹配的矛盾、提高能源利用率的新型节能技术,将具备储热特性的相变材料(PCM)应用于建筑采暖系统中,可以提升室内热舒适性,将用电负荷转移至非高峰期,从而达到电力“移峰填谷”的目的。十二水合磷酸氢二钠(Na2HPO4·12H2O)作为一种高潜热、廉价易得的无机水合盐相变材料,相变温度在36℃左右,适用于建筑采暖系统,具备广阔的应用前景,但严重的过冷和泄露问