基于引导信息的人脸图像盲复原方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:woxia012
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字成像设备的发展和普及,图像作为视觉信息的载体,成为人们日常生活中不可或缺的部分,承担着信息获取、分享、记忆和分析的重要作用。人脸图像在其中占有较高的比例,在日常生活中发挥着非常重要的作用。例如手机单反拍摄人物照、短视频电影中的人物、监控场景下的行人、人脸识别解锁相关的设备等。然而由于硬件设备的限制、拍摄过程的不稳定因素、成像系统的不完善、以及后续存储和传输的需求等因素,不可避免地对人脸图像造成损坏,导致视觉质量降低。真实低质量的人脸图像复原,又称为人脸图像盲复原,是图像复原领域里一项经典的研究方向。由于其复杂未知且无法模拟的退化过程,对复原任务带来极大的挑战。人脸图像盲复原不仅可以提升视觉观感,减少对硬件设备的依赖,同时对后续人脸分析和识别等相关任务具有重大的意义。目前主流的人脸图像复原方法主要是通过卷积神经网络直接学习从低质量图到高质量图的映射。为了提升复原性能,通常引入人脸关键点、部位分割图等先验进行引导。然而对于以生成纹理细节为目的的复原场景,该类方法提升效果通常有限,无法很好地处理真实低质量人脸图像。为了提升人脸图像盲复原的性能,本文从特定人脸复原和通用人脸复原两个角度进行探索。通过引入同一身份的高质量人脸图像以及通用的人脸纹理先验,减少对未知退化类型的敏感,生成真实的纹理细节,提升盲复原效果。具体研究内容及创新点如下:(1)针对现有方法对真实低质量图像的未知退化类型敏感问题,以及退化严重时无法生成属于当前身份的真实纹理细节问题,将该复原任务定义为特定的人脸图像盲复原,通过引入同一个身份的一张高质量正脸图来引导退化图复原过程,能够降低对退化类型及参数的敏感性的同时,有效提升了人脸盲复原性能。由于人脸表情和姿态具有多样性,为了准确地将高质量引导图纹理特征迁移到退化图中,提出半监督的光流预测网络,将引导图形变到退化图姿态,解决引导图和退化图之间的空间和姿态对齐问题。通过分析实验可以得出,基于引导图的复原模型相比其他方法,可以有效地提升人脸图像盲复原性能。(2)基于单张引导图的复原模型虽然能够带来盲复原性能的提升,但是由于人脸的多样性,单张引导图通常比较受限。例如当引导图中嘴是张开的,而退化图是闭合状态,这种情况导致网络无法有效地进行引导。通过观察发现,每个人同时拥有多张姿态各异的高质量人脸图像。基于此,将单张引导扩展到多张引导复原上。给定一张退化图,通过对同一个人的所有引导图遍历出姿态和表情最相似的图像作为最优引导图,并提出自适应特征融合模块,解决光照等分布不一致问题。通过实验发现,相比单张引导图,该方法由于具有和退化图姿态更一致的引导图,实现了不同姿态和表情的退化人脸图像的高质量复原。(3)上述两种特定的人脸图像盲复原方法由于需要同身份的一张或者多张高质量引导图,并且有限的数量往往不能涵盖大部分表情和姿态,导致方法应用场景严重受限。通过分析发现,每个人具有相似的结构和纹理,从现有的大量任意身份的高质量图像中总能找到跟当前退化图姿态和表情完全一致的图像。基于此,提出通用的人脸图像复原方法,通过构建大量通用的人脸部位纹理先验,对任意退化图进行引导复原。具体地,对于一大批高质量人脸,在特征层中对各个人脸部位通过均值聚类的方式,获得各个部位的聚类中心,作为后续引导复原的参考。通过实验发现,该方法由于具有大量的通用纹理先验,涵盖了常见的表情和姿态,能够稳定地对真实图像进行盲复原,应用场景广泛。(4)特定复原方法虽然一定程度上能够将身份相关的纹理迁移到退化图上,使得复原结果与当前身份更一致。但是受限于引导图和退化图姿态的一致性问题,一部分人由于具有较少的引导图,因此无法稳定地复原。相反,通用引导方法虽然能够涵盖大多数姿态,但是往往丢失了身份相关的纹理。基于此,提出特定字典和通用字典的双记忆字典模型,来灵活利用人脸结构的相似性和独特性,并且能够在同一个框架中,自适应地处理和复原有或无特定引导图的情况。具体地,特定字典存储身份相关的纹理特征,而通用字典存储大量的通用纹理先验。当身份未知以及引导图不存在时,只利用通用字典即可实现复原目的,可以灵活地处理大部分复原场景(有/无引导图)。实验发现,通过结合双字典的优势,能够复原真实低质量图的同时,最大程度地生成身份相关的纹理。
其他文献
浮动环密封是一种典型的径向间隙密封,其工作原理是在密封界面上形成一层极薄的流体膜,利用流体承载效应使浮动环与转子脱离接触,利用微小间隙的流阻效应实现对介质的密封。近年来随着大推力、可重复使用火箭和大型多功能复合离心机的发展,对浮动环密封寿命、可靠性和变工况适应能力等提出了挑战。本文根据高压、高速、变工况、可重复使用动密封工程应用需求,提出一种小孔节流动静压混合式浮动环密封(以下简称HFRS)。核心
学位
协作同时定位与建图(Simultaneous Localization and Mapping,SLAM)是指多个机器人在未知环境中通过协作,实现同时定位与环境地图创建的技术。协作SLAM被广泛应用于大规模环境建图,但是对系统总体协调效率以及机器人个体之间的协作能力要求非常高。因此,将多机器人系统学习方法应用于协作SLAM成为近年来的研究热点。但是现有方法存在着学习目的及方法单一,无法解决多机器人
学位
霍尔推力器是一种具有高效率、高比冲、长寿命等优点的电推进装置。霍尔推力器在工作过程中,其尾部会形成等离子体羽流。由于羽流中包含了大量的带电粒子,其在空间中的扩散会影响航天器所处的电磁场环境,同时产生的高能离子会打到航天器表面,对航天器表面造成力矩、热沉积、侵蚀等影响。因此,有必要对霍尔推力器羽流进行系统的研究工作。针对霍尔推力器的羽流研究主要包括地面试验、在轨试验和数值模拟三种手段。地面试验测量受
学位
近年来,随着高通量测序技术的快速发展和国际大规模人类基因组计划的广泛实施,产生了EB至ZB量级亟待分析解读的大规模基因组数据。这些数据是新时代生命科学、人口健康、生物安全等战略性领域发展的基础,蕴含巨大的科学、社会和经济价值。序列比对和变异检测是基因组数据分析中的核心技术环节,对于基因表达量分析、选择性剪接、解析基因组中蕴含的遗传与变异信息、发现与疾病和表型的关联关系、揭示疾病发生与发展的分子机制
学位
心脏正常起搏功能的维持依赖于冠状动脉源源不断的血液供给。当冠状动脉因粥样硬化出现狭窄时,供血不足会造成心肌缺血。随着缺血时间的演化,心肌细胞的电生理功能会发生不同的变化,不同状态心肌细胞的电生理特性存在显著差异。按照心肌细胞电生理特性的不同,缺血性心脏疾病被划分为不同的病理阶段:缺血1a阶段(0-15分钟)、缺血1b阶段(15-45分钟)、短期心梗阶段(几天内)和长期心梗阶段(几周内)。本文基于电
学位
电子起搏器在应用于临床的60余年间,挽救了千万心脏起搏障碍患者的生命,但其仍存在易受到电磁干扰、不能响应情绪导致的节律变化等问题。因此有研究者提出一种生物起搏器疗法:通过基因编辑的方式改变细胞膜上离子通道蛋白的表达,从而干预离子通道电流的特性,构建出具有自动节律的生物细胞;将其植入心脏中,来驱动心脏进行跳动,以代替电极的功能。生物起搏器应用于临床前,尚需解决几个问题:(1)离子通道电流如何影响起搏
学位
心血管疾病对人类健康构成严重威胁,同时也给社会造成沉重的经济负担。我国当前的心血管疾病防治工作面临发病率持续增高和医疗资源供应不足等诸多挑战。针对这些挑战,基于可穿戴心电硬件和智能心电异常检测算法的心脏健康监测服务将为心血管疾病的筛查和管理提供有效且经济的解决方案,有望在未来的医疗健康服务体系中扮演重要角色。心电信号可用于检测丰富多样的心脏异常状态,不同异常状态有着不同的发作周期和持续时间,因而对
学位
近年来,神经机器翻译(Neural Machine Translation)取得了极大的成功,不仅仅作为机器翻译的一个全新范式而蓬勃发展,而且已经被应用于许多语言相关的技术中,例如:在线的通用多语翻译系统、同声传译系统、以及实时聊天助手等。标准的神经机器翻译框架由三个重要部件所组成:a)神经网络模型的体系结构(及其所学的内部隐层表示),b)高效的(且多利用数据增强技术的)序列到序列训练策略,c)用
学位
哈希算法作为经典的近似最近邻算法,凭借效率上的优势,在大数据时代吸引了大量研究者的目光。近期,现有的哈希算法利用深度神经网络的表达能力,通过大量的监督数据训练模型,构建了准确的哈希映射。然而对大量监督数据的强烈依赖限制了深度哈希算法的进一步落地。据此本文在标签数据不足的情况下,研究语义一致性映射的哈希编码表示。本文的研究对于哈希算法的现实应用有着重要的意义。在对相关研究进行分析后发现,现有的哈希编
学位
我国的城镇化正处于长期而高速的推进进程中。高效合理地开展城市规划工作,是保证高质量城镇化的重要手段。然而,城市规划在当下仍存在若干困难。首先,规划工作离不开对城市现状的感知和信息收集,而当前城市信息主要依赖人力线下收集,不仅耗费大量人力成本,更影响了规划进度;其次,规划方案主要依赖于调查和简单规则等传统方法完成,导致所规划设施的使用率不足,或供大于求。党的十九大明确提出,“要推动互联网、大数据、人
学位