基于深度学习的人脸图像超分辨率算法研究与应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:oyyc4011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸图像超分辨率重建的目的是将一张或者多张低分辨率人脸图像恢复为高分辨人脸图像,它具有重大的应用价值。但是,如何在较大的超分因子下获得良好的人脸超分辨率重建效果,目前仍然是需要进一步探究的问题。因此,本文提出了一个基于人脸结构信息的重建网络和一个基于生成对抗网络的重建网络,以进行8倍超分因子的人脸图像重建。借助人脸的先验信息来引导网络的超分辨率过程,能够有效地增强人脸图像的重建效果。因此,本文提出了一个基于人脸结构信息的人脸超分辨率重建网络,该网络可以充分地利用人脸关键点热图、人脸解析图和潜在的结构特征信息来引导人脸重建过程。具体而言,本文分别提出了人脸结构注意力模块和深度特征融合模块。其中,人脸结构注意力模块结合了空间注意力机制,构建了两个分支来分别提取人脸的全局特征和局部特征;深度特征融合模块结合了通道注意力机制,以融合人脸图像的潜在结构特征信息。通过与目前其他先进的图像超分辨率算法的对比实验,验证了本文提出的方法具有出色的人脸图像重建效果,并且平衡了性能表现和开销代价。同时,通过消融实验证实了本文所提出的人脸结构注意力模块和深度特征融合模块的有效性。虽然基于人脸结构信息的重建网络取得了良好的表现,但是仍然存在着重建出的图像比较平滑等问题。因此,本文在上述研究的基础上,引入了人脸属性和生成对抗网络,提出了基于生成对抗网络技术的人脸超分辨率重建网络。在生成对抗网络的生成器方面,本文提出了属性融合模块,该模块将图像特征和人脸属性进一步提取为更高级的特征,再进行特征融合;在生成对抗网络的判别器方面,本文修改了Light CNN网络,使其能够在给定人脸属性的条件下,判断人脸图像的真假性。此外,本文还增加了感知提取器和属性提取器,以进一步约束网络的生成空间。通过对比实验,证实了本文所提出方法生成的人脸图像具有丰富的纹理细节,最为真实。通过消融实验,证实了该方法所使用的生成对抗损失、感知损失和属性损失这三种损失函数的有效性。
其他文献
家庭电力负荷预测在未来的电网规划和运行中起着重要作用。然而,与聚合负荷预测相比,家庭电力负荷预测面临着显著的负荷模式不确定性的挑战。聚类分析是一种实用的无监督学习技术,可以用于对相似的时间序列进行分组,降低各组中数据的不确定性方差。通过聚类分析,将家庭层面的负荷分布分组以形成集群层面的负荷分布,可以预期其表现出更规律的模式,对模型更具有可预测性。另一方面,用于度量时间序列相似性的目标函数在基于分区
学位
多孔有机骨架材料(Porous Organic Frameworks,POFs)是一类由轻元素(碳、氢、氧、氮和硼等)组成的有机基块通过聚合反应而形成的共价键连接的多孔聚合物。POFs具有骨架密度低、稳定性高、比表面积大、结构多样和修饰容易等特点,其在吸附和分离、催化和传感等领域研究广泛。对于POFs合成,主要关注聚合反应类型和构筑基块。对于聚合反应类型,依据使用的催化剂类型,主要包括无催化剂、酸
学位
半导体光催化技术可直接将光能转化为化学能及电能,是解决未来能源与环境危机的重要手段之一。在多种半导体材料中,石墨相氮化碳(g-C3N4)因价格低廉易得、极高的热稳定性和化学稳定性、合适的带隙等优点而备受瞩目。然而,合成方法及途径强烈影响材料的物理、化学性质。传统热聚合方法合成的g-C3N4具有比表面积小、光生载流子复合速率较快及可见光吸收少等缺点,极大地限制了其在光催化领域中的广泛应用。针对上述问
学位
随着信息飞速增长时代的到来,人们对于信息检索的需求也在不断增加。其中,作为机器学习方法的重要领域之一,哈希学习成为了用于信息检索的典型方法。如今网络上存储的数据存在多样性,传统的哈希方法研究范围局限于同种数据之间的检索,因此跨模态数据之间的检索逐渐受到关注。跨模态数据检索,因不同模态数据的数据分布不同,所以直接对数据训练哈希函数,会使得生成哈希编码无法充分保留有代表性的原始语义信息。而且,跨模态检
学位
目前,聊天机器人是智能机器人和人工智能领域中的研究热点,它的主要目的和功能是实现智能化的人机交互。考虑到一个完整的对话会涉及到上下文,因此如何提高聊天机器人对上下文的理解成为了需要解决的主要问题。现在最新的研究方法是采用注意力机制将语句解析成更深层次的粒度表示,以此获得更多上下文间的相关信息,以提高模型的准确性。虽然基于注意力机制能以更低的计算量得到更好的准确率,但在挖掘不同层次粒度的信息方面仍然
学位
锂-氧气电池由于较高的理论能量密度(3860 mAh g-1),因而具有较大的应用前景,非常有望成为下一代新型储能电池。在锂-氧气电池中,过氧化锂(Li2O2)的难溶解性及难导电性导致电池充电电压过高(>4.0 V)和电池严重极化,进而导致电池的性能以及能量转换效率低下,情况严重时会导致电池过早衰竭。当前,Li2O2的分解问题一直无法得到有效解决。本论文针对上述问题,利用Au/Sn O2介孔纳米管
学位
二氧化碳(CO2)是大气中主要的温室气体。其在大气中含量的持续增加造成了严重的气候问题,未来将严重影响人类社会的可持续发展。因此发展CO2捕获和转化技术对碳减排并最终实现碳中和具有重大意义。其中,利用CO2和环氧化物通过环加成反应生成环状碳酸酯是最有前景的CO2捕获和转化技术之一。此方法不仅可以捕获CO2,其反应产物也可作为前驱物用于高附加值药物和聚碳酸酯的合成。由于CO2分子比较稳定,选择高效稳
学位
医学图像广泛应用于各类医疗诊断任务中。然而,在医学图像成像过程中,容易遭受环境干扰等因素的影响,出现获取的医学图像质量不佳或者感兴趣区域细节丢失等情况,给诊断带来障碍。传统的对比度增强方法可以有效提升图像质量,但是大部分方法在增强后会造成图像细节信息有不同程度的损失。对于医学图像而言,细节信息可能是诊断和治疗的关键。另外,现有的对比度增强算法大部分基于图像全局进行增强,但是在使用医学图像的时候更多
学位
多酸基配合物(Polyoxometaltes-based compounds)是无机化学领域的一个重要的研究方向。将多酸作为建筑模块,与金属阳离子和有机配体通过配位作用相互连接,形成结构多样、尺寸各异的一维链状、二维网状和三维化合物。金属-氧簇合物的合成方法多种多样,比如水热法、常温法等。另外,合成过程中的p H、反应温度和时间,以及原料的选择和配比都对化合物的合成有着重要的影响。由于多酸化合物的
学位
能源对于所有生物的重要性不言而喻。目前,为满足能源需求,化石燃料等资源的过度使用导致环境受到了严重的破坏。而CO2是化石燃料燃烧产生的温室气体之一,也是造成全球变暖的根本原因。为此,人们已经采取了许多措施来减少环境中的CO2含量,如碳捕获与储存、工程碳矿化和热化学还原等。但这些方法仍然存在一些缺点:成本昂贵、对电压和温度要求较高、不可持续等。因此,我们亟需一种替代的可持续的解决方案,同时实现环境中
学位