人脸模糊图像复原的生成式学习方法

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:heigezi123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相机在拍摄人脸图时,常常因为抖动、失焦等原因得到模糊图像。而当人脸图像被模糊化时,对人脸识别等高级视觉任务有很大的影响。人脸图像去模糊的目的是从模糊的输入图像中恢复出清晰的图像,从而提高识别精度等。因此,图像去模糊问题是图像复原领域里面的研究重点,而一般的去模糊方法在人脸图像上效果不佳。本文采用生成式学习方法,结合特征矫正模块,实现对模糊人脸图像进行高精度复原,主要工作如下:(1)基于高效自注意力的模糊信息矫正技术研究图像特征的提取和选择是图像处理过程中的重要环节。模糊图像特征存在不同程度的扭曲,准确获取具有一定难度。本文利用自注意力模块(Self-Attention Module,SAM),以捕捉特征内部相关性,从而实现模糊图像特征的有效矫正,有利于后续图像恢复。同时,鉴于自注意力机制的高昂计算开销,本文采用了一种高效的自注意力机制,实现了性能与计算开销之间的平衡。(2)图像复原的生成式网络设计为增强复原图像的细节信息,本文综合采用多尺度特征金字塔融合方式以及渐进式生成方式,设计了配备校正模块的特征融合网络(Feature fusion network,简称FFN),用于图像去模糊。该网络对人脸特征进行逐层校正和融合,最终生成细节信息丰富的高质量复原图像。本文与目前主流的图像去模糊算法进行了对比实验,实现了人脸复原方向的SOTA结果。在主观评价方面,本文复原图像细节丰富且模糊风痕较少,五官信息更清晰立体,提高了图像整体恢复质量。在客观指标方面,本文与其他方法对比了PSNR和SSIM指标,其中PSNR指标超越当前性能最优模型将近1.5db,SSIM指标超越1.5%。(3)图像复原网络的对比实验与消融验证本文与去模糊领域较为常见的近十种算法进行了对比实验以及自身关键模块的消融验证。在对比实验方面,本文从合成图像、真实图像、人脸识别准确率以及模型运行效率四个方面进行了对比。首先,本文采用了两种人脸对齐后的合成图像测试集和六种自己制作的合成测试集进行去模糊对比,并实现了复原效果最佳和复原指标最高。然后,本文在公认的真实测试集,实现了更高的复原质量以及人物特点(例如,痘痣)的精准复原。最后,本文在所有去模糊算法中复原人脸识别准确率最高。与此同时,本文的采用中等大小的模型实现了较高的运行效率。
其他文献
互联网技术的飞速发展和新闻平台的多样化,使得人们能便捷地获取、分享信息,同时也产生了“信息过载”。这使人们从海量信息中获取知识的效率受到严重挑战,推荐系统专于应对这一挑战。它是在用户需求不明朗的情况下,通过对用户行为习惯等信息进行综合分析,从而挑选出最合适的内容推送给用户。然而,在新闻场景下,只有部分研究通过深入分析文本内容来确立用户偏好,如DKN算法(Deep Knowledge-aware N
学位
红外弱小目标检测技术在周界安防、目标跟踪、防火防灾等领域具有广泛的应用。红外弱小目标由于其尺寸小、特征不明显且经常受到背景杂波干扰等特点而导致检测难度极大,现有的目标检测方法存在严重的漏检和虚警。针对这些问题,本课题基于深度学习理论开展了红外弱小目标检测方法的研究。主要工作如下:(1)提出了基于孪生Transformer的单帧红外弱小目标检测方法。该方法将原图划分为若干个不重叠的子图,然后将目标子
学位
随着互联网的快速发展和数智化时代的到来,个性化推荐已经被广泛应用在商品、视频、音乐、电影、短视频等各种推荐场景上,并且发挥了至关重要的作用。但如何进一步提升推荐的准确性并带来更高的用户体验感,一直是相关研究的重点。现有的基于深度学习的推荐算法常使用的预估模型是以用户的点击为目标的,这样并无法考虑到用户点击后产生的其他行为,从而缩小兴趣网络降低用户满意度,并且存在样本稀疏、显隐式反馈运用不平衡、目标
学位
目标识别作为图像感知和视觉领域的一项基础任务,其性能的好坏将直接影响后续中高级任务的性能,进而决定着人工智能在特殊场景中的应用。最近几年,随着深度学习的发展,目标识别方法也取得了巨大的突破。但是现有的方法在面对复杂场景中的小目标识别和缺少标注数据的小样本目标识别上依然存在一些困难尚未解决。本文针对现有问题,从两方面进行分析,首先利用深度学习的目标特征感知能力和强化学习的序列搜索能力来解决小目标识别
学位
在日常获取图像的过程中,受物体移动或相机移动等外界因素的影响,导致所拍摄照片会产生图像畸变。运动模糊是一种常见的图像退化问题,运动模糊图像复原技术一直以来是图像处理方向的研究热点,研究人员根据模糊核是否已知将图像去模糊方法划分为两类:模糊图像盲复原方法和模糊图像非盲复原方法。本文深入研究了运动模糊图像盲复原技术,对现有方法存在的缺陷进行了详细分析,提出了一种全新的基于多阶段的运动模糊复原网络,提高
学位
学位
图像超分辨率重建技术是指在同一场景下,从低分辨率模糊图像到高分辨率图像转换的一种特殊方法。近年来,由于其具有广泛的实际应用价值和深远的理论意义,这种技术已经被广泛地应用于计算机视觉、图像处理等领域。由于将生成对抗网络用于图像超分辨率重建可以获得更高的质量和更好的视觉体验,所以与生成对抗网络有关的研究受到了极大的重视,但是该网络在模型重建中存在尺度单一和获取高频信息不充分的弊端,导致生成的图像有强烈
学位
随着互联网的快速发展,移动应用数量激增,同时移动应用产品功能趋于多样化与复杂化,由此引发的GUI测试问题也越来越具有挑战性。现有的移动应用GUI测试方法中,传统的手工测试存在高成本、低效率、强依赖等问题。而主流的自动化测试方法,money随机测试难以复现bug,录制回放技术需要大量人工操作。因此,如何实现快速高效的移动应用GUI自动化测试成为当前移动应用测试的研究热点。GUI测试建模是实现GUI自
学位
知识是对“识”的理解和描述,也可以说知识就是智能。但目前的主流认知是知识是人类在实践中认识客观世界的结果,这种认识并没有对认识的主体进行讨论。在人工智能领域,为了建立一个基于共识的知识库来表现智能,出现了专家系统、神经网络、知识图谱等模型,这些模型对知识的研究不够深入,且知识库不会随外界更新。因此为了建立一个全面、基于自我意识、可以随外界更新的知识库,本文在知识表示研究的基础上,将知识融合任务分成
学位
现代战争中,无人机在空战和空地联合作战中都占据重要地位并发挥着巨大作用。然而,从战术任务起飞点出发,躲避所有障碍物并且避免敌方探测器的嗅探和攻击,安全飞行并最终到达任务终点,是无人机在诸多战术应用中的首要任务,是执行一系列任务的前提和保障。因此,无人机需要一条满足任务需求的飞行路径,需要有效的路径规划方法来获得。除此之外,无人机战术路径规划的常规仿真方案中,无论是环境感知、态势评估、飞行控制、无人
学位