基于不确定性约束和多任务学习的多退化人脸图像修复研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zxw123321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在各类图像中,人脸图像具有重要的地位,很多关于人脸图像的相关技术已经被应用到实际生活中。然而,人脸图像在其生命周期中可能会遭受各种各样的退化,比如,噪声、模糊、压缩伪影、颜色丢失、低分辨率等。这导致图像中信息的流失,既直接影响对人脸图像的欣赏,又间接影响诸如人脸检测、人脸识别等下游应用的表现。因此,对遭受多种退化的人脸图像进行修复不仅具有重要的人文意义,也具有重要的应用意义。在对图像及人脸图像进行修复的研究中,大多数研究只关注处理某一个退化种类,但是在实际应用场景中,图像可能遭受多种退化的破坏,这导致这些单退化修复工作在实际应用场景中往往性能不佳。近两年,几个新颖的工作开始依托于深度学习技术中优异的图像生成、图像翻译方法的强大学习能力,关注直接修复多退化混合图像,取得了优秀的性能。本文的目的是对于难以分离建模的退化种类进行多退化混合建模修复,对于易于分离建模的颜色丢失、低分辨率退化进行单独定向建模修复,最后能够对真实环境下的多退化人脸图像进行泛化能力较强的修复。首先,面向多退化混合问题进行统一建模。值得注意的是,图像修复问题是不适定问题,即一个退化图像可能对应多个高质量图像,多退化混合条件下更加大了这种不确定性,但相关的研究往往相对忽略了对不确定性问题的关注,这使得这几个研究的算法性能仍受到修复不确定性的困扰。本文在现有的隐空间对齐及输出空间对齐的人脸图像修复算法的基础上引入不确定性约束。具体的,在相应的空间中构造不同的学习分支,再利用不同学习分支的输出衡量不确定性,形成加权图,进而对不同的像素分配不同的修复“注意力”,更精确地进行空间对齐。实验结果证明在不同空间引入不确定性约束后,基础算法都能够实现更好的多退化混合人脸图像修复。进一步,面向人脸图像上色及超分辨率任务分别定向建模。其中在主要任务的基础上利用人脸解析任务形成多任务学习框架,以此引入相关的人脸语义信息辅助主要的修复任务能够有效学习相关内容,进行更符合人脸语义的上色、超分辨率。进一步,通过逐级地构建跳连设计了一种残差结构,用于融合不同感受野下的信息,提升模型的学习能力。实验结果证明引入人脸解析任务与残差结构能够带来更好的修复性能。最后,本文通过整合所提出的算法。实现了一个对多退化人脸图像进行修复的流程,能够有效地适应真实环境下的复杂多退化。
其他文献
水声目标识别是开展海底多项工作的前提,是当下海洋探测研究的一个重点方向。水下发声源发出的声音信号在复杂的海洋环境中进行传播,导致信号接收端采集到的信号强度变得很弱,同时在传播过程中会被高强度的海洋环境噪声污染,人们很难采集到大量的高质量水声信号数据。因此如何在训练样本数量不足的情况下高效的进行检测识别是水声目标识别任务的核心问题。现有的水声目标识别方法可以分为基于传统机器学习的方法和基于深度学习的
学位
动作识别作为计算机视觉中非常重要的一部分,近年来在人们的日常生活中的重要性逐步提升,在安防领域、人机交互领域、游戏领域等都具有广泛的应用。虽然传统的基于视频的动作识别方法取得了不错的成果,但是基于人体骨架的动作识别方法具有更加准确、轻量、鲁棒的优势,因此研究人体骨架动作识别具有很高的科研价值和应用推广价值。近年来,越来越多的研究者将图卷积神经网络的方法应用在人体骨架动作识别研究方向上。其中基于时空
学位
目标跟踪是计算机视觉的基本问题之一,在自动驾驶、无人机监控、智能交通控制、行为识别等众多实时视觉应用中发挥着重要作用。目标跟踪是在给定目标对象的初始状态下,估计视频图像序列中该目标轨迹的任务。在过去的几十年中这一领域得到了广泛的研究,到目前为止,由于训练数据的有限、遮挡、目标外观畸变和光照变化等困难,目标跟踪仍然是一个非常具有挑战性的任务。本文基于相关滤波对目标跟踪算法进行了研究,主要工作如下:(
学位
噪声标签学习是机器学习领域中一个重要的研究方向。其作为一个与数据密切相关的基础问题,广泛地存在于人工智能的各个领域中,如分类问题、识别问题等。尤其是在深度学习时代,噪声标签问题的研究变得更为重要。深度学习的成功依赖于大规模人工标注标签的数据库,但构建大规模人工标注数据库的成本极其昂贵且非常耗时。低成本、耗时短的替代方法,如互联网爬虫技术等,但不幸的是这种方法获取到的数据集不可避免的含有大量噪声标签
学位
现实世界中存在许多约束多目标优化问题,如产品设计中,在考虑最低成本和最大经济效益两个目标的同时还有交货时间的限制。近年来,进化算法在约束优化领域取得了很多好的研究成果,已经成为研究约束多目标优化问题的主流方向,其中差分进化算法(DE)是最典型的进化算法之一。但是,随着目标函数的增多和约束条件的复杂,现有的约束多目标进化算法存在多样性较差、收敛过慢及计算资源浪费严重等缺陷,因此,亟需设计高效且实用的
学位
随着人工智能的快速发展,人们要求室内机器人能够在更大的场景下执行更加复杂的任务,如自主取物、自主行走等。这就要求室内机器人同时具备定位、感知环境和理解环境的能力。视觉语义同步定位与建图(Simultaneous Localization and Mapping,SLAM)技术作为机器人技术领域的重要分支,担任着机器人定位、感知外部环境以及理解场景的重要角色。点云地图作为常见的视觉语义SLAM技术的
学位
随着云计算技术的蓬勃发展,目前有越来越多的传统行业选择将自身业务迁移到云平台上,借助云平台强大的计算和存储资源来提高工作效率,形成了各种社区云平台,医疗云就是其中一种社区云平台。借助医疗云平台,可以对各医疗机构拥有的医疗资源进行整合,以提高总体医疗资源的利用效率。但普通的医疗云平台通常在数据上云前的存储、上云时的传输、在云端的治理与存储以及数据使用时的传输等四个方面存在较大的安全隐患。针对这些安全
学位
图像是人类获取信息的重要来源,在人们的日常生活中占有重要地位。由于图像种类复杂且数量庞大,对图像分析与分类的要求越来越高。学习图像的低秩判别特征是分类的基础,并且已经有很多方法致力于解决这个问题,但仍存在一些因素影响特征质量,比如,噪声影响,秩约束的不准确逼近,学习到特征空间与原始空间局部拓扑联系不够密切,特征提取与后续分类任务独立进行等。课题以表示学习为基础,以提高分类精度为目的,将表示学习融入
学位
随着互联网技术的迅速发展,生活中各个领域经常遇到海量的高维数据,这些数据中包含大量的噪声和不相关的、冗余的特征,在分析这些数据时不仅会显著增加算法的推理时间,还会严重降低模型的性能。由于特征选择可以保留原始特征的物理意义,使得模型可解释性更强,因此被广泛的研究和应用于维数约减技术中。目前已有的特征选择方法利用矩阵分解、稀疏回归等不同的学习策略来提升模型的整体性能,均取得了不错的成果,但是在局部流形
学位
投票活动是人民群众表达个人意愿,决定事情发展走向的重要手段,匿名投票的优势在于它可以在发扬民主的同时很好的保护选民的个人隐私,故此受到普罗大众的赞同和认可。随着云计算的兴起,将计票中心在第三方云平台上部署已经成为当今时代的普遍做法,但是第三方云平台的可信程度和安全程度却难以得到保证,恶意敌手可能在计票过程中窃取到用户的隐私数据,即便把计票中心部署在本地,也难以从根本上避免选民隐私泄露的问题。以往基
学位