基于深度生成模型的图像修复算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:sunjing123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着便携数码设备的普及,数字图像广泛地出现在了人们生活的方方面面。在拍摄条件受限等多种因素的作用下,部分图像中会存在缺损等不符合预期的内容,随着图像数量的大幅增长,这种存在缺陷的图像也越来越多。为了处理这些缺损图像,人们对自动化的图像修复算法的需求也越加迫切。面对如何实现图像自动化修复这一难题,学者们做了大量工作,并且提出了许多有效的数字图像修复算法。近年来随着计算机技术的飞速发展,人工智能与机器学习算法得到了长足的进步。由于深度学习算法在图像处理方面表现出了优异的性能,因此被广泛应用于计算机视觉领域中,图像修复算法作为计算机视觉领域的分支也从中受益。随着许多基于深度学习的图像修复算法的提出,图像修复的效果得到了巨大的改善。图像修复算法是指参考缺损图像的剩余信息生成修复补丁,使修复后的图像尽可能接近真实图像的算法。但由于缺损处信息已丢失,因此在单幅图像上进行的传统图像修复算法效果往往不尽人意。由于基于深度学习的图像修复算法能够从大量图像中学习完整图像所具有的整体结构等统计信息,进而将这种信息应用于缺损图像上,推理得到图像缺损处的信息,因此该类算法与传统图像修复算法相比有着更好的表现。尽管现有的许多算法已能实现较高质量的图像修复,但其中仍存在着一些问题,如细节信息修复不佳、整体结构不合理等。针对现有算法中存在的问题,本文采用基于卷积神经网络与生成对抗网络的思想,对图像修复问题进行研究。本文的主要工作如下:1.针对现有图像修复算法中结构修复不佳的问题,本文将边缘图引入模型的损失函数中,增强了模型对图像边缘结构的修复能力。为了增强模型对图像不同尺度对象的修复效果,本文使用多尺度边缘损失约束模型。为了得到较大的感受野,本文使用空洞卷积搭建了一个较深的网络,而为了解决由于网络过深带来的梯度消失问题,同时为了复用浅层特征,本文使用了密集连接残差模块。为了避免反卷积造成的棋盘伪影问题,本文使用最近邻插值算法与卷积层相结合的方式对图像进行上采样处理。2.针对面部图像修复中存在的语义结构不佳的问题,本文设计了面部特征点损失函数,同时引入总变分损失函数,以参考图像先验信息的损失函数约束模型训练过程。在引入先验信息后,修复所得的面部图像在结构上更加合理、真实,证明了引入先验信息能对图像修复算法的效果产生较大的提升。针对现有算法对图像整体与细节修复不协调的问题,本文使用图像的多尺度信息参与图像修复过程,利用不同感受野的卷积核提取图像在不同尺度上的信息。由于图像在不同尺度下的特征之间维度过高且存在冗余信息,本文引入了通道注意力机制进行特征选择与特征降维。为了同时保证模型在整体与局部上的生成效果,本文采用了双判别器的结构。由实验结果可以看出,在多个数据集、多种评价指标下,本文的模型都有着较好的效果。
其他文献
二语英语词重音在国内英语学习和教学中扮演着重要的角色。与英语这种典型的重音计时语言相反,汉语是一种音节计时语言。由于英汉两种语言在韵律上的这种类型差异,中国的二语英语学习者在感知和产出英语词重音时存在一定的困难,尤其是年轻的英语学习者。英语学习者的地方方言和母语都会对二语习得起着一定的迁移作用。在此背景下,本研究借助语音声学实验探讨河南省初中生英语词重音的习得情况,并主要关注以下研究问题:1、河南
随着地震勘探的不断发展,浅层的资源越来越少,人们开始对深部地质资源进行勘探和开发,这对地震采集数据的分辨率要求越来越高。地震勘探仪器作为数据采集的关键设备,直接影响着地震数据的好坏,而传统的模拟检波器已不足以满足要求。近年来,由于微电子技术的巨大发展,基于MEMS(Micro-Electric Mechanical System,微机电系统)技术的第六代全数字地震检波器成为发展趋势。相比之下,ME
2005年以来,中国银行业监督管理委员会(现中国银行保险监督管理委员会)、中国人民银行、财政部等多个金融、财政监管机构多次开展了小额贷款公司试点问题的讨论。2008年5月,小额贷款公司试点有了初步的顶层设计,国家发布了《关于小额贷款公司试点的指导意见》。在国家法律层面的基础上,山东省人民政府办公厅于2008年9月,印发了《关于开展小额贷款公司试点工作的意见》,随着国民经济的不断发展,2016年和2
通过协同合作,多智能体可以共同作用完成一项复杂任务,近年来多智能体的协调控制已引起学者们的广泛关注.由于实际的物理系统通常具有本质的非线性,对非线性多智能体系统的研究有着实际的意义.在一些实际工程中,智能体集结到某个区域,即存在多个领航者的情形,本文研究存在多个领航者的非线性多智能体系统合围控制,主要完成了以下工作:首先,介绍了代数图论的基本概念和本论文用到的相关定义和定理,给出了基本的多智能体系
复杂网络中的重要节点对于制止谣言、控制舆论传播、社交影响力最大化等都有重要意义,节点重要性研究是复杂网络的热点领域之一。众多学者对复杂网络进行了深入的研究,提出了许多成果,近年来,一些学者开始关注时序网络,对时序网络的结构特征、动态演化等问题进行了研究,本文主要针对时序网络中的节点重要性发现进行研究,具体研究内容如下。提出了基于特征向量的时序网络节点重要性研究方法。首先,根据时间窗口模型将时序网络
随着大数据时代来临,大容量、高速率、长距离的传输系统必然是未来的主流。相干光正交频分复用技术(CO-OFDM)作为相干光技术和正交频分复用(OFDM)技术的共同产物,对两者的优势兼而有之,可以在新一代高速光网络中扮演重要角色。近年来,机器学习技术在计算机科学领域取得了非常成功的应用,自然而然在光通信领域也将发挥重要作用。在CO-OFDM中,由于信号峰均比(PAPR)比较大,在元器件的非线性特性作用
本试验是通过体外试验和动物饲养试验,对酸化剂的复合及作用效果进行研究。通过体外抑菌试验和模拟消化试验对十种单一酸化剂进行筛选,并分别组成消化型、抑菌型、兼顾型三种复合酸化剂。再对三种功能型复合酸化剂进行体外筛选,确定复合酸化剂各酸之间的最佳比例及最佳添加水平。然后进行饲养试验,通过测定三种不同功能型复合酸化剂对仔猪生长性能、粪中指标、血清生化指标的影响,从而为复合酸化剂的作用效果及应用提供参考依据
本文研究的主要内容是全变差模型、K-SVD和小波变换在去噪中的应用,正则项系数的自适应选取,以及相关算法的优化和改进。如今随着数字科技的不断进步和发展,数字图像处理也越来越广泛的应用到了生产生活中,如生物特征的识别、交通管理、冶金工业、军事等领域,逐渐成为智慧城市,智慧社会发展中不可或缺的强有力工具。图像在数字化处理的过程中,受到多种因素干扰是必然的,所以图像受到噪声的污染导致图像质量下降甚至丧失
汽车产业不仅体现了国家的工业发展水平,也是该国的经济支柱产业。自我国加入世贸组织后,国内汽车产业发展迅速,并在2009年我国汽车产销量一举成为全球榜首,从此跻身为汽车制造业大国。同时,自主品牌车企也纷纷走出国门,从产品单纯的贸易性出口发展到建立海外常驻机构,再到组建海外工厂实现本土化生产,逐步在国际市场中确立了中国品牌的位置。2012年中国汽车年出口量首次突破100万台,说明国外消费者对自主品牌产
随着光子技术的不断发展,将光子技术与微波技术相结合的微波光子技术受到广泛关注。微波光子技术具有大带宽、低损耗、抗电磁干扰能力强等优点,广泛应用于天文、雷达、卫星通信等领域。在众多应用中,如何产生高质量的微波光子信号是其中的关键。由于半导体光电子器件具有极高的响应速度和可集成潜力,因此开发基于半导体光电子器件的光子微波系统是实现系统小型化和集成化的理想选择。本论文以半导体激光器的动态特性为基础,特别