基于注意力模型和小波分解的图像修复算法研究

来源 :成都理工大学 | 被引量 : 0次 | 上传用户:xjtcfx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
因为基于结构和纹理的传统数字图像修复技术仅在像素层面对受损图像进行修复,缺乏对图像高层语义的理解,因此无法修复带有大面积受损区域的图像。基于深度学习的图像修复技术利用生成式对抗网络强大的语义推敲以及特征提取能力在修复大面积缺失区域方面显示了极大的潜力。然而现有的基于深度学习的研究在进行修复时大多只考虑缺失区域之外的信息,或者仅依赖缺失区域上下文生成图像样本块,忽略了缺失区域内部相邻像素之间的语义相关性和特征连续性对修复效果的影响,这可能导致其上下文结构不连续,纹理细节模糊不清。本文针对上述问题对基于深度学习的图像修复技术开展了进一步深入研究,主要研究工作如下:(1)基于生成式对抗网络,引入一种由粗到精的级联式修复框架,粗修复网络首先对图像进行一个初步的预测及复原以稳定训练过程并扩大感受野,同时为精修复网络提供图像结构的先验分布;精修复网络则根据粗修复结果可以更全面地学习到图像的结构信息从而提升修复效果。(2)针对重建图像时常出现的语义失真问题,提出了一种内外语境注意力模型嵌入在精修复网络中,该模型不仅可以保持缺失区域内部像素和外部像素的高度相关性,同时还能增强缺失区域内部生成像素之间的语义连续性,并联合处于缺失区域内外的像素以共同指导缺失区域的重建。(3)仅仅建立在自然图像水平上的对抗性损失不足以产生清晰的纹理细节。为了解决这个问题,本文引入了一种基于小波分解的纹理对抗损失以增强图像的细节表现。通过将生成图像进行小波分解得到代表图像细节的高频分量,随后将其作为判别器的输入,利用对抗损失以学习图像的纹理细节。本文在Celeb A和Place2两个大型图像数据集上分别进行了验证与评估。实验结果表明不论是针对矩形还是不规则的缺失区域,本文算法都能实现大面积破损图像的修复任务并重建出符合视觉真实性的结果。同时通过对实验结果的定量与定性的分析,相较于现有的一些方法,本文算法的修复结果具有更连续的语义和更清晰的纹理细节。深入推进本文的研究将有助于提升图像自动修复技术在复杂环境下的适用性。
其他文献
当今社会,在经济飞速发展的同时,我们赖以生存的环境也正面临着严峻的污染问题,其中重金属离子对水环境的污染问题日益严重。众所周知,随着工业、农业等行业的发展很多有机,无机污染也随之进入水环境中,其中以毒性大、难降解的重金属离子的污染尤为严重。常见的重金属有Pb,Hg,Cu,Cd,Cr,As,Zn等,当它们进入水环境中,可能会通过吸附,络合等方式富集,从而对环境造成污染,同时也有可能经过食物链进入动物
2020年初以来,新冠疫情正在冲击世界各国。中国政府建立联防联控机制,给数据赋能,积极拓展数据抗疫途径,数据在疫情防控决策、应对部署、疫情研判等方面得到深入运用,为夺取疫情阻击战的决定性胜利发挥了独特作用。在助力疫情防控的同时,数据还在推动复工复产、保障社会经济平稳运行中起着支撑作用。我们相信,通过本次抗击新冠疫情,不管是在政府的行政管理,还是在社会经济生活的的运行等层面,数据的作用将会越来越大,
在中国现代文学史中,文学与政治之间呈现出来的复杂关系远远超过了人们的想象。在大多数的时段里,文学常常处于特殊的政治文化语境之中,表现出政治意识形态化的特征。尤其是在中国社会结构大变动的时代里,政权的建设对文学提出了更严格的要求,一定程度上制约着文学的发展。本论文将1942——1978年间小说文本与相应时期社会政治历史进行对照,探析随着不同时期共产党在农村改革的政策变化,小说中地主形象经历的由较为温
改革开放以来,我们国家的社会经济以及科技的发展已经进入到了飞速发展的阶段,随着科学技术的发展,信息技术已经在逐渐渗透进我们的生活。信息技术的发展无疑是方便了我们的生活,为我们带来了很多的便利,大到国家组织小到学校、企业,都非常积极地引进相关的信息技术,也只有重视信息技术的组织结构才能顺应时代潮流的发展。高校作为社会发展中的一份子,作为教育界的重要结构,学生管理工作的重要性不言而喻,因此对于高校来说
目的:研究雷珠单抗玻璃体腔内注射(IVR)联合双氯芬酸钠和单独雷珠单抗玻璃体腔内注射治疗新生血管性年龄相关性黄斑变性的病例对照临床研究。方法:纳入2017年1月至2017年12月在我院就诊的新生血管性年龄相关性黄斑变性患者55例,其中雷珠单抗治疗组(单药组)27例,雷珠单抗(IVR)联合双氯芬酸钠治疗组(联合组)28例。所有患者接受每月一次0.5mg IVR玻璃体腔内注射3个月,然后根据再治疗标准
本文针对重载运输机器人,综合出消除约束/驱动奇异的冗余驱动并联腿机构。基于约束旋量理论,揭示约束奇异/驱动奇异的约束旋量/次生约束旋量的线性相关本质,给出并联机构约束奇异、驱动奇异的判别准则,提出消除约束/驱动奇异的冗余驱动并联机构设计原理。依据上述原理和方法,本文设计出一种具有RxRyTz三自由度的无约束/驱动奇异的2RPS-UPU+2SPS冗余驱动并联腿机构。运用边界数值搜索法,基于位置逆解得
目的监测1型糖尿病(T1D)患儿血管功能,评估长、短期血糖波动对血管功能的影响,探究不同方式的胰岛素使用、血糖监测对血糖控制及血管功能的影响。方法收集38例T1D患儿年龄、
生产中,纱线的强力受到纤维性能以及纱线的结构等因素的影响,直接对后道工序产品质量产生制约,以往较多是通过构建力学模型改变纱线结构以提高纤维强力利用率。纤维自身的性
现如今,在人脸识别邻域的发展比以往更加的迅速,生活中的许多地方都采用了人脸识别技术,比如人脸支付、门禁等等。人脸识别技术的发展都给人们带来了许多的方便,但现如今的人脸识别还是存在着许多的不足,这些不足也制约着人脸识别的发展。目前的人脸识别技术在检测人脸的过程中必须保证人脸是没有物体遮挡的,如果有物体遮挡,人脸就无法进行正确的检测。该问题造成了人们的许多的不便,解决人脸在有物体遮挡的情况能够正确识别
装配式建筑因其提高生产效率、节约能源和绿色环保等卓越的特性被大量应用于现在的工程建设之中。而装配式结构节点强度是保证整体结构安全性的最重要的指标,对保证结构整体的可靠性及耐久性具有重要意义,现阶段装配式结构节点连接多采用套筒连接。套筒灌浆密实性检测技术一直是当前土木工程领域中的研究热点之一,应用压电波动技术对套筒灌浆密实性进行检测则是一种新的检测方法。本文将利用压电波动技术,以压电陶瓷片分别为驱动