基于生成对抗网络的图像补全算法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:gedebao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着计算机硬件设备更新换代以及软件技术的快速发展,基于计算机视觉的图像补全技术得到了学术界的广泛关注,成为计算机图像处理方向的一个热门研究方向,在文物艺术品修复、生物医学影像、辅助人脸识别、遥感图像处理等众多领域得到逐步应用。图像补全的主要思想是根据图像完好部分的信息对缺失区域进行合理地推断补全,并且确保补全结果满足结构连续合理,色彩均匀一致等条件,满足人们视觉上真实的要求。目前基于深度学习的方法对图像进行补全已经取得了不错的效果,但是依然存在很多问题,如:对缺失区域过大的图像进行补全时,出现不连贯、语义不合理问题和色彩不均匀、过渡边界明显的问题;对缺失区域为不规则形状的情况下进行补全时,补全结果出现伪色彩、细节模糊等问题。为解决这些问题,本文以深度补全模型为基础,分别从网络结构、后处理操作以及卷积方式等方面进行了改进和设计。主要解决措施和研究成果如下:(1)针对大面积缺失情况下,深度补全模型的补全结果出现不连贯、语义不合理的问题,提出一种基于自注意力机制的图像补全改进算法(SA WGAN)。通过在粗网络中加入跳跃连接,增强特征传递,解决梯度消失的问题;在细网络阶段,引入自注意力机制进行全局特征的提取,并优化细网络的空洞卷积层,使生成图像更加清晰连贯,细节更加真实立体。通过和GLCIC算法、深度补全算法、PLC算法对比,证明所提SA WGAN算法的优越性。(2)为解决SA WGAN生成图像出现色彩不均匀、过渡边界明显的情况,引入泊松融合对生成图像进行后处理操作,使最终的补全图像色彩均匀,达到无缝融合的效果。经实验对比表明,加入后处理操作可以改善这种补全失败的情况。(3)针对破损区域为不规则形状的情况下,补全结果出现伪色彩以及细节模糊的问题,在SA WGAN的基础上引入门控卷积和SN-PatchGAN,提出一种GATED-SA WGAN算法,并加入不规则掩膜进行训练。经实验对比表明,该算法大幅提升了不规则缺失图像的补全效果。
其他文献
随着工业和社会的发展,振动检测技术得到了大力的发展,其中激光测振技术发展迅速。但到目前为止,安装方便、使用效果好的设备技术难度高、难以实现,特别是降低激光传播通道上的风、温度梯度等通道干扰信号非常困难。所以提出了反射式双光束振动检测技术研究,其利用检测区域振动传播过程对物体表面形成的推动变形及不同位置存在相位差的基本原理,双光束进行差分干涉实现振动检测。拥有以下优势:系统适应性强,只要振动附近有会
LED是发光二极管(light-emitting diode)的简称,属于低碳节能的新型光源。相对于传统的白炽灯,LED的耗电量更低,也更环保。因此,LED被广泛用于家用照明、道路照明、景观照明等各种照明工程,成为了照明工程的主流光源。随着LED芯片集成度的增加,其产生的热量也在急剧增大。然而,过高的结温必然会影响LED灯的寿命。因此,LED热源的散热设计非常关键。本文基于大功率LED器件热系统结
合成孔径雷达(Synthetic Aperture Radar,SAR)在目标探测方面具有很大的优势,被广泛地运用在军事领域。军事目标为了不被轻易探测到,很多时候会隐藏在树林区域,由于树木的遮挡,使得雷达探测受到极大的限制。相比于短波段,P波段电磁波波长较长,穿透树木冠层时衰减较小,对叶簇有良好的穿透能力,可以获取林下区域目标的信息。但树干强烈的回波会对目标检测造成干扰。鉴于此,本文从理论分析和实
随着半导体工艺的发展以及芯片集成度的不断提升,芯片之间的数据传输速率的需求越来越高,高速串行数字接口在很多场景下淘汰了并行接口,并且集成到了很多复杂大规模集成电路(如FPGA、DSP和CPU)中,其高度集成化与强大的数据传输能力对测试能力的需求也越来越高,如何提高测试能力来解决测试时间与成本问题成为集成电路行业关注的焦点。市场上主流的分立仪器测试方案,尽管可以对Serdes接口进行测试,但测试效率
随着电子设备对数据高速传输需求的增长,各种高性能串行总线得以不断发展和进步。针对应用极其广泛的PCI-E高速协议总线和接口的测试也被逐渐统一和规范化。PCI-E的测试包括上层协议测试和信号质量测试两大部分。本文从技术实现原理上研究了PCI-E上层协议测试中所用到的测试探头以及PCI-E信号质量测试中所用到的测试夹具,并基于FPGA设计实现了一种能够进行PCI-E信号质量测试的协议信号测试装置,能产
当前社会上交通事故频繁发生,而交通事故的发生很大一部分是由于驾驶员在行车过程中做出不安全的行为而导致的。为了减少交通事故的发生,本文提出了一套用于检测驾驶员行为的方法,可以识别出驾驶员在开车过程中使用手机、抽烟、喝水、挠头等妨碍驾驶安全的行为。本文的主要工作如下:1.对于本课题任务,由于目前网上并没有合适且公开的数据集,因此我们自行采集并建立了数据集。数据集总规模达到8900张,并对驾驶员的位置和
随着现代社会的发展,人们对于驾驶出行自动化的需求日益旺盛,为保证出行的安全性,目标检测技术越来越多地应用到车载系统中,由于车载系统无法像实验环境提供充足的算力资源和内存空间,为此,本文提出了一种基于多级特征跳跃连接的轻量级目标检测网络,在保证了网络检测效果的同时,使得参数量大幅降低。基准模型的逐点特征提取法仅仅将中心点周围相邻点的局部特征作为输入,然而忽略了中心点本身的特征描述信息,这导致特征编码
随着互联网和移动通信技术的迅猛发展,人们能够随时随地地创建和分享文字、图像、视频等多媒体数据。作为一种多媒体数据处理技术,视频片段检索在研究和应用中都得到了极大的关注。视频片段检索的目标是针对给定的输入,在未处理视频中预测目标片段的开始和结束时间。根据给定输入的媒体模态不同,可分为如下两类:以视频或图像等视觉媒体作为查询输入的基于内容视频片段检索和以文本、音频等非视频媒体作为查询输入的视频片段检索
可见光图像具有分辨率高、纹理细节清晰、色彩丰富的特点,但也易受光照条件的影响,在能见度较低的环境下,无法获得清晰的可见光图像。红外图像不受光照条件的影响,在低光照环境下同样可以获得清晰的图像,但是红外图像表征的是物体辐射的分布情况,与人眼感知不同,不利于人眼观察。而且红外图像受其成像原理所限,无法获得与可见光图像相同的高分辨图像,如2k分辨率的红外图像。综上所述,为了获取高分辨率的融合图像,结合可
随着信息领域的不断发展,互联网、云计算、人工智能等技术不断的改变着当代人的生活。以智慧教育为目标,教育行业的现代化也被提上了日程。离散数学智能判卷技术的研究,是类人判卷技术应用到离散数学领域的一次尝试。利用研究的判卷技术,能有效提高教师的工作效率,让老师有更多的时间和精力去完成课程准备、对学生进行个性化辅导等更有价值的工作。本文以离散数学知识为基础,研究针对各类主观题的通用化判卷方法,设计准确、高