基于生成对抗网络图像补全的研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:shijiuxian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像补全是数字图像处理领域的重要研究方向,应用前景十分广阔。近年来,生成对抗网络(GAN)给图像处理任务提供了全新的手段和技术,比起传统的深度学习,它拥有更强大的表达和特征学习能力,在图像补全领域取得了显著成功。但利用GAN进行图像补全的研究主要集中在对图像缺失内容的修复,而生成模型的特点便是能够生成新的信息,基于这个特点,Mark Sabini等人提出了图像扩展的概念。图像扩展在图像修复的基础上更进一步,可以根据图像片段“预测”出原图像中不存在的、边界外的部分,即给定一幅原图像,通过图像扩展能生成一幅具有更大分辨率和更多信息的图像。图像扩展将会衍生出很多令人兴奋而新颖的应用。例如,可以将图像输出用于全景创建、垂直拍摄的视频扩展和纹理创建,而相关方面的研究较少,所以具有很大的研究意义。图像修复和图像扩展密切相关,但在并没有明确的研究表明前者的技术可以直接应用于后者。本文将用于图像修复的生成对抗网络技术引入到图像扩展中:(1)引进残差块避免可能存在的梯度消失/梯度爆炸问题,同时加速收敛;(2)使用wasserstein距离来训练模型,提高模型的稳定性,以及生成图片的多样性,特别地,本文使用了两个鉴别器:全局鉴别器网络和局部鉴别器网络,正如本文所证明的,这对于获得语义和局部相关的图像补全结果是至关重要的;(3)为了更进一步提升生成网络的图像补全性能,加入MSE损失训练生成网络的同时,引入了MRF能量函数。增加这个能量函数后,使得缺失部分的像素与边缘像素在图像特征上的一致性得到了保证。增强了缺失部分与完整部分间图像特征的一致性,同时损失函数下降更快,再一次提升了生成网络生成的图像效果。最后,本文通过训练收敛速率、结构相似性、峰值信噪比、归一化均方误差和平均绝对误差这些指标来评估扩展图像的性能。通过在Place365-Standard分离出的沙滩和草原数据集上训练模型后,补全出更加逼真的图像证明了本文成功的优化了模型,本文的模型损失收敛更快,补全出的图像质量、真实度和多样性都有所提升。此外,本文还设计了梯度惩罚参数、CT惩罚项参数、马尔科夫随机场权重参数和联合损失中传统GAN对抗损失权重参数这四组修正超参的对比实验,以获取模型的全局最优状态。
其他文献
锥栗对土壤要求不高,适应性强,适合海拔300—1000米坡度平缓,土层深厚、疏松,排水良好,有机质含量多的砂壤土种植,一般亩植30株左右。据调查,低产锥栗园普遍存在着品种混杂,
中国青年报社会调查中心对7804人进行的一项调查显示,76.1%的人表示做好事会被怀疑动机不纯,50.6%的人认为做好事会被嘲笑。"好人难做",这当然和社会大环境有关系。一方面是
电子政务的开放性,可以提高行政行为的透明度,促进对行政权力的监督;交互性便于群众参政议政;网络特性可以提供全天候在线服务,并利于在更大范围内接受监督。
计算机X射线摄影使用影像板采集X射线影像信息,影像板性能的好坏以及是否能正确的使用,直接影响到图像的质量,所以,要得到高质量的影像,既要选择适宜的曝光量,又要正确、合理地使用
刚进入小学阶段,学生对周围的人和环境都处在适应的初期。尤其是小学和幼儿园本质上的区别使学生转变学习、生活方式成为必然。而唯一不变的是学生还可以用手中的笔画出心中的
民俗诗作为诗歌题材在南宋诗坛上其创作已形成一定的规模,成为突出的文学现象,具有不同于前代的文学特性。它的兴盛与诗人文化意识、价值取向及社会政治、经济、思想等多重因
人人羡慕的高材生不一定都能成长为对社会有用的人材。远到马加爵杀人事件、中国留学生枪杀教授事件;近到连续发生的重点高校高材生跳楼自杀事件。为何拥有美好前程的青少年会
第一次亲眼见到伪名媛,是在某次饭局上。时值盛夏,伪名媛头戴沿边白帽,脖子上系着彩色丝巾,身着长礼裙,耳环、项链、手镯自然是必备配饰,一身珠光宝气。旁人大赞名媛,依旧神
“泉麦三号”是泉州市农科所通过杂交选育而成的优良小麦新品种,1997年通过省品种审定委员会审定,是一个早熟、丰产、优质、抗病、适应性广的优良品种,是我省目前主要的小麦
塑盘育秧抛秧技术,近年在各地广为推广应用。它具有省工、省力、省秧地等效果,已得到普遍认可。针对塑盘育秧技术目前还处于不断提高和完善的阶段,去年我们采用不同盘土进行