基于GAN的高质量图片重构

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:tomyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高质量图片通常指高分辨率且清晰的图片。它们拥有丰富的高频信息,比如清晰纹理,鲜艳的色彩等,这些高频信息不仅可以提高计算机视觉任务的准确率,比如人脸识别,目标检测等,还可以给予人们很好的视觉享受。在经典的视觉任务中,获取高质量图片的做法是通过超分辨率重建或图像去模糊来修复受损图片获得。超分辨率重建就是针对分辨率低的图像,利用合适的数学模型对其进行像素补全,使图像表达出更丰富的信息。而图像去模糊是指利用合适的数学模型把模糊的图片修复成清晰的图片。由于近几年来深度学习的快速发展,深度神经网络在图像修复领域也取得了比较大的进展。深度神经网络对比传统方法的优势在于其端对端网络训练方便,并且还能达到更好的效果。目前,基于深度学习的图像修复任务均可以在PSNR和SSIM等传统评价指标上取得了比较高的分数。但是,现实中,图片受损的因素不仅仅只有一种。比如,在路边摄像头中拍摄得到的人脸或汽车,不仅分辨率低,还会存在运动模糊。这种情况,如果使用单一的超分辨率重建模型或者去模糊模型,很难把这些图片还原回原来质量的图片。此外,目前图像修复工作中大多只使用PSNR和SSIM作为方法的评价指标,这样生成的图片虽然失真度较低,但会丢失了大量高频细节。这不仅使生成的图片看起来不真实,而且还会影响它们计算机视觉任务中的性能。针对以上的问题,我们设计了一个端对端的生成对抗网络,并命名为P~2GAN。该网络的生成器由去模糊特征提取模块和超分辨特征提取模块构成,可以把低分辨率并存在降质模糊像素的图片修复成高分辨率的清晰图片。其中,生成器的去模糊模块通过级联残差块(Residual in Residual,RIR)组成非对称编码-解码结构(asymmetric residual encoder-decoder architecture,A-RED),该结构可以扩大网络的接收场来增强对大尺寸模糊核的图片的特征提取能力。超分辨率模块则通过连接多个稠密残差块来提取图片的超分辨率特征。在提取超分辨率特征的过程中,去模糊特征自适应地与超分辨率特征进行融合,并用于构建最终的修复图像。另外,本文把通道注意模块(Channel Attention Block)引入到去模糊特征提取模块和超分辨率特征提取模块中,通过关联每一个卷积层提取到的特征图之间的相互关系,自动调整每一个卷积层输出的特征权重,提高网络的特征表示能力。另外,本文同时考虑从图像的像素层面和语义层面来优化网络,通过组合逐像素损失(pixel-wise loss,也称为均方差损失),对抗损失(Adversarial loss)和语义损失(Contextual loss),从不同层面优化网络,增加生成图片的细节,并且更有利于其他计算机视觉任务。首先,逐像素损失能降低图片的失真度,但会使图片过于平滑,看起来不真实。因而我们采用对抗损失产生纹理等高频细节,并用语义损失来消除由对抗损失导致的不真实的纹理。我们在Celeb A数据集中测试了本文提出的模型方法,并与目前最先进的图像修复算法进行对比,本文的方法得到的结果具有更丰富的高频细节与更自然的纹理。
其他文献
相关分析起源于统计学时期,发展到至今仍然是一个热门的研究方向,通常使用相关系数作为衡量两个随机变量或两路信号之间的关系强弱指标。在众多的相关系数之中,其中皮尔逊积矩相关系数、斯皮尔曼相关系数、肯德尔相关系数研究的最为完善和应用的最广,并且使用的场景也不同。理论研究表明,皮尔逊积矩相关系数对具有非线性变换或者脉冲噪声的数据异常的敏感,但是斯皮尔曼和肯德尔系数对非线性变换或者脉冲噪声的数据就很不敏感具
随着电子商务技术的快速发展,农产品电子商务逐渐被农户认可与接纳。农产品电子商务促进了我国农业的现代化建设,为农户增收提供了新的路径。本文通过对北京市平谷区大桃种植户进行实地调研,以平谷大桃为例,采取随机抽样的调查方式,对当地农产品电商的发展状况、种植户对农产品电子商务的认知与参与情况;电商的使用对种植户收入的影响等几方面进行了探索,并运用结构方程模型对当地种植户参与电商平台的影响因素深入研究。研究
学位
《韩非子》是战国末期法家代表人物韩非子的著作,现存55篇,约十万余言,重点宣扬了韩非法、术、势相结合的法治理论。已有的研究史料中多是从文学、思想、校勘考证等方面进行研究,从语言学角度研究的较少。从概念整合理论研究《韩非子》隐喻的更少。本文以书中蕴藏的大量隐喻性话语为语料,运用概念整合理论进行分析,有助于我们更好地理解古代寓言、成语以及会话,同时为《韩非子》隐喻研究探索新的视角。本文分为四个部分,分
土地利用总体规划是实施土地用途管制的依据。它的生命力在于实施,因此对规划实施状况进行评价是规划执行阶段的重要环节,是了解实施效果的重要方式。目前学界进行规划实施评价主要通过选取评价指标来构建评价指标体系,然后结合恰当的评价方法,对研究区进行定量分析,对研究区在空间吻合度方面的评价较少,本文采用指标评价法,用定量的方法评价规划指标的完成情况,然后利用GIS空间分析方法对研究区进行空间吻合度评价,最后
国家政策纲领的引导以及科学技术的不断发展,要求教育者以及研究者要重视学习者的个性化学习以及能力发展。传统教育注重以教师为中心,是单向的教师向学生“灌输”知识,这样的教学方式虽然有利于知识的系统传授、注重知识传授的规范性,但是并不能满足当今社会对于创新型、智慧型人才的需求,很难达到促进学习者个性化学习与发展的目标。《义务教育物理课程标准(2011年版)》中也充分强调了对于学生能力培养的要求,要提倡教
电力系统中安装有各种电力设备,日常运行中,设备运行状况直接关系到系统的安全性和稳定性。研究表明,超过半数的电力设备故障,都和电力部件发热相关,各种变电设备接头是承载负荷电流的重要部位,也是可能存在过热缺陷隐患的关键位置。为此提出一种基于Mask R-CNN和支持向量机的变电设备图像接头发热缺陷识别方法,可对变电站机器人拍摄的变电设备图像中的导电接头部位进行自动定位和发热缺陷判定,提高变电设备接头发
奶牛乳房炎是一种由多种因素引起的奶牛乳头或乳腺组织发生炎症的疾病,病原微生物和环境共同作用可引起该疾病,其中,金黄色葡萄球菌(Staphyloccocus aureus,S.aureus)、大肠杆菌(Escherichia coli,E.coli)是奶牛乳房炎的常见致病菌。目前,奶牛乳房炎的治疗仍依靠抗生素,但长期滥用抗生素会导致耐药菌株的产生、治疗效果下降、乳汁中药物残留等问题,最终会威胁人类的
学位
在虚拟现实技术和5G通信技术的推动下,逐渐走向成熟并拥有广阔发展空间的沉浸式新闻出现在大众视野。沉浸式新闻指的是利用虚拟现实技术,再现或制作新闻场景,使受众参与沉浸式体验的一种新型新闻报道方式。以沉浸式新闻为背景,随着传播内容、传播手段、传播效果的变化,主持人在节目中作为信息传播和社会发展的重要媒介,角色也发生着变化转型。由于沉浸式新闻报道机制和观看体验的独特性,新闻现场丰富的形式和“沉浸式体验”
苯乙烯-丁二烯-苯乙烯嵌段共聚物(SBS)改性乳化沥青具有环保、节能、高低温性能优良等特性,在高等级路面的维修与养护中发挥很大的作用,但高SBS含量改性沥青及其乳液制备过程中,存在难以乳化和乳液存储稳定性差等诸多问题。本文以SK70#沥青为原料,制备了不同SBS含量的SBS改性沥青,并对其进行了基础性能分析和流变性能研究,发现当SBS添加量为6 wt.%时改性沥青宏观性质明显改善,软化点可达82.
学位
现场可编程门阵列(Field Programable Gate Array,FPGA)是一种可编程数字逻辑器件,具有可定制、并行性等优点,广泛运用在通信、图像处理、硬件加速等领域。相比于其他类型的芯片设计完成后电路固定,FPGA芯片在整个使用周期中都能重新配置内部电路。因此一些非法或未经授权的恶意更改可能改变电路功能、降低电路性能,甚至影响整个系统的可靠性。本文基于FPGA平台,研究硬件木马的实时