基于双自注意力层次级联对抗网络的图像超分辨率重建

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:fenggge886
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类获取信息的主要来源之一是图像,图像在人们日常生活中充当着视觉信息载体的重要角色。信息获取的准确度和信息获取量的多少通常取决于图像的质量,所以在数字图像处理领域研究如何提升图像分辨率十分具有意义。作为计算机视觉领域的一个典型问题,图像超分辨率重建研究的内容是如何从一幅低分辨率图像得到一幅高分辨率图像。图像超分辨率重建是图像处理领域的研究热点,目前已经在视频监控、图像压缩、刑侦分析等领域有着的广泛的应用前景。近年来,深度学习在图像处理领域开始占据主导地位,基于深度学习的图像超分辨率重建技术已逐渐成为主流。本文在前人研究工作的基础上,总结和介绍了现有的图像超分辨率重建方法,分析了现有的图像超分辨率重建方法存在的不足,提出了一种双自注意力层次级联对抗网络的图像超分辨率重建方法,最后在公共标准数据库上进行实验验证本文方法的有效性。首先,本文对图像超分辨率重建的研究现状和发展趋势进行了总结,重点介绍了三种相关的主流方法,分别是传统的图像超分辨率重建方法、基于卷积神经网络的图像超分辨率重建方法和基于生成式对抗网络的图像超分辨率重建方法,并指出了这三种方法的优缺点。然后,针对现有图像超分辨率重建方法存在的问题,本文做了如下改进。(1)现有的图像超分辨率重建方法在对图像进行放大时,使用简单的插值方法,或在网络末端进行放大,通常使用子像素卷积从或转置卷积层。当图像放大倍数较大时,这类方法计算成本高,内存占用大,重构出的图像比较模糊,容易出现伪影。本文设计了一种针对图像超分辨率重建的层次级联生成对抗网络。生成网络采用一种端到端逐层放大的思想,判别网络采用一种多尺度判别器。全局判别器关注图像全局结构,用于指引生成器生成全局结构一致的图像。局部判别器关注图像局部细节,用于指引生成器生成细节丰富的图像。(2)传统的图像超分辨率重建方法在生成高分辨图像时,并未考虑到特征之间的全局依赖关系,这些方法虽然取得了不错的重建效果,但是重建出的图像部分细节产生扭曲,与真实图像不符合,视觉上却少真实感。本文将自注意力机制用于图像超分辨率重建,我们使用两种自注意力模块分别在特征的空间维度和通道维度抓取特征之间的全局依赖关系,增强特征的表达能力。位置自注意力模块的主要作用是对距离较远的相似特征进行相互关联,然后对所有位置的特征进行加权求和,这样可以对每个位置的特征进行选择性地聚集。通道自注意力模块的主要作用是对不同通道图中的相似特征进行相互关联,然后对所有通道的特征进行加权求和,这样可以对所有通道图的特征进行选择性地强调。为了充分利用两种特征,我们最后将两个自注意力模块的输出相加求和,以便获得更好的重建结果。最后,在GPU及TensorFlow环境下采用python编程语言,实现本文提出的方法。使用5种标准数据库将本文方法与4种传统的图像超分辨率重建方法和13种基于深度学习的图像超分辨率重建方法进行对比,设计相应的对比实验,进一步分析和验证本文方法的有效性。实验结果表明,相比于几种主流的深度学习方法,本文提出的方法重建出的高分辨率图像细节更加真实、丰富。
其他文献
近年来,伴随我国经济社会的高速发展与城乡一体化的快速推进,大量农民“上了楼”,失去赖以生存的土地这一生产资源,户籍身份由农民转变为居民,这样一种以经济发展为驱动力的
随着移动设备以及GPS定位技术的发展,越来越多的基于位置的社交网络应用被开发出来。它们积累了大量签到数据,提供了使用深度学习技术执行推荐任务的可能性。兴趣点推荐是基于位置的社交网络中一项非常重要的服务。其不仅能够提升用户体验,还能为服务商带来商业价值。但兴趣点推荐相较于传统的项目推荐具有更大的技术挑战性,主要表现在数据稀疏以及负反馈缺乏、影响因素多和用户偏好的动态变化性与周期性等方面。传统的兴趣点
目的:对阻塞性睡眠呼吸暂停综合征并胃食管反流病的影响因素因素进行分析研究。方法:选取2016年12月至2018年12月福建医科大学附属龙岩第一医院收治的睡眠呼吸暂停综合征并胃
随着社会的不断发展,环境问题也变得日益严峻,因此做好突发公共卫生事件的管理和应急是非常重要的,但是目前我国城市突发公共卫生事件的应急管理还存在一定的问题和不足,本文
基于Landsat-8 OLI/TIRS数据,计算得到亮度温度热场,采用空间自相关方法分析了河谷型城市兰州市热环境的空间分布与内部结构。结果表明:兰州城市热环境的高温中心主要集中在4
针对青藏高原饲草生产全链条中各关键环节存在的主要问题,根据不同地域自然气候条件,集成饲草地分类综合管理技术,创建了本土草种和有机肥支持的生态安全性饲草增产增效技术
<正>工业和信息化部近日印发关于《推动企业上云实施指南(2018-2020年)》的通知,提出到2020年,云计算在企业生产、经营、管理中的应用广泛普及,全国新增上云企业100万家,形成
近十年来,我国油气管道跨越工程总里程数增长了7.6万多公里,石油、天然气的管道输送工程作为现今社会的第5种交通,已然在现代工业的发展中担任必不可少的角色。管道跨越结构
<正>班级活动是在班级内有组织开展的各种教育活动,贯穿于班级建设的整个过程。开展丰富多彩的班级活动,对促进学生发展、加强班集体建设具有重要意义。在活动中,班主任要善
肉味香精作为一种风味鲜美的调味料,近几年来十分受广大消费者的青睐。鸡肉营养丰富,具有较高的蛋白质含量,滋味鲜美,且鸡肉香味是消费者普遍喜爱的肉香味之一,但市面上利用发酵肉制备肉味香精的研究较少。因此,本文将发酵技术应用到鸡肉中,以发酵鸡肉糜为原料,通过添加还原糖与氨基酸联合热反应制备鸡肉基础香精并对制备过程中的热反应特性进行研究。具体研究内容如下:(1)干酪乳杆菌、戊糖片球菌、木糖葡萄球菌分别在培