基于多尺度特征融合的轻量级图像超分辨率研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:yulaohuazi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是一种重要的信息载体,包含着丰富的信息,是人类最主要的信息来源。随着高清设备的普及和线上社交活动的增多,人们对于高分辨率图像的需求日益增加。由于成像条件的不足,人们有时候获取的图像分辨率较低,不能满足需求。图像超分辨率,即借助算法来将低分辨率图像重建为高分辨率图像,是解决上述问题的有效方法。随着计算力的提升和深度学习的飞快发展,基于卷积神经网络的超分辨率方法在重建性能上取得了极大的进步。但是,庞大的网络参数量与计算量限制了这些方法在实时场景的应用。对此,本文基于深度学习对轻量级图像超分辨率进行研究,并开展了两个工作:(1)本文提出一种轻量级注意力多尺度图像超分辨率方法。自然图像包含多种尺度的内容信息,其对应于卷积神经网络的多尺度特征。现有的轻量级超分辨率方法大多仅在单一尺度下进行特征提取,存在缺失多尺度特征的问题。此外,这些方法没有充分利用不同层次之间的特征信息。针对这些问题,本文利用结合高效通道注意力机制的轻量级多尺度结构来提取不同尺度下的特征信息。此外,利用双注意力融合模块来自适应地汇集网络提取的不同层次的多尺度特征,充分利用不同层次的特征信息。(2)本文利用生成对抗网络来进一步训练轻量级注意力多尺度超分辨率网络。只使用均方误差损失训练的模型重建的图像虽然在精度上结果更好,但是会出现过平滑的纹理,视觉质量较差。针对该问题,本文进一步利用生成对抗网络来训练超分辨率模型,使其生成视觉效果更佳的图像。与标准的判别器不同,该方法利用类似于U-Net结构的判别器来为生成网络提供更多的监督信息,提升网络的重建性能。具体来说,所提出的U-Net判别器有两个输出,一个是对输入图像在整体上进行判别的概率值,另一个是对输入图像在像素上进行判别的概率分数图。此外,除了均方误差损失、对抗损失,该方法还使用感知损失和注意力损失来训练模型。与主流的超分辨率方法相比,以上的两个工作所提出的模型在标准测试数据集上,取得更高的重建精度和更好的视觉质量,且模型的参数量和计算量更少。相应的消融实验也验证了所提出模块的有效性。本文所提出的方法兼顾模型规模与性能,提升了超分辨率图像的重建精度和视觉质量,具有一定的研究意义。
其他文献
提高围护结构的热工性能是降低建筑能耗最有效的途径之一。受低纬度热带海洋环境影响,我国南海岛屿地区常年高温高湿,具有显著的极端热湿气候特征,当地围护结构的热工性能受到湿传递显著影响。然而,现有研究对极端热湿气候下的墙体内热湿传递机理揭示不足,湿传递对围护结构热工性能的影响规律尚未探明。为此,本研究以经典热湿传递理论为基础,建立并验证了针对当地气候下墙体内部热湿耦合传递的数学模型,应用新建模型对墙体热
弛豫铁电体具有优异的介电、压电性能,广泛应用于超声换能器、传感器、滤波器以及致动器等电子器件之中。铌镁酸铅-钛酸铅(PMN-PT)是一种典型的弛豫铁电体,是目前研究热点之一。2018年,Li发现Sm掺杂PMN-PT铁电陶瓷具有超高压电常数,可以产生大场诱应变效应。然而,对该材料场诱应变效应的研究尚不够详尽,如场诱应变温度稳定性及其内在机制。有基于此,本论文以PMN-PT陶瓷为研究对象,通过固相两步
随着网络电视用户量的不断增长与边缘接入技术的显著提升,边缘设备呈现爆发式增长。边缘网络资源比专门用于大型视频直播系统的云流量成本要更低。去中心化的直播系统作为一种经济实惠的解决方案,其频道切换响应时间却比传统广播电视要长得多,影响观众的体验质量,因此,本文聚焦研究网络电视直播频道的数据分享与快速切换问题。基于现有相关研究工作基础,首先,本文提出一种基于边缘数据分享的网络电视直播频道快速切换系统原型
高频链矩阵整流器(High-Frequency Link Matrix Rectifier,HFLMR)是一种由三相矩阵变换器演化而来的新型拓扑结构,它一般由输入滤波器、双向开关矩阵、高频变压器、整流器、输出滤波器五个部分组成。由于该拓扑无大容量储能元件且串联有高频变压器,因此具有能量密度高、体积小、输入电流标准正弦、单位功率因数等优点,在对重量、体积、效率以及隔离需求较高的场合具有一定的应用价值
关系抽取作为信息抽取技术的一个重要子任务,为自然语言处理的许多领域提供了必要的技术支持,具有重要的研究意义和应用价值。传统方法通常采用人工标注获取实体关系标注数据集。但是这种方法繁琐昂贵,只能对少量样本进行标注,很难学习到有效的实体关系特征。为此,远程监督方法提出以外部知识库作为监督源,通过知识库中的先验知识自动标注大量句子,有效地避免有监督模型数据集规模过小的问题,成为了关系抽取的研究热点。然而
人脸表情识别是人机交互的重要内容,可以广泛应用于医疗、游戏娱乐、驾驶安全等多个领域。现阶段的基于深度学习的人脸表情识别研究中,多数是使用卷积神经网络的结构以提取图像的空间域信息。这些方法主要有两个方面的问题:一是虽然识别率较高,但是通常网络结构比较复杂,参数量和计算量都很大,在表情识别任务中显得臃肿;二是大多数研究使用整张人脸图像作为输入,较少地考虑充分利用和人脸表情相关的局部区域信息。针对这两个
近年来,人工智能的快速发展改变了人们的生活。许多人工智能相关技术如无人驾驶、智能机器人等需要依赖物体的深度信息,因此深度估计成为了计算机视觉领域一大热点问题。其中,单目图像深度估计算法具有采集设备成本低且适用性高的优势,是目前深度估计算法的重点研究领域。本文主要研究了基于深度学习的单目图像深度估计算法,有效提高了深度图像的精度。主要研究工作如下:(1)总结了图像深度估计的研究背景以及意义,并概述了
轨道交通TOD模式是城市拓展的必经之路,纵观我国香港地区及国外发达城市的发展轨迹,均对轨道交通的建设高度重视,并且对轨道交通站域内土地高强度的开发利用已达成普遍共识。近几年TOD模式才开始在我国内地兴起,还存在经验不足、效能未得到充分发挥等突出问题。基于目前国内的城市发展、城市轨道交通发展及土地利用的现状,中央及各级政府推出一系列政策大力促进城市轨道交通TOD的发展,促使国内大陆城市逐步进入轨道交
超表面作为新型的微纳光子器件,可在具有深亚波长厚度的超薄界面内实现强大的电磁调控,包括对振幅、相位和偏振态的完全控制,尤其是基于广义斯涅尔定律的任意波前(相位)调控。研究表明,由各向异性的纳米天线或谐振器的周期单元构成的超表面可以在交叉偏振散射光中产生覆盖整个范围(从0到2π)的相移,并保持振幅的均匀性,在光波控制方面有着得天独厚的优越性。然而,大多超表面器件都是静态的,一旦制造完成其各类光学特性
基于单片微波集成电路(MMIC)技术的射频前端收发组件大量应用于无线通信、雷达等系统中。收发开关是射频前端的重要组成部分,其性能会对信号的接收发射产生直接影响,从而影响前端系统的整体性能。宽禁带第三代半导体材料氮化镓(GaN)以其击穿场强高和热导率高等特性,可应用于高功率、高性能毫米波前端电路。本文采用100nm硅基GaN HEMT工艺,设计面向5G毫米波应用的单刀双掷(SPDT)开关MMIC。本