基于多注意力特征融合的视像超分辨率算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:nimin518
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着深度学习的迅猛发展,超分辨率重建技术得广泛关注。与此同时,随着注意力机制在图像分割、检测等领域大放光彩,研究者也逐渐将注意力机制引入超分辨率方向,并取得了众多显著成果。本文基于注意力机制对超分辨率重建在单一图像和视频方面进行探索性和创新性的研究,并取得了以下成果。针对目前超分辨率网络存在着通道权重的预测破坏了每个通道与其权重的直接对应关系的问题,以及现有网络仅仅只考虑一阶或二阶通道注意力而未能全面考虑不同阶通道注意力的情况,本文提出基于混合阶通道注意力网络的单幅图像超分辨率重建算法。首先,该网络框架利用局部跨通道相互作用策略,将之前一、二阶通道注意力模型的升降维操作改为核为k的一维卷积实现。这样不仅使得通道注意力预测更直接准确,且相比之前通道注意力模型更简单。此外,这个模型还同时采用以上改进后的一、二阶通道注意力模型以综合利用不同阶数通道注意力的优势,提高网络判别能力。在基准数据集上相比于现有超分辨率算法,本文所提出算法的重建图像纹理细节和高频信息恢复地较好,且在Set5、Set14、BSD100和Urban100四个测试集上感知指标分别提高了8.2%、6.4%、6.1%和6.8%。鉴于注意力机制在单一图像超分辨率中取得较好结果,本文接下来研究多帧超分辨率重建,即视频超分辨率。针对基准网络所存在的未能区别对待不同帧特征,即未能更加关注于有用的特征问题,以及基准网络仅是简单的级联所有帧信息而未能充分利用帧间时序信息和帧内空间信息的问题,本文提出基于双注意力时空融合的视频超分辨率算法。具体来说,本文提出了主要由双注意力单元和时空注意力融合模块构成的双注意力时空融合网络。双注意力模块采用并行式空间注意力和通道注意力的方式,将特征沿着通道和空间维度增强以区别不同帧特征,从而抑制较为无用的并传递有用的特征。时空融合模块采用时间注意力和空间注意力在像素级上动态聚合相邻帧,从而实现帧间时序信息和帧内空间信息的更有效融合。在Vid4和Udm10两个测试集上同其他7种先进的视频超分辨率算法相比,无论是在定量数值结果还是定性放大展示图上,本文算法均更有优越性。
其他文献
由卫星资料反演的云顶高度和云移动速度是天气学、气候学的重要科学资料,然而,目前云顶高度和云移动速度解算的精度尚存在较多问题,限制了云顶高度和云移动速度参数的实际应用,如何提高云顶高度和云移动速度已成为卫星气象学的一项待解难题。准确的云顶高度和云移动速度,将会大大提高天气分析和数值预报的质量,具有重要的科学意义。气象卫星立体像对云顶高度和云移动速度解算方法是一种全新的、高精度的云几何参数解算方法。目
地表发射率在卫星资料的数值模式同化中起着重要作用。此外,地表发射率也可以用于监测土壤水分和土地利用/土地覆盖的变化。相对于其他波段的电磁波而言,微波对云层独特的穿透性使得微波资料在有云情况下也可以得到广泛应用。由于地表覆盖的多样性和陆地物理特性的复杂性,对陆面微波地表发射率的理解较洋面的微波发射率少。地表发射率的准确性最大限度地减少了气温、水汽和地表温度等大气、地表参数反演的误差。目前,正需要发展
本文利用中尺度WRF模式对2005年台风“麦莎”(Matsa)进行了精细的数值模拟。通过与实况资料的对比验证,此次模拟结果很好的再现了台风“麦莎”从登陆前最大强度时刻到登陆后一直北上进入山东半岛的过程。根据台风登陆前后下垫面的不同,分别推导出两组大气运动方程组,利用模式输出资料,研究台风登陆前的正压波动结构的特征及登陆后摩擦对正压波动特征的影响。台风登陆前,对推导出的柱坐标系下(不考虑地形和摩擦)
本文用NCEP/NCAR再分析资料、中国160站资料、CMAP和ERSST资料,通过理论分析和统计动力诊断方法,围绕“副热带西风急流异常的气候效应及成因”这一主题,以两种副热带西风急流指数的定义和计算为切入点,分析了它们的气候及异常特征,发现它们存在明显的季节变化和年际变化,与北半球区域气候异常关系密切。在此基础上,重点讨论了副热带西风急流与角动量输送、热带SST、平均经圈环流之间的联系,揭示了急
热带大气低频振荡是热带地区一个十分重要的大气信号,其活动及异常对热带地区乃至全球的天气和气候异常都具有重要影响。本文利用1980~2009年NCEP/NCAR逐日再分析资料和由美国国家海洋及大气管理局(NOAA)提供的OLR资料以及1981~2009年第二代最优插值的全球海表温度(SST)资料,采用功率谱分析、小波分析、时-空谱分析、Wheeler-Kiladis时--空交叉谱分析、时滞相关分析、
在室外卫星信号稳定的环境下,无人机通过使用GNSS定位系统可以执行物资配送、街头巡逻等自主飞行任务。但是在一些室内或者周围建筑较为复杂的环境下,无人机的飞行主要还是依靠专业的飞手进行操作。因此,设计出在多种环境中均能实现定点悬停以及自主飞行的无人机控制系统可以满足无人机发展的需求,这对提高无人机飞行的安全性以及应用领域的拓展具有重要意义。本文对实验室自主研发的飞控系统进行改进,设计一种基于多传感器
国家管辖范围以外区域海洋生物多样性(BBNJ)养护和可持续利用的国际谈判行将进入政府间谈判第四次大会,这也是各国预计将达成协定的关键阶段。各方在BBNJ国际协定谈判中尚面临一些难以解决的重大挑战,能否解决这些挑战将直接决定BBNJ国际协定能否达成。作为人类命运共同体在海洋领域具体体现的海洋命运共同体理念,可以引导BBNJ国际协定谈判并克服目前谈判中所面临的主要挑战。海洋命运共同体理念的内涵及其海洋
以面向雷电预报的雷达、卫星遥感资料同化及其应用为研究目的,利用NCEP资料、新一代多普勒雷达网、FY2C气象卫星、闪电定位仪网、自动气象站等观测资料的诊断、同化模拟以及理论分析等方法,对气象遥感资料的同化设计及其在雷暴天气条件下雷电预测方面的应用进行了综合研究和初步分析。主要得到了以下结论:1)雷达资料间接同化方面:以夏季暴雨为研究对象,用MUSCAT技术做双多普勒雷达风场反演资料的间接同化,与非
文本分类是自然语言处理领域中最重要的任务之一。在信息爆炸的大数据时代下,海量文本信息源源不断地产生并推送到人们手中,但人们通常只需要自己感兴趣的信息,因此,对海量文本信息做好分类管理至关重要。本文着重以深度学习方法为基础,围绕当前文本分类模型存在语义信息、标签信息以及对中文文本表示上考虑不全面的问题展开研究,面向不同类型的文本分类任务构建高效且适用的分类模型,以期提升文本分类精度。本文的具体创新与
随着社会医疗卫生水平的提高,不断上升的疫苗需求量导致疫苗冷链配送问题面临极大的挑战。配送过程中的大量碳排放将污染大气环境,因此需要对配送车辆的路径进行合理规划,使配送方案在满足人们疫苗需求的同时,降低运输成本和对环境的负面影响。烟花算法作为一种群智能算法,结构简单,求解效率较高,适用于求解物流路径优化这类NP-hard问题。基于上述背景,本文对多目标烟花算法及其在低碳疫苗冷链配送问题中的应用进行研