基于多尺度特征融合的图像超分辨率重建研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:filltang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率图像具有画质清晰、色彩丰富等优点,广泛应用于安全监控、医疗成像、自动驾驶、视频直播等生活场景。然而现实生活中,图像成像过程受环境噪声、欠采样等因素影响,实际应用获得的图像质量较低,难以满足人们的需求。图像超分辨率技术通过软件算法将低分辨率图像重建为高分辨率图像,是计算机视觉领域的研究热点。随着深度学习的快速发展,基于卷积神经网络的图像超分辨率重建已经取得了长足的进步,但是目前仍然存在许多问题:单一尺寸的卷积核无法挖掘图像多尺度的特征、没有充分考虑图像不同特征通道的重要性以及深层网络结构带来的梯度消失等。本文从上述问题出发,提出一种基于多尺度特征融合的图像超分辨率重建模型,结合多尺度特征提取融合与通道注意力机制,从加宽网络结构的宽度方向上,改进现有的超分辨率模型。在网络结构中,构建多尺度特征融合模块,通过1x1、3x3、5x5三个不同尺寸的卷积核,并行提取图像多尺度的特征信息。接着,将得到的多尺度特征在图像通道维度上采用Concat的方式进行特征融合,尽可能保留图像的层次特征信息。最后,使用1x1卷积核对融合得到的特征矩阵进行降维。由于不同尺寸的卷积核拥有不同大小的感受野,网络中的多尺度特征融合模块可以更深层地提取图像纹理、色彩等不同尺度的特征信息,有利于网络模型学习到更多的图像高频特征。在多尺度特征融合后,引入通道注意力机制(Channel Attention),通过卷积神经网络自适应学习特征图各个通道的重要程度,然后根据重要性的分布,对特征图每个通道赋予不同的权重值,充分利用图像各个通道之间的关联性,使网络更加专注于重要性大的图像特征。利用通道注意力机制,帮助网络筛选出更有利于重建高分辨率图像的有效特征。在网络的末端,通过反卷积上采样与跳跃连接,生成最终的重建图像。整体网络结构上,本文模型采用全局残差连接与局部残差连接相结合的方式,每个多尺度特征融合模块的输入通过跳跃连接,直接与模块的输出部分相加。通过全局残差学习与局部残差学习,减少网络中冗余的低频特征信息,提高模型的计算效率。在四个经典的基准测试数据集Set5、Set14、BSD100与Urban100上,本文算法与Bicubic、A+、SRCNN、VDSR和EDSR五个经典算法分别进行了定性与定量的实验对比分析。实验结果表明,相比其它算法,本文算法在客观评价指标PSNR与SSIM上均有一定的提升。在主观视觉效果上,本文算法重建图像的纹理细节更加清晰,说明结合多尺度特征融合与通道注意力机制,可以有效提升图像超分辨率的重建质量。
其他文献
为满足人们对高品质生活的追求,纺织品制造商已将质量控制作为不可或缺的环节之一,同时随着科学技术的发展,工业生产方式已往智能化方向发展。检测纺织品是否存在缺陷是控制其质量的重要环节之一,实现织物缺陷的自动检测,对保证纺织品生产质量和提升生产环节的智能化有着重大意义。传统的织物缺陷检测方法大多对某类特定的织物有很好的检测效果,但难以适应各种各样的缺陷和织物类型。将深度学习运用到织物的缺陷检测,在检测不
随着微分析系统的迅速发展,微流控芯片逐渐成为该系统的重要分支之一。在微流控芯片的制备中,我们通常以一定的手段先制备出芯片内的微流道,以这些微流道构建出用于流体控制和处理的微网络,最后将可控流体通过整个微流道网络运输至各个功能单元以实现各种功能。因此,微流道的制造是微流控芯片制备的重要工序之一。而静电纺丝中的近场直写技术由于其加工成本低、精度高及工艺简单的优点,在增材制造领域中被认为是最具潜力的微纳
因为当前传统能源的价格持续走高以及能源污染导致环境恶化加重,有必要发展可持续、低廉和无污染产物的洁净能源。锂离子电池作为整体性能具有优势的新型替代性能源,正逐渐引起人们的关注。石墨作为市场上当前主要的锂离子电池负极材料,其有限的理论容量并不能满足当下社会各领域的高能源需求。为了进一步提升和改善其性能以应对能源挑战,需要寻找具有大容量和高稳定性的负极材料。金属硫化物便宜且丰富,而且具备较高的理论容量
镁-空气电池是一种以金属Mg为燃料的特殊燃料电池,具有高理论能量密度、环保、安全、低成本、储量丰富等诸多优点,在海洋通信、军事设备以及应急储备电源等方面具有较好的应用前景。然而,Mg阳极在应用过程中面临腐的蚀产物脱落困难和低阳极利用效率等问题,限制了镁-空气电池的广泛应用。在成分优化的基础上,镁-空气电池的放电性能在很大程度上取决于Mg阳极材料的微观组织结构,如晶粒尺寸、第二相的尺寸大小和形貌等。
随着硬件计算力的提升、深度学习方法的加成,基于机器视觉技术的监管技术自动化程度高,制造与维护成本低,广受工业界的青睐,但是面向商场、超市中的应用还不够广泛。目前,速冻商品企业为了扩大销售规模、增加品牌在零售场地中的辨识度,将自家产品与冰柜同时派送给超市零售商进行售卖,由于企业与零售商之间的沟通低效,通过人工巡查的监管方式成本高、力度小,导致商品补货不及时、冰柜被滥用等公司利益损害,企业亟需通过机器
全球海洋面积巨大且拥有丰富的各类自然资源,各个国家对于海洋资源的开发都有较高程度的重视。我国也在长期的发展规划中将海洋强国建设作为目标之一。海底沉积物是海洋的重要组成部分,海底沉积物的探测也是海洋探测工程的重要对象,对海底测绘、资源勘探、海洋国防有重要意义。为了在实验室中模拟海底原位观测系统的工作,对不同的贯入方式进行研究,对采样头的测量同步采样设计进行验证,设计海底原位观测模拟实验台,在实验室进
钛合金具有优良的使用性能,如低密度、耐腐蚀性、比强度高等,在航空,生物医疗和其他领域得到广泛应用。然而,由于具有优良性能的同时其低导热率,小的弹性模量和高化学活性也导致钛合金在加工时难以实现高表面质量,这严重限制了钛合金的快速应用发展。随着生物医疗事业的发展,医用植入物的表面微结构对加工精度和表面质量的要求越来越高。超精密加工可实现纳米级表面粗糙度和亚微米形状精度的表面微结构阵列,但是钛合金切削时
骨头是生物体最重要的器官之一,是支持生物体进行正常生理活动的关键器官。骨在一定程度上具有自我再生的特质,但面对生物体产生的过大的骨缺损,骨的自修复能力会受到严重限制。如何更好地对由于体外创伤、体内激素及肿瘤创伤导致的大段的骨缺损部位进行骨修复,成为医学科学上热门探究的方向。在临床治疗骨缺损疾病所被常使用的自体、异体骨修复或金属移植技术存在材料来源受限或存在严重并发症等问题,因组织工程能通过有效的材
细胞检测是在生物医学的一项重要领域。无论是生物医学领域或是临床医学领域都有着不可替代的作用。而现如今对于退行性和创伤性关节软骨损伤的问题,医学界开始将骨组织工程技术应用到其中,骨组织工程技术包括了3D打印技术、体外细胞培养以及细胞定向诱导分化等诸多分支,其中细胞检测也扮演着不可或缺的作用。为了保证细胞培养的可靠性,传统染色需要牺牲一批实验细胞且实验方法较为复杂。随着深度学习的快速发展,也为细胞异常
目前电子产品朝着轻、薄、短、小化的趋势发展,集成电路体积越来越小、功能越来越强、引脚数越来越多、信号传输速度越来越快。芯片的集成度不断提高,与其匹配的芯片封装技术也不断发展。扇出型封装技术凭借高密度、低厚度、高性能等突出优点,成为封装技术新的方向。推动高密度封装技术发展的关键在于互连线路的制造水平和封装工艺技术的进步。互连线路制造技术成为当前封装技术的一大技术要点。随着封装及互连线路向高密度、高精