基于视觉先验和深度学习的图像复原方法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:xjtuzhanglei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像复原是图像处理和计算机视觉领域的一个重要研究方向,长期受到学术界和工业界的广泛关注。图像复原主要有基于传统图像先验知识和深度卷积神经网络两大类方法:基于传统先验知识的图像复原方法借助统计原理挖掘退化图像和清晰图像之间的内在差异。深度卷积神经网络借助大规模训练数据,构建从退化图像到清晰图像的特定映射函数,通过训练学习获得具有高质量清晰图像复原能力的网络模型。本学位论文结合图像的视觉先验知识与深度学习的语义特征,重点关注其中三个具有代表性的图像复原问题:深度图像超分辨问题、无监督图像去运动模糊问题和模糊图像的超分辨问题,并分别提出三种对应的图像复原方法。论文主要贡献和研究成果总结如下:(1)提出了一种基于彩色引导和由粗到精级联的卷积神经网络实现深度图像超分辨复原。首先,提出了针对深度图超分辨问题的“理想”滤波器概念,并利用卷积神经网络学习提出的近似“理想”滤波器。然后,提出一种由粗到精级联的卷积神经网络来学习不同尺寸的边缘保持滤波器,逐步优化深度图超分辨算法的性能。最后,提出一种高分辨彩色图像引导机制,促进高分辨颜色信息与低分辨深度信息的有效结合,从而加强深度图超分辨网络的结构保持能力并去除不必要的伪影。不同数据集中的大量实验证明了所提出方法在解决深度图超分辨问题中的优越性。(2)提出了一种基于结构保持的多对抗图像去运动模糊网络实现盲图像去运动模糊复原任务。首先,提出基于循环一致生成对抗网络(Cycle-consistent Generative Adversarial Network,Cycle GAN)的盲图像去运动模糊算法,克服以往去模糊算法对大量成对训练数据的需求及模糊核估计产生误差的缺陷。然后,提出一种多对抗网络结构促进网络在不同分辨率上尽可能地生成对应的清晰图像,解决高分辨图像生成中的伪影问题。此外,通过引入基于边缘引导和多尺度边缘约束的结构感知机制来解决原始无监督方法中结构内容丢失的问题,同时增强去模糊网络的结构和细节保持能力。多个基准数据集上的大量实验充分证明了所提出的无监督去模糊方法优于当前最先进的无监督和有监督的图像去运动模糊方法。(3)提出了一种基于结构保持和交互融合的模糊图像超分辨网络来实现模糊图像的超分辨复原任务。首先,设计了基于边缘图像引导和边缘约束的结构保持模块来增强模糊图像超分辨网络的结构和细节保持能力。同时,为准确提取模糊图像的边缘信息,提出了一个基于多分支融合结构的边缘检测网络。然后,提出了一个基于边缘引导的交互融合模块,以自适应地融合去模糊和超分辨任务的有效特征。此外,我们借助局部注意(Local Attention,LA)模块和全局注意(Global Attention,GA)模块来增强模糊图像超分辨网络的有效特征表达能力。定量和定性的实验结果表明,我们的模糊图像超分辨方法在多个基准数据集上展现出相当优越的性能。
其他文献
板带热连轧是典型流程工业,其终极目标是短流程化和高度自动化,但在短流程化进程中装备技术容易出现过度刚性连接,导致装备工艺和产品之间柔性适配度低,缺乏柔性调控能力。如ESP精轧机组轧辊磨损严重制约其技术发挥的瓶颈问题。针对板带热连轧短流程化进程中出现的最新热点和共性难题,开展板带无头轧制在线换辊技术及动态轧制理论研究。针对以ESP为代表的无头轧制产线,从在线换辊策略制定及调节模型建立、轧辊撤出及投入
学位
近年来,随着移动智能设备的普及和网络信息技术的迅猛发展,在线社交网络为人们分享信息和交流观点等提供了时间和空间上的便利平台,并逐渐成为社会信息传播的重要途径。特别是当社交网络信息具有很强的吸引力时,极易驱使网民在好奇心的作用下查看和传播信息内容,进而促进信息在较短时间内迅速大规模传播,甚至引发事件升级,给政府治理带来严峻挑战,更有可能威胁社会秩序和国家安全。本文旨在利用传染病动力学模型和种群动力学
学位
我国高等教育体系已基本形成,内涵式发展进入了实质性阶段。高等教育竞争日趋激烈,高等教育市场化倾向日益明显。以习近平同志为核心的党中央把职业教育重视的程度提高到前所未有的高度,强调“职业教育与普通教育是两种不同教育类型,具有同等重要地位”。同时,高层次应用技能型创新人才的数量和结构与市场需求不匹配,教育结构和教育质量都有待进一步提升和改善。地方新建本科院校向应用技术型高校的转型发展是高等教育内涵化发
学位
近年来,随着人工智能、数字媒体、计算机视觉技术的高速发展,神经网络逐步进入人们的视野,各类算法也层出不穷,如:迁移学习算法、dropout系列算法、网络规范化算法等。这些算法在社会各领域均取得了很好的表现,如:门禁、考勤、无人机、无人车、银行网络支付等领域。随着相关技术应用范围越来越广,人们对于网络精度的要求也越来越高。一个好的神经网络不仅需要在训练数据集上表现出良好的性能,也要使其在测试数据集上
学位
Growing and expanding the use of cellular networks nowadays has led to the emergence of creating new generations of telecommunication networks.The race for developing 5G technology has taken a multi o
学位
数字图像和视频被广泛的应用在实际生活中。图像和视频信号通过采集、编码、传输、解码最终到达人们的手中。在这些过程中,信号主要会遭受两种损失,信源编码带来的量化损失和信道噪声带来的信源损失。为了得到优质的图像和视频,增强类算法应运而生,比如超分辨算法、细节增强算法、微光视频去噪算法。它们分别属于分辨率的增强算法、纹理的增强算法、画质的增强算法。本文主要研究了这三大类算法,并利用统计学习的知识提出了新的
学位
在GTAW焊接过程中,焊缝熔透状态的有效检测及控制一直是自动化焊接领域研究的难点和重点,而传感器技术的发展及智能化和自动化的控制理论方法的研究和应用为解决这一难题提供了重要思路,以往针对GTAW焊接过程熔透状态的检测和控制大多只涉及某一种传感器,或虽涉及多传感器融合检测GTAW焊缝熔透状态但是没涉及到形成闭环的控制,也没能够将反映焊缝熔深熔透情况的红外热像信息加入到GTAW多传感信息采集系统中,因
学位
光子器件的性能对光通信以及光互联系统的性能至关重要,影响到最终的误码率和通信容量。在制造光子器件之前,首先需要根据目标性能需求进行光子器件的结构参数设计。光子器件的设计通常需要通过经验不断尝试,或者耗费大量时间进行多次数值仿真,然后将结果与目标响应进行比较,并不断更新结构以获得最终的结构参数。整个过程是基于迭代实现的。另一方面,随着光子器件和光子系统的结构变得越来越复杂,设计过程变得更具挑战性。在
学位
焊接是海工装备制造中的重要环节,也是决定其质量的关键工序之一。我国在主流船型、高技术船舶、海洋工程装备等领域科技创新取得重大突破,但与世界海工装备制造强国相比仍有较大差距,智能制造是海工装备焊接发展的必然趋势,其中的瓶颈问题是实现中厚板的机器人焊接智能化关键技术,诸如焊缝类型识别、自主导引、焊缝实时跟踪和多层多道焊接轨迹在线规划与实时修正等。当前我国船舶制造中焊接的工艺现状主要体现在自动化程度低和
学位
作为淬火&分配(Quenching and Partitioning,Q&P)工艺的改进,淬火-分配-回火(Quenching-Partitioning-Tempering,Q-P-T)工艺可以使得超高强度钢具有更好的强度和塑性平衡。自我们课题组徐祖耀院士于2007年提出Q-P-T工艺以来,已经对低碳和中碳低合金Q-P-T马氏体钢进行了系统的研究。Q-P-T马氏体钢的强度和塑性随含碳量从低碳到中碳
学位