基于深度学习的盲图像修复算法研究

来源 :南昌航空大学 | 被引量 : 0次 | 上传用户:colawing1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复是计算机视觉中一个重要研究分支,其目的是预测合理的像素信息来填补图像中的缺失部分,主要应用于对象去除、图像恢复和图像去噪等领域。现有的深度图像修复算法有两种:非盲修复算法和盲修复算法。非盲修复算法以缺损图像和其相对应的掩膜作为输入,该算法根据掩膜来确定缺失区域的位置。但由于图像缺损的多样性,在实际的修复操作中,难以获得精确的掩膜,因此难以满足实际需要。而盲修复算法解决了这个问题,只以缺损图像作为输入,可以在没有掩膜的基础上自动定位到图像的缺失区域,并根据图像的语义信息生成合理的像素填充到缺失部分中。盲修复算法的出现拓宽了图像修复的应用场景,因此,本文对现有的盲修复算法进行了研究,具体内容如下:(1)针对现有盲修复算法在修复缺失程度大,缺失模式复杂的图像中表现不足等问题,提出基于上下文语义递推的两阶段盲图像修复算法(Contextual Semantic Recursive Reasoning,CSR)。首先将缺损图像输入局部填补网络(Local Padding Network,LPN)对缺损图像进行粗修复,之后将得到的粗修复图像输入细节优化网络(Detail Refining Network,DRN)来输出最终的精修复图像。其中,LPN使用自动编码器结构提取图像特征信息,并完成初步像素填充;DRN利用生成对抗网络的思想,结合多分辨率特征和注意力机制,细化粗修复图像的纹理结构。此外,还提出了一种新的构造缺损数据的方法,使模型更具鲁棒性。并在Places2和FFHQ数据集上进行验证,实验结果表明,CSR算法在多个评价指标上优于同类算法,并且能生成清晰自然的图像。(2)针对修复图像边缘不平滑、修复精度较差等问题,提出基于并联注意力的两阶段盲图像修复算法(Parallel Attention,PA),该算法由粗修复网络(Coarse Inpainting Network,CIN)和精优化网络(Refine Optimization Network,RON)构成。在CIN中设计了堆叠的并联注意残差块结构,该残差块引入门控卷积代替普通卷积,同时加入新提出的并联注意力模块,来获取图像中的丰富特征,从而提高网络的特征提取效率。RON利用门控卷积和并联注意残差块对CIN输出的图像进行编解码,学习图像丰富的语义和纹理特征,得到最终的修复图像。此外,在RON中引入了跳跃连接,减少编码层特征信息的丢失。实验结果表明,PA算法在图像评价指标上优于同类算法。
其他文献
鱼类在运动过程中会根据周围环境的变化而自发的改变自己所处的位置,同时,鱼类会改变自身的运动方式来提高自己的推进效率,因此,探究鱼类运动过程中与周围流体的相互作用,有利于进一步了解鱼类运动中的内在机理,为人造仿生推进器的设计提供重要参考价值。本文提出了一种全新的实验测量处理算法,有效提高了实验测量结果的准确性,为获得真实的流场信息提供了更准确的方法。同时,本文利用浸入边界法,数值模拟了扑翼尾迹中全自
学位
近年来,基于监督学习的图像分类方法取得了良好的分类效果,但这些分类效果依赖于大量标记样本。考虑到对大量样本的标注在成本与时间方面均造成了过度消耗的问题,零样本图像分类技术应运而生。零样本图像分类借助辅助信息和可见类别图像信息,可实现对未见类别图像的分类。当前,在零样本图像分类领域中,基于生成式模型的零样本图像分类方法取得了可观的效果,然而此类方法存在一些问题,例如无法保证生成样本的质量、辅助信息存
学位
太阳能无人机作为一种将太阳辐射能转化为推进能源的飞行器,理论上能够实现长时间巡航飞行,在地质测绘、通信侦查等应用领域具有广阔的发展潜力。螺旋桨是太阳能无人机产生动力的主要部件,设计适用于太阳能无人机的高效螺旋桨,对提高太阳能无人机载重、续航等性能具有重要意义。本文围绕某型太阳能无人机,开展了螺旋桨理论设计、数值计算、加工制作和风洞试验等工作。此外,结合太阳能无人机采用螺旋桨分布式布局的特点,本文后
学位
由于Pb对环境和健康的不良问题,全球范围内正在进行大规模的无铅过渡。Sn Bi基焊料合金由于熔点低,拉伸强度高等优点而受到广泛关注。然而Sn Bi基焊料在服役过程中脆性金属间化合物生长过快以及界面Bi偏析等缺陷制约其在封装行业的应用。本文以Sn58Bi钎料为基础,研究Nb纳米颗粒增强、Cu基板镀Ni改性以及两种工艺联合处理对Sn58Bi/Cu钎焊接头组织及性能的影响。研究Nb纳米颗粒对Sn58Bi
学位
机会网络是一种不需要源节点和目标节点之间存在完整链路,依靠节点移动构建消息传递路径的自组织网络,适用于缺乏稳定链路或无固定通信设施的场景。由于消息传递机制的特殊性,机会网络具有结构稀疏、拓扑时变等特点。链路预测是机会网络研究领域的关键问题之一,根据网络状态参数等信息发掘其动态演化规律,预测未来时刻的链路,为改善网络信息传输、制定路由协议等研究提供支撑。针对机会网络的多维链路属性和动态演化特性,考虑
学位
金属波纹管膨胀节广泛应用于石油化工、核动力、航空宇航等领域,作为一种具有弹性位移补偿能力的压力容器,除了满足强度要求,必须适当减小刚度使其同时满足柔度要求更好发挥位移补偿能力。加强环的使用可以有效提高膨胀节的承载能力,但与此同时加强环使膨胀节刚度急剧增加,从而导致膨胀节的位移补偿能力减弱。目前国内外并未对加强环与膨胀节的装配间隙展开研究,在计算膨胀节强度刚度性能时也并未考虑温度差所带来的热应力,难
学位
机械装备的健康管理是保证生产正常运转、避免安全事故、保障人员安全、提高经济效益的关键。其中,轴承作为应用性广、工作场景复杂的支撑部件和回转零件,其健康状态的监控、管理与预测,关乎各机械系统、部件的正常运行,因此具有重大意义。轴承故障诊断的难点在于轴承安装部位多为不易接近的位置、零部件拆装不易;轴承型号多变,标件非标件混杂;工作环境复杂,以航空发动机为例,部分场景具备高温、高压、复合振动的特点。因此
学位
显著性目标检测旨在从输入图像中分割出视觉上最为明显的区域,而这部分区域有着图片中最为丰富的有效信息。因此,通过使用显著性目标检测技术,大部分计算机视觉任务可以只关注显著区域,从而获得更为高效的性能。随着深度学习技术的不断发展,显著性目标检测技术的性能也提升到一个新的水平,并广泛应用于计算机视觉的多个领域,如视觉跟踪、图像分割、图像质量评估、图像检索、人物重识别等。在基于卷积神经网络的SOD(sal
学位
多目标优化问题由多个相互冲突的目标组成;当目标数超过三时,被称为高维多目标优化问题。由于目标之间相互冲突的性质,通常需要一组最优解用于平衡各个目标;进化算法在一次运行中能够生成一组解,被广泛地运用在多目标优化领域,形成多目标进化算法。多目标进化算法的目的是生成一组无限靠近Pareto前沿并且分布均匀的最优解;然而随着目标数目的增加,出现种群的收敛性和多样性失衡、算法普适性下降、无法获得Pareto
学位
近年来,随着遥感技术的不断发展,遥感影像表现出多源、海量和高分辨率等特征,导致遥感数据呈现指数级增长,给影像金字塔构建和存储带来巨大挑战。因此,如何有效对海量遥感影像进行快速处理、存储以及提升查询效率是目前急需解决的问题。本文在使用Spark结合Geotrellis新型框架的基础之上,设计了一种基于Z曲线的Z-Curve瓦片索引,并结合Accumulo数据库完成对瓦片数据的存储和查询。通过实验验证
学位