基于深度学习的多聚焦图像融合

来源 :云南大学 | 被引量 : 0次 | 上传用户:systemlu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,随着信息技术的快速发展,人们可以更容易地获取各种不同类型的图像。图像作为承载信息的主要载体,在工业生产和日常生活中被广泛使用。对于人类视觉感知和图像分析任务而言,一幅全场景清晰的图像可以提供更丰富的信息。然而,在实际拍摄环境中,由于成像设备的光学景深限制,只有在景深范围内的目标才能清晰成像,范围之外的目标往往呈现模糊状态。多聚焦图像融合技术能够对同一场景中捕获的不同景深范围内的图像进行整合,生成一幅场景中所有目标都清晰的图像。该技术的核心问题是如何在融合结果中保持来自源图像的边缘和细节信息,本文在深度学习技术的背景下,对多聚焦图像融合问题开展了进一步研究,提出了两种新算法,旨在进一步提高融合图像的性能。主要研究工作包括:现有传统方法的决策图都是通过聚焦检测算法在单通道的灰度图像上处理得到的,受到多尺度思想的启发,本文将传统的拉普拉斯能量和聚焦检测算法进行改进,使其能在多通道的深度特征进行聚焦检测,并聚合生成最终的决策图。该方法首先训练一个编解码网络以获得源图像的深层特征。然后再利用改进的拉普拉斯能量和算法在深层特征上进行聚焦检测得到决策图。最后,根据决策图得到融合图像。提出的方法有效地结合传统方法和深度学习的优点,对深度特征进行了分析而不是基于传统手动设计提取的源图像特征。实验结果表明,与现有的方法进行比较,无论是客观还是主观评估方面,所提出的方法实现了最先进的融合性能。其次,现有的绝大多数基于空间域和深度学习融合算法,在融合过程中往往需要生成中间的决策图,并且还需要通过一系列后处理步骤细化决策图以得到好的融合结果。这些分多个步骤完成的算法产生的融合结果不仅容易丢失输入源图像细节信息,使得边界区域失真,而且算法的运行效率不高。针对这种问题,为了提高融合框架的融合效率并获得高质量的融合结果,本文提出了一种基于注意力机制的多聚焦图像融合模型。首先,考虑到目前现有的数据集都是由图像切块生成的,且不包含真实融合图像标签。因此,介绍了一种合成包含真实融合图像标签的方法,按照此方法生成了一个大规模的数据集来训练提出的模型。模型的整体流程如下:首先利用多个卷积层对原始图像的特征进行提取,然后使用设计的融合策略在通道维度和空间维度进行特征融合,最后对融合特征重建获得融合结果。但又因为现有的基于深度学习的多聚焦融合算法在执行特征融合时都是使用简单的融合策略来处理图像特征,这忽略了不同源图像特征在融合图像中的重要性是不同的,导致难以恢复出高质量的融合图像。因此提出了一种基于注意力的融合策略,该融合策略可以在通道维度和空间维度赋予不同特征不同的重要性,提高了融合特征时的灵活性。该模型虽然也有三个部分,但是都是连续的三部分,不需要决策图以及后处理等步骤,是严格的端到端模型,显著了提升了融合结果和融合效率。实验结果表明,提出的算法性能优异于目前主流多聚焦融合算法,效率更高,融合每对源图像仅仅需要0.26秒。
其他文献
本报告系笔者翻译实践的总结,源语文本是人物传记《亨利四世》中的节选,主要讲述法国国王亨利四世即位前,作为新教徒首领所参与的与天主教之间的宗教战争。翻译过程中,笔者感受到传记文本文学性和历史性的双重特征,要求译者在翻译时不仅要严格遵循源语文本的概念信息,还要尽可能再现其风格特征。各种风格标记是风格特征的主要体现,风格特征的翻译再现主要是通过各个维度风格标记的处理来实现。刘宓庆的风格标记理论(1990
学位
随着车辆的快速增长和人们对交通安全与效率的要求逐步提高,交通安全和道路已经被赋予了更多智能化的功能。然而要想实现车联万物的智能系统,需要强大的计算能力与稳定的通信能力,尽管车辆的计算能力和运行内存之类的配置变得越来越强大,受制于车辆本身的结构、体积和重量限制,对于高强度的计算与通信任务仍然显得能力不足。在以往的解决办法中,一般是将车辆的计算任务上传到集中式的云计算中心进行计算,尽管集中式的云计算中
学位
在传统油画中,“女人体”是经久不衰的主题。在人们没有女性主义意识的过去,“女人体”的作品也总是自然而然地跟美与诱惑,裸露与遮蔽“性”,“爱”与“欲望”,权力与观看等话题联系着。随着时代的发展,思想的启蒙,越来越多的女性投入到艺术创作中来。在女性艺术家笔下,“女人体”更是被赋予了与以往不同的意义。本文从女人体这一客体出发,探索“女人体”其本身的意义。同时,笔者结合自己的专业,从日常学习生活中吸取灵感
学位
时代的不断更新决定了艺术的不断变化,所以中国工笔画也注定不会在同一种审美趣味与精神面貌上停滞不前。如今,随着经济的高速发展,信息时代的来临,中国传统工笔画在时代的洪流里也面临改革与创新。进入二十一世纪后,当代东西方文化互相交融的大环境给艺术家们提供了更多发展方向,其中西方超现实主义绘画中在幻觉的世界里释放自我潜意识的情感表达,突破了理性的藩篱,使人在情感的表现上获得真正的自由,这一艺术特点正在无形
学位
图像融合指整合不同传感器采集到的关于某一场景图像信息的处理过程,是信息处理的一个细分领域。图像融合技术旨在改善图像质量,提高几何配准精度或信噪比,有效克服目标提取与识别中图像数据的不完整。高效的图像融合方法可以综合处理多源通道的信息,有效提高图像的可利用性,提高图像处理系统对图像所包含信息进行目标检测、目标识别、内容理解等的判别精度。本文针对多聚焦图像融合和多模态医学图像融合这两个图像融合中的热门
学位
现代通信技术的飞速发展与无线网络设备的广泛普及,目前无线感知技术正逐步应用于人类的日常生活之中。其中,通过Wi-Fi信道状态信息(Channel State Information,CSI)进行无线感知的关键技术倍受重视。与基于传感器和视频图像的感知技术相比,其拥有着部署广泛、隐私安全、鲁棒性强等优势,因此受到了越来越多研究人员的青睐,已经在室内定位、入侵检测、呼吸监测和行为识别等众多领域。尽管无
学位
本文以无线电环境地图为切入点,不仅讨论了它的主要构建算法,并在收集到发射源数据及信息的基础上,构建4G基站和调频广播知识图谱。无线电环境地图是一个储存无线电相关资料的多维数据库,从发展趋势上一般可以分为两种方式对其进行展示和描述:一是将地图进行可视化的形式展示,二是将地图信息储存以数据库的形式描述。本文立足于无线电环境地图的表现形式,将卷积自编码器模型的深度学习方法作为其核心构建方法,并构建4G基
学位
图像修复旨在利用图像已知区域还原缺失部分以得到合理的内容,其在图像处理领域与计算机视觉领域有重要的研究价值,在图像编辑,目标移除等方面也有广泛应用。目前在图像修复领域,基于深度学习的修复方法颇受青睐,取得了不错的成绩,但在大面积破损图像修复任务中,仍然存在较多问题。针对现有算法修复背景复杂的大规模洞孔出现的纹理模糊,结构错乱等问题,提出基于混合空洞卷积模块(Hybrid Dilated Convo
学位
近年来,多模态数据目标跟踪成为视觉目标跟踪研究的一个重要分支。受成像原理影响,单模态(可见光)目标跟踪性能容易受环境干扰。而多模态(可见光和热红外)目标跟踪中,热红外通过传感器采集物体温度差异成像,虽然热红外图像的纹理细节等信息不如可见光图像好,但它不受光照等因素干扰。在充分挖掘两种模态特征,并形成两种模态特征高质量互补条件下,多模态数据目标跟踪可以实现更鲁棒的性能。因此,本文利用深度学习强大的特
学位
本论文为翻译硕士专业的英汉翻译实践报告,翻译的源文本是美国马萨诸塞邦波士顿BNN直播频道一档谈话节目《决认义务:你做就不同》(Jury Duty:You Make A Difference)的转录文本。本翻译实践的主要目的是向中文读者介绍决认团制度的一些知识。翻译的指导理论是赖斯的文本类型理论。源文本重在传达内容和信息,属于文本类型中的信息型文本,因此根据源文本的特征翻译时多采用直译,注重忠实于原
学位