基于深度学习的多聚焦图像融合方法研究

来源 :山东工商学院 | 被引量 : 0次 | 上传用户:a67987637
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机科学技术的进步,传感器技术快速发展,当前网络与生活中的图像信息愈发增多,但由于景深(DOF)——即被允许取得清晰图像的最大前后距离的限制,一张图像所包含的场景难以全部保持清晰,除聚焦目标外的物体通常会陷入离焦状态,导致图像中出现分界明显的清晰区域和模糊区域。其中,模糊区域的内容是稀疏的,含有信息量较低,会严重影响人类肉眼观感和计算机后续工作的处理质量。多聚焦图像融合,是将两张或一组聚焦于不同目标的图像融合成一幅全聚焦图像的方法,可以在一定程度上解决这一问题。然而,不同的目标往往具有不同的尺度和细节纹理,难以识别,其次,聚焦与离焦区域交界处的边缘模糊会导致融合图像丢失大量信息,无法完全恢复,所以目前的融合方法仍有很多缺陷。为消除这些缺陷导致的影响,使图像更适合于人类视觉感知以及计算分析,提升后续数字图像处理的效率,本文针对多聚焦图像融合开展了以下研究工作:(1)对以往的多聚焦图像融合方法进行回顾、实验与总结,并将其按照传统数学方法与基于深度学习的方法进行分类,陈述它们的优势与劣势,分析造成这些缺陷的原因与改进方向,同时简要介绍其对本文工作的影响。(2)当前用于基于深度学习的多聚焦图像融合方法的数据集中存在着数据缺失、训练拟合过慢、标注不准确等问题。因此,本文针对不同类型的网络模型,提出了两个新的数据集,内容包括前景聚焦图像、背景聚焦图像、目标掩膜和groundtruth。其中,用于回归模型训练的数据集侧重于像素的模糊程度、模糊区域的随机性和整体场景的复杂性;用于分类模型训练的数据集侧重于场景内容的一致性、目标选择的随机性和掩膜的精细程度。它们可被用于有真实图像参照的监督学习,提升网络训练效率,尽量减少融合结果中的误差,弥补模型的缺陷。(3)针对现有方法中普遍存在的伪影、噪声、色差、灰度差、纹理保留效果差、语义信息和梯度信息被忽略等问题,本文分别提出一个基于回归模型的融合网络与一个基于分类模型的融合网络,用于融合性能的提升以及有关模型问题的进一步评估和探究。其中,回归模型是基于注意力机制的小型网络,整体架构是伪暹罗网络(PSN),应用残差空洞卷积金字塔(RACP)提取两张输入图像的多尺度特征,共享卷积处理权重,然后将融合特征输入注意力机制,最后利用深度融合模块进行融合,使用像素拟合的方式不断逼近真实的清晰像素值以求得融合图像;分类模型则是基于特征金字塔(FP)与语义分割机制的大型网络。它使用双多尺度FP来提取多尺度特征,这些特征会通过残差连接合并到一起,再应用语意分割机制来提取聚/离焦区域信息,生成分割决策图和融合结果。其中语意分割机制包括一个有效通道挤压激励(ECSE)模块和一个通道空间注意力模块,可以对特征不断地进行阶梯式降维,计算每个像素的清晰概率,从而实现整张图像的像素二分类,最后通过掩膜覆盖所有模糊像素来融合多聚焦图像。为验证所有试验方法的性能,本研究执行了广泛的消融实验,涉及多种数据集、超参数、网络结构与损失函数等,并进行了大量对比实验,采用了定量与定性两种评估方式:对于定量分析,引入了多种无参考与有参考的评价度量;对于定性分析,引入了多种经典的传统方法与先进的基于深度学习的方法进行对比。结果表明,本文提出的融合模型尽可能地克服了各种缺陷,无论是在客观指标对比或者主观视觉对比中都有着更好的表现。
其他文献
报纸
<正>上海米哈游网络科技股份有限公司(以下简称“米哈游”)是一家创立于2011年的科技型文创企业,陆续推出了“原神”“鹿鸣”“未定事件簿”等原创IP及互联网产品,受到全球用户的喜爱。米哈游全球总部位于上海,并在洛杉矶、蒙特利尔、新加坡、首尔、东京等地设立了海外运营和研发分部。目前,米哈游全球员工已超过6000人,是上海市创新创业政策带动发展起来的具有代表性的科创企业。
期刊
惯性神经网络是一类特殊的神经网络模型,它是由二阶微分方程来描述的.事实上,二阶项称为惯性项,表示电路系统中的电感.在一些动物的半圆形管中,毛细胞的膜可以通过包含电感的等效电路来实现,因此在神经网络模型中引入惯性项具有重要的意义.此外,人们发现,普通的低阶神经网络能够解决的优化问题是有限的,相比之下,高阶神经网络模型的系统性能更好.由于信息在神经元间的传输方式不规则且传输速度有限,因此时滞现象在惯性
学位
随着社会经济的不断发展,教育也随之进行了一系列的改革,越来越受到社会各界的关注。尤其是初中阶段的生物教学,教师更加注重学生在生物综合素养方面的培养,如何提高学生的核心素养已经逐渐成为初中教师急需思考的问题。而随着STME教育理念的提出,为初中生物教学提供更为有效的途径,教师可以将其融入到日常的教学中,以此来扩展生物的教学范围,创新教学方法,使生物与其他学科的界限尽量弱化,让学生在学习初中生物的同时
期刊
在李代数的结构理论中广义导子是非常重要的内容之一.而局部导子就是一类重要的广义导子,它们的性质非常有趣而且应用极为广泛.薛定谔代数是一类重要的非半单李代数,它在量子物理中有很重要的应用.本文根据不同情况下的计算结果,在一定程度上刻画出了薛定谔代数上的局部导子所对应的矩阵,最终证明出了薛定谔李群在(1+1)和(2+1)维时空中的薛定谔代数S1和S2上的局部导子皆为导子.
学位
近年来互联网技术的发展突飞猛进,社会信息的规模与类型日趋庞杂,数据无法得到及时有效地处理。在日常生活中,人们每天面对海量数据,想要从中选择合适的自身的产品和服务是十分困难的。于是,推荐系统应运而生。特别是在如今海量数据的时代,推荐系统起到了至关重要的作用,现已变成了人们工作、学习、娱乐、休闲所不可或缺的工具。借助推荐系统,用户可以更高效地获得信息,更准确地做出决策。传统的推荐系统方法大多依赖于用户
学位
电影自诞生之日起,就被视为技术与艺术的结晶。影像的摄取、胶片的显影以及影像的放映等等,均需各式机械的协作及相关技术的支持。可以说,一百二十年来,电影艺术前进的每一步,都是与技术相伴相随,齐头并进的。当前,世界已进入二十一世纪的第三个十年,人工智能正成为引领新一轮科技革命和产业变革的战略性技术。从1956年夏天提出以来,人工智能经历了从概念构建到落地应用的蜕变,正深刻改变着人们的生产、生活、学习方式
学位
华县皮影是中国皮影艺术当中最具代表的地域性皮影,在数字化时代中,皮影艺术作为曾经大众娱乐与文化传播的作用被不断消解,目前,行业圈层闭塞,传承形态与传播方式滞后于时代。皮影视觉形象也较为陈旧与传统,而大量的皮影文物由于历史的动乱与岁月的变迁,致使残损严重、颜色缺失,这方面也缺乏完善的保护。因此,亟需通过数字化手段的介入去保护、传承、创新、推广皮影艺术。在传承与保护皮影艺术上,践行理论数字化与实践数字
学位
报纸
研究目的:篮球中多数的技术动作以落地为终止。研究表明发生在落地阶段的运动损伤率较高,不同的落地模式通过不同的生物力学机制,影响损伤发生部位和发生率。篮球落地损伤的研究多为膝关节,作为同样重要又极易损伤的踝关节关注度较少。本研究运用运动学和动力学同步结合的生物力学实验方法,比较不同落地模式下篮球运动员下肢关节相关参数的差异性,探究不同落地模式对踝关节的损伤机制,为实际训练提供理论依据与指导。研究方法
学位