【摘 要】
:
红外和可见光图像在军事、电力、医疗、安防等领域有着重要应用价值,然而,基于多模态数据实现不同应用时,应用任务的复杂度会随着输入数据模态的多样性而升高。因此,利用红外与可见光图像融合技术,创建一幅综合多模态信息的融合图像,不仅能够综合多模态图像的互补信息,提升信息利用率,而且降低了后续应用任务的复杂度。面向实际应用需求,本文基于深度学习技术,深入挖掘了图像模态的多样性,以及复杂场景下不同模态样本差异
论文部分内容阅读
红外和可见光图像在军事、电力、医疗、安防等领域有着重要应用价值,然而,基于多模态数据实现不同应用时,应用任务的复杂度会随着输入数据模态的多样性而升高。因此,利用红外与可见光图像融合技术,创建一幅综合多模态信息的融合图像,不仅能够综合多模态图像的互补信息,提升信息利用率,而且降低了后续应用任务的复杂度。面向实际应用需求,本文基于深度学习技术,深入挖掘了图像模态的多样性,以及复杂场景下不同模态样本差异化大的特点,对红外与可见光图像融合方法开展了研究,主要的研究内容及创新性工作如下:(1)红外和可见光图像具有明显的模态信息差异,当不考虑模态差异对图像进行融合时,融合后的图像会因不同模态的信息保留不足而丢失细节纹理、对比度较低。针对这一问题,本文提出了一种基于模态自适应的红外与可见光图像融合方法,利用模态间的差异信息提升融合图像质量。一方面,通过采用双通路结构,模型分别对多模态图像的语义信息进行了挖掘,提升了融合图像中跨模态信息的丰富度;另一方面,本文提出了基于自注意力机制的像素注意力方法,保留了不同模态图像上更多的细节信息,从而加强了融合图像中不同模态差异信息的表达。实验结果表明,所提方法能够充分保留不同模态图像中的细节信息,实现了多模态图像信息的自适应表达,融合图像保留了丰富的源图像信息,并具有较高的对比度。(2)复杂场景下,不同模态样本间信息会随着场景的变化而多样性较高。当不考虑场景变化引起的样本差异度大的问题时,融合后的图像会随着拍摄场景的变化而质量降低。针对这一问题,本文基于元学习的思想,提出了一种基于样本自适应的红外与可见光图像融合方法,解决了融合图像质量随场景变化而降低的问题。所提模型中设计了元网络结构,可以针对同模态内不同的输入样本实现了对当前样本的自适应特征提取,解决了测试场景不同样本差异度大的问题。在此基础上,考虑到主观视觉对不同场景下的质量要求,为提升融合图像的视觉效果,设计了适于红外与可见光图像融合任务的感知损失。实验结果表明,在不同的应用场景下,所提方法能有效利用当前场景下两种模态样本的自身特点,自适应地创建高质量融合图像。
其他文献
通过语言指导机器人完成通用性任务是人工智能领域的重要研究课题之一。近年来,越来越多的学者试图将计算机视觉与自然语言处理领域的相关技术相结合来实现这一目标,视觉语言导航(Vision-and-Language Navigation,VLN)是其中的核心问题。本课题源自于科研“手势-眼动联合操控小型无人系统XX应用研究”项目,该项目主要研究未来智能人机交互、人机协同的方式方法,本文针对其中的无人系统智
随着分布式能源并网调控、新能源电动汽车充放电等新型数字化电力业务的大量兴起,电力系统承载的业务数据网正加速趋于多样化、广域化、智能化。为了保证承载多主体大业务的电力系统安全稳定运行,高性能高可靠的电力通信网络成为关键性因素。对于点多面广的分布式发电侧和低压配电网侧来说,尚未实现完全的电力物联信息互联互通,电力通信“最后一公里”问题仍然存在。近年来无线移动通信技术迅猛发展,以5G为代表的先进信息通信
语音增强旨在利用音频信号处理技术及算法提高失真语音信号的可懂度和听觉感知质量,使被噪声干扰的语音信号仍能有效传递信息。随着麦克风设备的低成本化和人工智能技术的发展,基于深度学习的麦克风阵列波束形成语音增强算法通过监督学习的策略,解决了传统波束形成算法所需先验知识多以及在低信噪比条件下算法鲁棒性差的问题。然而,现有的算法为提升性能,一方面不断改进网络结构,导致模型往往过于复杂;另一方面利用学习的方法
光流不仅包含图像中每像素的运动信息,还携带丰富的三维结构信息,是计算机视觉领域的一项重要任务。光流估计在视频理解、动作识别、自动驾驶等领域得到广泛应用。与手工提取特征的方法相比,利用深度学习可以实现稠密光流估计且具有计算速度快的优势,受限于已有的光流数据库真值样本少、获取成本高等现实情况,现有的光流估计算法存在噪声敏感度高、泛化性能差的问题。针对这些问题,本文设计了基于元学习的光流估计算法,完成工
随着3D采集设备和3D建模技术的发展,三维模型的数量日益攀升。面对海量三维模型,如何实现高效的三维模型检索已成为多媒体信息检索领域的研究热点。本文主要研究基于多视特征学习的单域三维模型检索和跨域三维模型检索。单域三维模型检索任务面临的挑战是如何挖掘三维模型多视图之间的相关性,增强对三维模型的表征。跨域三维模型检索任务面临的挑战是如何消除模态间的数据分布差异,实现二维图片与三维模型在共同空间下的特征
图像分类技术是计算机视觉领域的一个热门研究方向,它不仅可以有效提升信息检索的效率,而且在图像分割、目标检测等领域都有着重要的应用价值。传统的分类方法需要手动提取特征,特征提取不充分;深度学习技术以其强大的自主学习能力,为图像分类提供了新的思路。为进一步提高分类准确率,论文基于人眼对视觉信息的感知特性,利用卷积神经网络,对图像粗粒度分类方法进行了深入的研究,主要内容如下:第一,论文提出了一种双路特征
随着电子产品的飞速发展,显示器等硬件制造水平的提高,人们不仅想要更为清晰的图像,也期待炫目的视觉效果。面对即将到来的8K超高清时代,新一代的显示设备不仅提供了更高空间分辨率,也能够提供更高的比特深度,从另一个角度增强图像显示的画质。但现有大部分图像和视频都是以较低比特深度存储,为了适应高比特深度的显示系统,实现低比特深度图像转化为高比特深度图像的处理技术,就成为这一特定过渡时期的图像处理技术的研究
近年来,光纤周界安防技术飞速发展。其中,基于双马赫-曾德干涉仪(Dual Mach-Zehnder Interferometry,DMZI)的分布式光纤传感系统以其检测范围广、响应速度快、损耗小以及能够进行定位等特点得到广泛研究应用与发展。目前,该系统在报警与定位方面的研究已经比较完善,然而在后续的模式识别方面还有所欠缺,仍待进一步的研究与发展。开发一种识别精度好、效率高的事件识别方案一直是光纤周
<正>一提起世界上最大的生物,同学们一定会想到蓝鲸。到目前为止,人们已发现的最大的蓝鲸体长约33.5米,体重约200吨,可以说是"海上巨无霸"。但是,1998年美国林业局的科学家们在美国俄勒冈州马卢尔国家森林发现的奥氏蜜环菌才是世界上已知最大的生物体。就算是最大的蓝鲸和它相比,也好比是"小巫见大巫"。
图像是一种重要的信息载体,然而,在获取图像的过程中存在一些导致信息丢失的因素,如雾霾等。在雾霾环境中,存在较多的粉尘、液滴等物体,受粉尘等对物体反射光和大气环境光的影响,捕捉到的图像通常呈现整体亮度偏高、颜色失真、轮廓模糊等问题,导致相关计算机视觉任务性能下降。因此,本文基于特征融合和深度学习,研究了多种关于雾霾图的复原算法。本文首先叙述去雾算法的背景和研究现状,然后以大气散射模型为基础,阐释雾霾