【摘 要】
：
红外与可见光图像融合是将由不同传感器获得的来自同一场景的两张图像结合起来,生成一张包含两张源图像互补信息的图像。可见光传感器通过捕获反射光获得包含丰富背景信息的可见光图像,但是却很容易受到环境因素的影响。红外传感器能够克服这些因素的影响,它通过捕获来自目标的热辐射获得具有清晰轮廓但背景模糊的红外图像。因此,将红外图像中的热辐射目标信息与可见光图像的背景信息融合到一张图像,不仅更利于人眼的视觉感知,
论文部分内容阅读
红外与可见光图像融合是将由不同传感器获得的来自同一场景的两张图像结合起来,生成一张包含两张源图像互补信息的图像。可见光传感器通过捕获反射光获得包含丰富背景信息的可见光图像,但是却很容易受到环境因素的影响。红外传感器能够克服这些因素的影响,它通过捕获来自目标的热辐射获得具有清晰轮廓但背景模糊的红外图像。因此,将红外图像中的热辐射目标信息与可见光图像的背景信息融合到一张图像,不仅更利于人眼的视觉感知,也能促进一些后续的计算机视觉任务的应用,例如军事监控,目标识别等。实现红外与可见光图像融合目标的模型通常分为两类:传统模型和基于深度学习的模型。传统模型需要手动设计计算过程,而随着对融合结果精度和泛化性要求的提高,模型的复杂度也愈来愈高。而基于深度学习方法通常需要参考图像,而红外与可见光图像融合任务缺乏参考图像,往往只能使用源图像作为参考图像,导致了模型普遍缺乏泛化性。本文结合深度学习理论与红外与可见光图像融合的特性,针对以往图像融合算法中所产生的问题,进行了深入探索和研究,提出了新的图像融合解决方案。论文的主要创新工作如下:1)利用生成对抗网络不需要参考图像的特点,提出了一种基于生成对抗网络与多注意力机制的网络（MAGAN）,它包含一个多注意力生成器和两个多注意力鉴别器。多注意力生成器设计为两个模块:三路特征预融合模块（TFPM）和特征强调融合模块（FEFM）。TFPM由三个路径组成:强度路径、梯度路径和预融合路径。这些路径旨在通过使用注意力的思想来提取和预融合源图像中的不同特征。FEFM旨在进一步强调和融合TFPM的输出特征。根据红外图像和可见光图像的不同特征,构造了两个具有不同注意机制的判别器,通过判断融合图像与源图像的差异,实现与生成器的对抗学习。为了在融合图像中保留更完整的红外显著区域特征信息,设计了一个新的显著性目标强度损失项,并结合对抗性损失、梯度损失和结构相似性损失来实现对生成器的训练。在本章的最后,设计了两个消融实验来验证模型中不同设计的有效性。在两个公共数据集上的实验结果也表明,提出的MAGAN在视觉效果和量化指标方面优于现有的一些融合算法。2)针对卷积网络往往会忽略图像全局关系的特点,提出了一种基于自注意力变换（Transformer）模块和生成对抗学习的红外和可见光图像融合方法（TG-Fusion）。它由一个生成器和两个判别器组成。生成器由一个编解码网络和一个自注意力变换模块构成,所提出的自注意力变换模块可以对输入特征的全局融合关系进行学习。编码器由卷积块堆叠而成,用于学习源图像的浅层特征。然后将这些浅层特征作为自注意力变换模块的输入,进而得到全局融合关系,再将其与输入相乘得到优化后的特征。最后将这些优化后的特征作为解码器的输入,得到融合结果。此外,对抗学习也被加入到训练过程中为生成器提供了不同的模态特征。这是Transformer与对抗学习在图像融合任务中深度结合与应用的首次尝试。
其他文献
随着自然科学的发展和全球信息化的推进,生物医学领域进入了大数据时代。尤其是机器学习方法出现之后,其强大的特征提取能力极大地推动了生物医学数据的研究进程。根据研究变量个数的不同,生物医学数据可分为单变量生物医学数据和多变量生物医学数据。在各类多变量生物医学数据中,脑机接口（Brain-Computer Interface,BCI）技术的研究有助于视听觉受损和肢体运动能力受限的残疾人恢复正常,功能磁共
随着数字图像处理技术和无线通信技术得到高速发展,短视频应用和流媒体平台逐渐兴起,使得人们对视频影像质量的要求日益提高,在许多应用领域中已不容忽视。但是,由于通过升级硬件来提高设备分辨率的代价和局限性较大,数码监测产品常常会在一定程度上牺牲分辨率,从而确保记录装置能够长时间地、稳定地工作,并具有适当的帧率来处理动态情况。在遥感方面,也有相似的情形,比如,在空间、频谱、时间分辨率等方面,都有一定的折中
自从中本聪提出比特币和区块链概念以来,区块链技术得到了广泛关注和发展。区块链具有的防篡改、可追溯和完全去中心化等优点使其具有广阔应用场景,目前已广泛应用于多个领域,如金融、医疗、供应链、政府监管、资产管理等。但是,从事务处理角度看,区块链系统事务处理低下严重阻碍了区块链技术广泛应用。相比于传统数据库系统,区块链系统事务执行缺少并发控制,节点间存在大量事务冗余执行,系统框架上缺乏事务并行执行的设计。
信息化技术的发展给远程医疗和医疗图像共享带来极大的便利,然而,医疗图像作为一种特殊且私密性较强的数字化影像,在公共网络上传输时难免被截获或篡改。患者医疗图像一旦泄露或者遭到恶意的利用和操纵,很容易导致一系列社会性问题。因此,在医疗健康领域,加强医疗图像的安全共享是必不可少的一项工作。区块链技术作为一种新兴的分布式账本,因其去中心化、去信任、不可篡改和可以溯源等特征,已被应用于医疗图像的内容保护与安
随着人工智能的发展,场景几何信息的获取,例如深度图像,对高级计算机视觉任务有重要的作用,其被广泛应用于虚拟现实、无人驾驶等领域。目前主流的深度图像获取方法有两种,一种是通过立体匹配算法生成深度图像,这种方法对低纹理和遮挡区域的匹配效果不佳,另一种是通过To F传感器等设备主动感知深度值,这种方法受限于设备成本,获得的深度图像分辨率低且带有噪声。因此,为满足热门视觉任务需求,深度图像增强需求极为迫切
心律失常所导致的高致死率和高致残率并发症给家庭和社会带来了沉重的负担。如何有效预防和诊断心律失常已成为当前亟待解决的问题。现有的诸多方法中,对人体心电图（Electrocardiogram,ECG）进行实时动态自动监测是一种最为有效预防和诊断心律失常的手段。在进行ECG信号自动监测时,心律失常识别准确度是最为重要的问题之一,而ECG信号特征提取是提高其识别准确度的关键步骤。然而,现有的ECG信号特
随着数字媒体的发展和信息传播方式的多元化,图像逐渐成为了人们接收信息的重要媒介之一。人们在生活工作中会接触大量的图像数据,但往往只关心其中的少量信息。因此,从图像中高效快速地提取吸引人类注意力的信息是极其重要且有意义的。显著目标检测（Salient Object Detection,SOD）研究旨在从图像中快速定位和提取最吸引人类注意力的目标和区域,以帮助人们快速获取有用信息,是计算机视觉中一个重
随着互联网技术的发展和普及,经济一体化浪潮的到来,电商产业获得了快速发展。同时随着网上购物逐渐进入了人们的生活中,与之密切相关的物流业务也获得了高速发展的机遇。虽然快速便捷的快递运输提高了人们的生活效率,但也带来了一些隐患,其中用户隐私泄露问题最为引人注目。目前快递运输是通过包含用户明文信息的快递单来实现的,由于贴在包裹上的快递单暴露在外,使得不法分子很容易直接或间接地得到用户信息,从而造成用户隐
图像描述任务旨在生成给定图像的语言描述。该任务非常具有挑战性,因为它需要深入了解视觉和文本信息之间的关系。近年来,随着计算机视觉和自然语言处理技术的发展,图像描述任务取得了新的进展。当前,软注意力机制被广泛应用到图像描述任务中,它不仅提升了图像描述的性能,还为模型的定性分析提供视觉解释。软注意力机制根据上一时刻的单词,生成不同的权重并对图像特征进行加权融合,得到视觉注意力特征,并以此生成当前时刻的
随着计算机技术和互联网技术的发展,多媒体信息的网络传输成为信息交换的主流方式,图像信息安全的关注度已经超越文本信息安全,成为信息安全领域研究的热点课题。文本信息安全已经形成了标准的密码算法,如国标SM4和美标AES等。但是,与文本信息相比,一幅图像往往具有巨大的数据量和极高的冗余度,这使得标准的文本加密算法不能直接应用于加密数字图像。近年来,由于混沌理论和DNA计算的发展,图像加密技术的研究取得了