基于GAN和SE模块的红外图像和可见光图像的融合

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:zemo283167
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为军用夜视中最常用的两种图像,红外图像(IR)和可见光图像(VI)由于成像过程之间的物理差异而具有各自的优势和局限性。红外图像捕捉一个场景中物体的热辐射,可以用来发现目标,因此红外成像可以提供清晰的对比度信息,以便在任何照明条件下区分目标对象和背景信息,这有助于在很大程度上解决在夜间观察遇到的光照不足等问题;然而,红外成像中的细节信息并不丰富。相比之下,可见光图像的纹理细节更加丰富,而且更有助于人类的视觉观察;但是,可见光图像的缺点是在夜间或光照条件差的情况下的成像对比度低,效果不好。由于单独使用红外图像和可见光图像或多或少存在一些问题,所以图像融合技术非常必要,通过把可见光图像与红外图像融合为一张图像,使最终得到的图像在对比度和纹理细节方面都具有明显的优势。图像融合技术最重要的步骤是从原始的输入图像中提取出最重要的特征信息,然后把这些特征信息融合到一张图片中,对于红外和可见光图像,最重要的信息分别是明显的对比度信息和丰富的纹理细节信息,因此,融合后的图像应该同时包含这两种信息。近年来,深度学习方法被广泛地应用于红外和可见光图像的融合任务,尽管现有的方法取得了不错的效果,但也有一些不容忽视的不足。在现有的方法中,很难在保持所有源图像信息方面取得良好的平衡。为处理上述问题,本文提出了一个基于生成对抗网络(GAN)和注意力模块(SE)的融合网络,即DDGANSE。通过DDGANSE网络可以在一个生成器与两个判别器之间建立对抗训练,生成器的目标是得到与输入的源红外图像和源可见光图像尽可能接近的图像,并包含来自红外源图像和可见光源图像中的主要特征信息,而这两个判别器的目标是通过不断的对抗训练,来进一步提升生成器所得到的图像的品质,使最终得到的融合图像尽可能包含红外图像和可见光图像的特征信息。在此基础上,为了进一步提高融合图像的质量,本文还使用了超像素的方法对源红外图像和源可见光图像进行预处理,本文所做的工作有:第一,本文采用一个双判别器GAN进行图像融合,通过GAN的对抗特性,使融合后的图像保留红外线图像的高对比度信息,以及可见光图像的丰富的细节信息。我们将源红外图像和源可见光图像作为真实数据输入判别器网络与融合后的图像进行对比,以提高融合图像的质量。第二,在生成器中加入了挤压与激励的注意力模块,即SE模块,这有助于通道之间相关性的学习,帮助提高融合网络的性能,在此基础上,在生成器中加入密集连接,这有助于实现特征重用,解决梯度消失的问题。第三,我们设计了一个特定的损失函数,包括两部分LG和LD。生成器损失函数整合了传统的损失,进一步增强了生成器的约束性。同时,判别器损失更注重原始图像和融合图像之间的相似度,LD有两个部分,分别是LDi和LDV;其中,LDi损失函数通过对抗训练提高融合图像的对比度信息,LDV损失函数则可以进一步丰富融合图像的细节信息。本文设计的损失函数对于从源红外和源可见光图像中获得更多的信息至关重要,包括明显的对比度信息和丰富的纹理细节信息。第四,在TNO数据集上测试了本文提出的方法:基于GAN和SE模块的红外图像和可见光图像的融合网络,我们得到了SSIM(structural similarity index)0.86,PSNR(peak signal-to-noise ratio)19.60,EN(entropy)7.09,SCD(sum of the correlations of differences)1.79,CC(correlation coefficient)0.52,和SD(standard deviation)0.13的结果。此外,我们进行了对网络时间复杂度的计算,通过实验清楚地表明,与其他现有的融合方法相比,我们提出的融合网络具有显著的优势,所生成的融合图像的质量高于其他现有的方法,同时,在融合结果和复杂度计算方面达到了更好的平衡。最后,利用超像素方法对源红外图像和源可见光图像进行预处理,利用超像素统计特性中的标准差计算得到对比度图Map,然后送入DDGANSE网络进行实验,在TNO数据集上的实验表明,通过超像素预处理后DDGANSE网络得到的融合图像,其质量有了进一步的提升。
其他文献
表面增强拉曼散射(SERS)技术的发展主要依靠高效SERS基底的设计,借助纳米间隙结构的等离激元耦合可激发产生高强度的局域电磁场(热点),进而有效提高SERS活性。设计制备精细可控的金属间隙进而实现对热点的调节,是获得强度高、均匀性好的SERS基底的关键。低维SERS基底中的热点数量相对较低,不能有效利用空间优势,并且稳定性差。三维SERS基底具有更大的比表面积、更高的热点密度,为基底设计制备提供
学位
计算材料学为人们提供了新的研究物质材料特性的方法,这使得材料学研究从单一的实验测量发展为计算机模拟与实验研究并行的形式。这一切的发展得益于密度泛函理论等第一性原理的发展以及计算机性能的提升。材料与人类的生产生活密不可分,如何选择合适的材料生产器件以及如何提升材料的性能始终是人类面对的重要课题。二维材料由于石墨烯的合成成为了当前的研究热点。由于超高的比表面积,优异的导电性和高载流子迁移率,出色的力学
学位
随着2004年石墨烯的发现,二维(2D)材料因其独特的结构和优异的物理化学性能而得到广泛的研究和应用。在过去的几十年中,出现了大量其他的二维材料,如过渡金属硫族化合物(TMDs)、六方氮化硼(h-BN)、硅烯、Ⅲ族单硫族化合物、Mxenes等。由于较大的比表面积、良好的光学性质和较高的载流子迁移率它们被广泛应用于光电器件、储能、光催化、传感等领域。2017年通过化学气相沉积(CVD)法合成的MoS
学位
细胞周期蛋白依赖性激酶(CDKs)属于丝氨酸-苏氨酸蛋白激酶家族,在调节细胞周期进程中发挥着不可替代的作用。研究表明,即使是CDKs的轻微失调也可能直接导致癌症的发生。因此,作为癌症治疗靶点的CDKs引起了人们广泛的关注。自2019年12月至今,由严重急性呼吸综合征冠状病毒2(SARS-CoV-2)引起的新型冠状病毒肺炎(COVID-19)在全球持续蔓延,对人类的生命健康和社会的经济发展造成了巨大
学位
表面等离激元传感技术已被广泛应用于现代科学的各个领域,相对比于传统的光学传感技术,表面等离激元传感器具备无损害、高灵敏、连续检测等特性,是传感领域的研究热点。其中,表面增强拉曼散射(SERS)和表面等离激元共振(SPR)传感器是表面等离激元传感器的重要组成部分。SERS是一项强大的指纹光谱分析技术,利用局域表面等离激元共振所产生的电磁场增强,能够实现较低浓度物质的直接检测。SPR传感器利用金属膜表
学位
石墨烯常用的制备方法是通过深度氧化石墨再还原。但是通过这个途径得到的石墨烯,即使经过充分还原,含氧官能团也不可能完全消除,所以含氧官能团存在于石墨烯表面上是不可避免的。这样制备的石墨烯被称作还原氧化石墨烯。至今科学家们还不能确定氧化石墨烯的精确电子结构。羟基是氧化石墨烯构型中普遍认可存在的含氧基团,在还原氧化石墨烯过程中扮演重要的角色。本文使用从头算分子动力学(AIMD)对石墨烯表面吸附羟基进行了
学位
小目标的检测长期以来是计算机视觉中的一个难点和重点研究问题。伴随深度学习的发展,对于目标检测的研究已取得了显著的成果,但在基于机器视觉的小目标检测领域仍然存在小目标特征丢失导致检测精度不高的问题,弥补这一缺陷对于改善目标的检测性能至关重要,对小目标检测展开研究将有助于推动目标检测领域的发展。近年来,随着对小目标检测技术的需求以及无人驾驶的发展和辅助驾驶的推广应用,交通标志检测在协助司机安全行车方面
学位
晶体材料中的电子拥有着丰富多样的物理。在传统的电子产业中,主要依托于电子的电荷和自旋自由度,这些内禀的电子自由度是现代技术能够发展的关键因素。而依托于电子及其相关的新颖自由度的探索和预测,并能成功地制成、应用,是引领现代电子科学技术创新发展的关键,极具前瞻意义。随着人们对晶体材料研究更加深入,并致力于探索更新颖的物理现象,人们逐渐发现了可以将二维晶体结构中布洛赫电子的能谷作为新型自由度的现象,随着
学位
《普通高中物理课程标准(2017年版)》明确指出“模型建构”是物理学科核心素养中科学思维的重要组成部分,模型建构是指对客观事物进行抽象和概括的基础上,抓住其关键因素,构建能反映其本质特征的理想模型的科学抽象过程。提高学生的物理建模能力是发展高中生物理学科核心素养的关键,但当下的评价方式阻碍学生建模能力的发展。如侧重评价学生建模实际操作的外显行为,忽视学生内隐的建模心理过程以及缺乏对建模过程和模型的
学位
作为RNA类病毒,流感病毒与新冠病毒都严重的威胁着人类的生命健康。如何有效抑制病毒入侵人体以及相应的药物开发仍是一个难题。了解病毒相关靶点和药物的相互作用是提高药物开发的基础,而采用分子动力学模拟对结合过程进行探究是目前相关工作的常用手段。神经氨酸酶是对流感病毒在人体内的传播起到了重要的作用,是抗流感病毒药物设计的关键靶点。通过阻断神经氨酸酶,可以有效的抑制子代病毒出芽,从而抑制病毒的繁殖。在神经
学位