论文部分内容阅读
近年来多源图像感知技术迅猛发展,多源传感器能够感知可见光谱、红外光谱,甚至是空间的深度信息,极大地拓展了计算机的感知能力。红外相机能够在低照明条件和恶劣气候环境下工作的特性使其在医学成像、视频监控、军事制导、疫情防控等领域得到广泛应用。红外传感器的工作机理导致红外图像存在一些先天不足。首先红外图像与可见光图像之间存在较大的模态差异,而人眼对于灰度值的敏感度远不如彩色图像。再者,由于红外传感器性能的限制,红外图像存在边缘模糊、噪声较多、分辨率低、细节缺失等问题。本文针对异源图像色彩特征域和空间域不足的难题,深入开展半监督与无监督方法研究,本文的主要研究内容及贡献概括如下:1.异源图像迁移技术研究。针对红外与可见光之间的异源图像转换所面临的严格对准训练数据匮乏的问题,本文设计了一种半监督训练框架,基于循环一致性原理使用标注和未标注数据混合训练的方式实现半监督学习。针对红外图像迁移适应性问题,基于迁移学习思想和注意力机制改进了生成网络。针对迁移后局部纹理细节缺失和过拟合问题构建一种融合了内容损失、感知损失、对抗损失和循环损失的半监督损失函数。最终本算法在不依赖大量配准的红外可见光图像训练数据的情况下,与红外图像迁移算法Tir2Lab相比,峰值信噪比和结构相似度指标分别提高了4.41和0.02,与通用图像翻译网络的训练结果相比也有一定提升。2.异源图像增强技术研究。针对红外图像迁移过程中分辨率不足造成迁移质量较低的问题,论文提出了一种基于无监督学习的红外图像增强算法。首先构建了基于循环生成对抗网络的退化学习模块来模拟低质量成像设备对自然界高分辨率场景取景的退化过程,解决了监督训练模型的域间隙难题和标注的训练数据稀缺问题,还针对鉴别器判别能力不足的问题提出了空间相对判别器进一步优化模型的超分辨重建效果。实验证明了本算法对真实拍摄的低质量红外图像的超分辨率重建性能优于现有算法,通过对红外图像增强进一步提升了迁移效果。3.生成对抗网络(Generative Adversarial Networks,GAN)训练优化。GAN模型复杂、超参数较多和模式崩溃问题使得训练GAN需要耗费大量的算力资源和时间成本。针对红外图像迁移与增强网络规模庞大和训练困难的问题,本文使用了自动混合精度技术对GAN模型进行工程优化,提高了算法的研究效率。