论文部分内容阅读
红外成像具有工作时段不受限制,成像精度较高等优点,在飞行器导航等领域运用广泛。但红外图像在不同时段下成像具有较大差异,为了对导航系统全天候能力进行全面评估,需要不同时段红外图像作为数据支撑。采集多时段的红外图像需要耗费大量金钱人力和时间成本,如何快速高效地生成高逼真度多时段红外图像成为了当下研究的重点。该论文将生成对抗网络(Generative Adversarial Network, GAN)运用于红外图像生成任务中,突破了由可见光到红外图像的转换和多时段红外图像建模的难点,可由较容易获得的可见光图像生成多时段红外仿真图像。
已有基于GAN的红外图像生成方法需要可见光和红外图像对作为训练样本,且难生成不同时段图像。针对训练图对样本少的问题,该论文引入CycleGAN来进行图到图的转换,通过对网络施加循环一致性约束对网络训练进行弱监督,在无匹配图对时也能保留原图像场景信息。针对多时段红外图像生成问题结合StarGAN网络,用标签信息约束图像生成,实现从可见光到多时段红外图像转换关系的统一建模。
针对端到端的转换网络难以准确地对可见光到多时段红外图像之间的多个转换关系进行建模的问题,提出基于自监督特征解耦(SERED-GAN)的多时段红外图像生成方法。SERED-GAN中生成器被分为编码阶段和解码阶段,对这两个阶段分别建模,增强了模型的表达能力。在编码阶段运用自监督学习的方法,将图像的内容特征和风格特征解耦,然后对解耦的特征进行交换重构,并将其解码还原成图像,便可以得到具有原图像场景内容和目标时段风格的红外生成图像。
最后在公开车载前视红外图像数据集上进行对比实验,将SERED-GAN模型与其他图到图转换方法进行对比,实验结果表明本文提出的SERED-GAN在生成图像质量上能够达到甚至部分超过匹配图像对强监督训练模型的水平,且能够对多时段红外图像特征进行建模,生成逼真度较高的多时段红外图像。最后进一步用实际机载挂飞数据对生成模型的泛化性能和有效性进行了验证。
已有基于GAN的红外图像生成方法需要可见光和红外图像对作为训练样本,且难生成不同时段图像。针对训练图对样本少的问题,该论文引入CycleGAN来进行图到图的转换,通过对网络施加循环一致性约束对网络训练进行弱监督,在无匹配图对时也能保留原图像场景信息。针对多时段红外图像生成问题结合StarGAN网络,用标签信息约束图像生成,实现从可见光到多时段红外图像转换关系的统一建模。
针对端到端的转换网络难以准确地对可见光到多时段红外图像之间的多个转换关系进行建模的问题,提出基于自监督特征解耦(SERED-GAN)的多时段红外图像生成方法。SERED-GAN中生成器被分为编码阶段和解码阶段,对这两个阶段分别建模,增强了模型的表达能力。在编码阶段运用自监督学习的方法,将图像的内容特征和风格特征解耦,然后对解耦的特征进行交换重构,并将其解码还原成图像,便可以得到具有原图像场景内容和目标时段风格的红外生成图像。
最后在公开车载前视红外图像数据集上进行对比实验,将SERED-GAN模型与其他图到图转换方法进行对比,实验结果表明本文提出的SERED-GAN在生成图像质量上能够达到甚至部分超过匹配图像对强监督训练模型的水平,且能够对多时段红外图像特征进行建模,生成逼真度较高的多时段红外图像。最后进一步用实际机载挂飞数据对生成模型的泛化性能和有效性进行了验证。