基于SERED--GAN的多时段红外图像生成方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:yanwensen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
红外成像具有工作时段不受限制,成像精度较高等优点,在飞行器导航等领域运用广泛。但红外图像在不同时段下成像具有较大差异,为了对导航系统全天候能力进行全面评估,需要不同时段红外图像作为数据支撑。采集多时段的红外图像需要耗费大量金钱人力和时间成本,如何快速高效地生成高逼真度多时段红外图像成为了当下研究的重点。该论文将生成对抗网络(Generative Adversarial Network, GAN)运用于红外图像生成任务中,突破了由可见光到红外图像的转换和多时段红外图像建模的难点,可由较容易获得的可见光图像生成多时段红外仿真图像。
  已有基于GAN的红外图像生成方法需要可见光和红外图像对作为训练样本,且难生成不同时段图像。针对训练图对样本少的问题,该论文引入CycleGAN来进行图到图的转换,通过对网络施加循环一致性约束对网络训练进行弱监督,在无匹配图对时也能保留原图像场景信息。针对多时段红外图像生成问题结合StarGAN网络,用标签信息约束图像生成,实现从可见光到多时段红外图像转换关系的统一建模。
  针对端到端的转换网络难以准确地对可见光到多时段红外图像之间的多个转换关系进行建模的问题,提出基于自监督特征解耦(SERED-GAN)的多时段红外图像生成方法。SERED-GAN中生成器被分为编码阶段和解码阶段,对这两个阶段分别建模,增强了模型的表达能力。在编码阶段运用自监督学习的方法,将图像的内容特征和风格特征解耦,然后对解耦的特征进行交换重构,并将其解码还原成图像,便可以得到具有原图像场景内容和目标时段风格的红外生成图像。
  最后在公开车载前视红外图像数据集上进行对比实验,将SERED-GAN模型与其他图到图转换方法进行对比,实验结果表明本文提出的SERED-GAN在生成图像质量上能够达到甚至部分超过匹配图像对强监督训练模型的水平,且能够对多时段红外图像特征进行建模,生成逼真度较高的多时段红外图像。最后进一步用实际机载挂飞数据对生成模型的泛化性能和有效性进行了验证。
其他文献
触觉再现打开了人与虚拟世界沟通的新通道,将人类与虚拟世界的交流推向了听觉、视觉与触觉三维融合的崭新阶段,给人带来全新的沉浸感和真实感,是当前人机交互研究的热点。随着移动电话和平板电脑的智能化水平不断提高,具有触觉再现功能的移动终端是技术发展的必然趋势。静电力触觉再现通过控制电信号来改变手指与触摸屏之间的静电摩擦力产生不同触觉效果,触觉再现效果丰富,功耗低且不影响媒体显示,是目前最具潜力的移动终端触
学位
多星协同观测任务调度是指地面控制中心针对不同任务需求,根据多颗对地观测卫星的有效载荷与地面观测目标的可见关系,调度多颗卫星载荷资源协同观测多任务,实现观测目标的最大化观察。在多星协同观测系统中,任务调度发挥着关键作用,调度结果将直接影响观测卫星系统的任务完成度、任务执行时延以及系统能源消耗。但任务调度是经典NPC问题,且多星协同观测过程需要满足大量资源与任务约束,因此低时延、高利用率的多星协同观测
低密度奇偶校验(Low-Density Parity-Check,LDPC)码是一种现有的能够逼近香农容量限的纠错码,受到国内外学者的广泛关注。近十年来,除了传统的置信传播(Belief Propagation,BP)译码算法,数学规划(Mathematical Programming,MP)译码算法凭借低误码平台、便于性能分析等优势引起了差错控制编码领域学者的广泛重视。但是其较高的译码复杂度限制
随着网络和信息技术的飞速发展,基于信息系统的体系作战已逐渐成为信息化条件下作战的基本模式,而体系对抗则是这种基本作战模式的主要特征。应用博弈论对作战体系对抗问题进行建模,分析体系作战中的策略应用,对于提高体系作战的应用能力,打赢信息化条件下局部战争具有重要的现实意义。  论文研究了作战体系对抗的博弈建模问题。通过对现有博弈论模型的分析比较,选择战略式博弈模型对作战体系对抗问题进行建模;应用OODA
学位
近年来,甲状腺结节发病率正在逐步提高,在众多甲状腺影像诊断技术(包括超声、核磁共振、x射线、CT等)中,由于超声图像的低成本、获取时间短等特点,正在变成越来越重要的诊断技术。在传统的人工诊断时,医生通常是根据结节的形状、回声和钙化等直观特征来判断,这种判断较为依赖于医生本人的主观经验,可能会造成辨别错误。组织切片可以得出较为准确的结果,但是工作量大,并且给患者过大的心理压力。随着图像处理与模式识别
塔号牌检测是指从输电线路场景图像中提取铁塔标识牌区域,为后续牌号识别、缺陷检测与数据库制定提供技术支撑。随着机器学习技术的不断发展,当前深度学习目标检测方法已成为主流,然而对于实际线路巡检图像,无人机拍摄的图像视场大、号牌区域相对较小,塔号牌检测精度低,处理速度慢,无法满足应用需求。因此,本文提出输电线路图像塔号牌卷积神经网络检测方法研究课题,从级联检测结构、数据增广和多尺度特征增强三个方面,开展
随着数字电路与系统技术以及计算机技术的发展,数字信号处理技术被广泛应用于众多领域中。作为数字信号处理中的基本运算,正弦型正交变换如离散傅里叶变换(DFT)、离散哈特雷变换(DHT)、离散余弦变换(DCT)等涉及三角函数运算的正交变换具有很高的实际应用价值,针对这些变换提出优化的快速算法并设计出高效的硬件实现方案,成为数字信号处理技术中的研究热点。  由于正弦型正交变换的实质为内积型运算,相应的硬件
在高铁越来越普及的现在,实现高铁接触网的实时监测是保障其安全运营的重要手段。吊弦作为接触网悬挂装置的重要组成部件,随着工作时间的加长很容易出现故障而直接影响高铁系统的安全,准确识别其缺陷显得尤为重要。本文结合日趋成熟的深度学习技术,将不同缺陷的吊弦当作不同类,用目标检测的思路实现了对吊弦异常状态的检测。两阶段检测模型在检测吊弦脱落、断裂、形变缺陷中以90.60%的检测精度脱颖而出,验证了深度神经网
超声成像测井仪是固井质量检测中常用的仪器,能够评价套损情况和水泥胶结质量,相比于其他传统仪器,具有测井信息丰富、分辨率高、便于分析等优点。随着高温油气井数量的增多,高温超声成像测井仪的研制成为近年来重点研究方向,针对高温环境下脉冲发射和信号检测问题,本文设计了高温超声成像测井仪发射与检测电路,该电路主要包括:接收放大电路、脉冲发射驱动电路和脉冲触发及高速采集电路,实现了175℃环境下脉冲信号发射、
复杂场景图像复原是指复原恶劣天气和低光照等场景产生的退化图像,对提升智能系统的复杂场景感知能力具有重要意义。现有图像复原算法可分为基于模型优化和深度学习的图像复原方法:模型优化方法充分建模图像退化机理和知识特性,但手动设计先验特征缺乏准确性;深度学习方法反之。由于实际复杂场景中存在退化特性复杂且多种退化耦合难题,单独使用任一方法均难达到满意的复原效果。本文充分利用模型优化和深度学习的优势互补性,开
学位