基于生成对抗网络的异源图像迁移与增强研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zmf0140
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来多源图像感知技术迅猛发展,多源传感器能够感知可见光谱、红外光谱,甚至是空间的深度信息,极大地拓展了计算机的感知能力。红外相机能够在低照明条件和恶劣气候环境下工作的特性使其在医学成像、视频监控、军事制导、疫情防控等领域得到广泛应用。红外传感器的工作机理导致红外图像存在一些先天不足。首先红外图像与可见光图像之间存在较大的模态差异,而人眼对于灰度值的敏感度远不如彩色图像。再者,由于红外传感器性能的限制,红外图像存在边缘模糊、噪声较多、分辨率低、细节缺失等问题。本文针对异源图像色彩特征域和空间域不足的难题,深入开展半监督与无监督方法研究,本文的主要研究内容及贡献概括如下:1.异源图像迁移技术研究。针对红外与可见光之间的异源图像转换所面临的严格对准训练数据匮乏的问题,本文设计了一种半监督训练框架,基于循环一致性原理使用标注和未标注数据混合训练的方式实现半监督学习。针对红外图像迁移适应性问题,基于迁移学习思想和注意力机制改进了生成网络。针对迁移后局部纹理细节缺失和过拟合问题构建一种融合了内容损失、感知损失、对抗损失和循环损失的半监督损失函数。最终本算法在不依赖大量配准的红外可见光图像训练数据的情况下,与红外图像迁移算法Tir2Lab相比,峰值信噪比和结构相似度指标分别提高了4.41和0.02,与通用图像翻译网络的训练结果相比也有一定提升。2.异源图像增强技术研究。针对红外图像迁移过程中分辨率不足造成迁移质量较低的问题,论文提出了一种基于无监督学习的红外图像增强算法。首先构建了基于循环生成对抗网络的退化学习模块来模拟低质量成像设备对自然界高分辨率场景取景的退化过程,解决了监督训练模型的域间隙难题和标注的训练数据稀缺问题,还针对鉴别器判别能力不足的问题提出了空间相对判别器进一步优化模型的超分辨重建效果。实验证明了本算法对真实拍摄的低质量红外图像的超分辨率重建性能优于现有算法,通过对红外图像增强进一步提升了迁移效果。3.生成对抗网络(Generative Adversarial Networks,GAN)训练优化。GAN模型复杂、超参数较多和模式崩溃问题使得训练GAN需要耗费大量的算力资源和时间成本。针对红外图像迁移与增强网络规模庞大和训练困难的问题,本文使用了自动混合精度技术对GAN模型进行工程优化,提高了算法的研究效率。
其他文献
在新型海洋勘探装备中,大中型载人深潜器具备大潜深、长周期、全天候的深海作业能力。污水收集系统作为下潜人员生活保障任务的重要环节,其实现方式对深潜器的水下自持力、人员适居性有着深刻影响。本文叙述了大中型载人深潜器的特点,分析总结设计约束条件,针对性的提出了适合大中型载人深潜器的污水收集方式。为大中型载人潜水器及类似条件的其他装备的污水收集系统设计提供了思路及参考。
工匠精神的培育是高职院校立德树人目标在教育教学中的具体体现和重要落脚点。通过与工匠精神的培育相结合,推动高职院校课程思政教学改革与创新,不仅有利于全面提高高职院校人才培养质量,更将满足国家经济发展的需求,满足新时代社会和企业对于高职人才职业素养的要求。在当前形势下,将工匠精神融入高职课程思政建设,为课程思政建设实践探索提供了新的方向和思路。
学位
本文通过对政府采购绩效评价体系及其意义的了解,发现当前存在的主要问题,并提出一些改良建议。
随着积极心理学的不断发展,学术界越来越重视个体幸福感的研究。农村小学教师作为社会群体中平凡而伟大的一员,也具有追求幸福的意愿和权利,在当今“幸福中国”的背景下,农村小学教师幸福感就显得格外重要。职业幸福感作为个体积极情绪情感的综合,对个体的工作绩效也具有直接的促进作用。关注农村小学教师职业幸福感与工作绩效的关系,既是对以往职业幸福感研究的深化,也是对职业幸福感与工作绩效研究的拓展。职业幸福感水平较
随着政府采购制度改革的深化,政府采购制度向绩效导向型转变已成为学界共识。本文结合实践对政府采购绩效评价的意义、评价体系的构建作初步研究,并对存在的问题提出对策,旨在探讨建立健全政府采购绩效评价机制,进一步提升政府采购效率。
期刊