深度学习图像转换算法研究与应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:puzz777
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像转换是计算机视觉及计算机图形学的重要分支,其将图像的某一种或多种属性转换为另一种或多种属性,如夜间拍摄的暗图转换为白天拍摄的亮图,冬日风景图转换为夏日风景图,破损老照片转换为完好老照片等等。通过图像转换,可以实现如图像编辑、特效生成、老照片修复、域自适应等等应用。近年来,基于生成对抗网络的图像转换取得了巨大的进步。然而,此技术仍然存在复杂场景图像转换质量不高,转换可控性弱,成对数据依赖严重等问题。为了提升图像转换的实际应用能力,本文从图像转换质量、图像转换可控性、少成对样本图像转换和图像转换应用——域自适应等方面开展研究。本文的主要创新点及贡献有以下三个方面:在图像转换质量和图像转换的可控性方面,本文提出使用样例图像来对图像转换提供指导。通过学习跨域一一对应关系,本文能让网络理解图像中不同物体的语义,并根据样例图像中不同物体的风格,来生成对应风格的物体。为了在没有对应关系标注的情况下学习到跨域对应关系,本文提出了将其与图像转换一起训练,以弱监督的方法来学习跨域对应关系。利用学习到跨域对应关系,本文提出了一种通用的基于样例的图像转换方法,此方法是第一个能做到利用样例图像,在物体级别精细地控制生成图片风格的方法。同时实验结果证明了这种对应关系及基于样例的图像转换能够极大地提高图像转换的可控性和转换质量,并且能够应用到大量的任务中,如图像编辑,妆容迁移等。在少成对样本图像转换方面,本文研究了在有监督训练条件下如何提升图像转换的质量,尤其是在成对数据有限条件下的图像转换质量,并探究了利用大量的无监督数据来帮助有监督成对数据的训练,提出了基于隐空间映射的图像转换方法,实验证明了隐空间映射比图像空间映射有更高的成对数据利用率,在少量有监督数据的情形下,隐空间映射方法的性能提升更加的明显。除了通用的隐空间映射框架,本文还针对真实老照片修复任务,设计了三域转换方法和用于修复结构性退化的部分非局部单元,结合局部分支,整个框架能够修复具有多种混合模式退化的真实老照片。在图像转换应用——域自适应方面,本文提出了 一种基于图像转换机制的域自适应分割方法,利用伪标签来辅助图像转换,并提出了基于原型的伪标签去噪算法,通过利用特征和原型的相对距离信息来实时地更正错误的伪标签。进一步地,本文通过强弱数据增广来学习紧凑的目标域特征空间,以辅助伪标签更正,进一步地提升了无监督域自适应分割的性能。实验证明了本文方法从GTA5[1]和SYNTHIA[2]泛化到Cityscapes[3]的分割指标mIoU分别达到57.5和55.5。自适应的收益在之前最优算法的基础上分别提升了 52.6%和58.5%。
其他文献
等离激元材料,是指纳米颗粒表面的自由载流子与特定波长的光产生集体耦合共振,使其局域场极大增强的一类金属或半导体材料。而近红外响应的等离激元材料,具有抗干扰强和光损伤弱,结合自身卓越的等离激元光耦合共振效应等优点,被广泛应用于光学传感和生物传感等领域。将金属纳米材料结构生长各向异性化(如:金纳米棒),其等离激元共振响应可调至近红外波段,是一类典型的近红外等离激元响应材料。然而,这类各向异性金属材料,
随着同类企业间竞争的加剧,企业在维护好原有市场份额的基础上,需要采取有效手段挖掘市场潜力,获得更多的市场需求。而消费者对传统刺激需求方法的敏感性正逐步降低。考虑到当前市场中的消费主体具有注重消费体验且消费能力不稳定的特点,许多卖家选择为买家提供延期支付服务以增强买方消费能力,从而获得更大的市场需求。然而,延期支付在刺激市场产生更多需求的同时也会增加资金成本以及产生违约风险。在这样的背景下,如何制定
电离层是地球高层大气的电离区域,是从低层大气过渡到磁层的重要区域;同时,电离层及其活动也和人类生活密切相关,在电波通讯、GPS/GNSS定位、以及空间天气预报等方面都有重要应用。人工加热电离层作为一种可行的人为改变电离层的方法,长期以来都是空间物理学中一个重要的研究方向。电离层加热是利用地面加热台站向电离层发射高频电波,通过电磁波和电离层等离子体相互作用将高功率的微波能量注入电离层,并观测电离层等
以CT和PET/CT为代表的放射成像技术已经被广泛应用于医学诊断中,然而,放射医学成像检查的大量使用很快引起了人们对多次成像中辐射诱发患癌风险的担忧,为了量化这些风险,需要计算患者的器官吸收剂量,现有的剂量计算工具只能用来评估一般人群受到的辐射水平,不足以在临床中进行患者个性化的器官剂量量化,主要挑战体现在两个方面:一个是患者个性化计算机人体模型的快速构建,另一个是辐射剂量的快速准确计算,研究者们
手性是自然界分子的一种现象,它包括:螺手性,轴手性,中心手性以及面手性等。开环反应作为构建手性化合物较为广泛而有效的方法往往伴随着C-X(X=C,Si,S,N,O,I)键的断裂过程。由于C-X键具有一定的热力学稳定性,一般使用高张力的小分子环或增加环扭转张力以及添加辅基等方法促进开环实现C-X键断裂官能化反应。本论文主要研究了过渡金属催化五元环不对称开环反应用于手性分子的构建,工作可以分为以下三个
本学位论文中,我们主要考虑几种几何流及其应用。在第三章中,我们考虑α-Gauss曲率流。我们证明常截面曲率κ(κ±1)空间形式中的凸超曲面沿着α-Gauss曲率流在有限时间T*内收敛到一个点。进一步,在α>1/n+2的情形下,凸超曲面沿着规范化流收敛到Nn+1(κ)中的测地球。这将欧氏空间中已知结果推广到了空间形式中。在第四章中,我们运用曲率流证明几何不等式。我们证明了 Sn+1中闭,连通,凸,嵌
微机器人作为机器人学科的一个重要分支,克服了尺寸的限制,将环境信号转换为机械运动从而在狭小空间中进行操作,在生物医学和组织工程中具有广泛的应用。飞秒激光双光子加工具有真三维制造能力和高分辨率的优势,可应用于微机器人的制备。然而,受限于飞秒激光直写加工逐点扫描的加工策略和有限的双光子加工材料体系,目前微机器人的飞秒激光双光子加工面临着加工效率低和驱动速度低的难题。本论文基于飞秒激光全息光场调制技术,
受软体动物和人类肌肉启发,研制具有自适应、灵活、可重构、多功能等特性的柔性驱动器是当前的研究热点,柔性驱动器也已被广泛应用于柔性抓手、可穿戴器件、触觉显示及医疗设备的开发。然而,柔性驱动器依然存在驱动力小、驱动迟滞大、效率低等缺陷,这些不足严重限制了柔性驱动器进一步应用。室温镓基液态金属作为一种新兴的柔性材料,其兼具液体和金属的特性,包括良好的流动性和自愈能力,接近于水的粘度,高导电、导热能力,极
固体氧化物电池(SOCs)是全固态电化学能源转换装置,具有安全、高效清洁、超静音等优点。它存在两种运行模式:在固体氧化物燃料电池(SOFCs)模式下,利用燃料发电;在固体氧化物电解池(SOECs)模式下,利用可再生能源将温室气体CO2转化为CO、O2。因此,SOCs成为化工和能源领域的研究热点,但是传统Ni基燃料电极存在一定的短板,例如Ni的抗氧化能力差、机械强度低等,导致SOCs发展受限。钙钛矿
近年来,太赫兹辐射在国民经济和基础科学研究领域展现出巨大的发展潜力,人们对于高品质的太赫兹辐射源的需求越来越高。基于预群聚电子束相干辐射原理的太赫兹源以其能实现紧凑型、高功率、高脉冲能量等性能而受到研究者的青睐。本文以基于光阴极微波电子枪的预群聚相干太赫兹辐射为主要内容,对光阴极驱动激光的预群聚纵向整形,光阴极微波电子枪的调试实验研究,特殊结构的预群聚电子束对相干太赫兹辐射性能的提升等方面开展探索