基于深度神经网络的可控图像编辑

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:lingling111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像编辑涵盖多种图像处理任务,通常包含在像素层面改变图像内容的操作。大多数基于深度神经网络的深度学习方法是确定性模型,其存在的问题是它们通常只能够处理一种确定的编辑强度,并且整个映射过程是不可控的。现实生活中的变化通常是不确定的。如人脸老化是一个渐进的过程,用户想要获得不同年龄的人脸图像(输出可控),而不仅是某个确定年龄的人脸图像。再如在图像去噪任务中,不同图像的噪声水平是不同的,用户希望网络能够自适应处理多种噪声水平(输入可控),而不仅是只能处理某种确定的噪声水平。基于网络中控制编辑强度的变量被隐式嵌入在参数集合中,且可以被提取和利用的假设,本文主要研究基于深度神经网络的可控图像编辑,以网络执行图像编辑的程度为主线,依次从特定程度、离散中间程度、连续中间程度三个层面,对其问题描述和模型框架展开研究。1.针对特定程度的图像编辑不可控的问题,本文揭示了特定程度图像编辑网络中构造模块的降维与表征能力的关系,以及构造模块的可堆叠性与图像编辑的可控性之间的关系。本文发现单层自编码器所具备的可堆叠的特性,包括在降维方面的特性—能够捕捉到更加符合数据空间结构的降维模式,检测到数据中的重复结构,隐含层能够学习到对于视觉任务重要的特征等;和自编码器中隐含层节点数与本征维度之间存在的关联—当隐含层节点数设置为输入的本征维度时取得较好的性能。2.针对包含有监督的、离散变化过程的问题,提出了基于堆叠广义自编码器的渐进编辑算法,构建了输出离散可控的图像编辑框架,实现了网络对输出的离散控制。通过引入离散中间编辑程度的监督信息,使网络更容易从局部最优解过渡到全局最优解,在实现输出离散可控的同时,也能够更好的完成原任务。自编码器的特性和其可堆叠性使其更加适合处理离散可控的图像编辑问题。3.针对包含弱监督的、连续变化过程的问题,提出了基于自适应实例正则化的网络调控算法,构建了输出连续可控的图像编辑框架,实现了网络对输出的连续控制。通过利用不同编辑程度之间隐含的关联先验,建立隐式的连续中间编辑状态的监督信息,从而实现对图像编辑强度的连续调节,增加模型在输出端的可控性。卷积神经网络学习到的复杂参数表达和其参数的灵活性,使其更加适合处理连续可控的图像编辑问题。4.针对网络无法按需对输入进行编辑的问题,提出了基于空间特征变换的输入自适应网络调控算法,构建了输入连续可控的图像编辑框架,实现了网络对输入的连续控制。通过约束并建立更加均匀的中间编辑状态的监督信息,网络能够学习到从图像到其所需编辑程度的映射,进一步增加模型在输入端的自适应性,最终同时实现输出可控的连续图像编辑和输入可控的自适应图像编辑。通过以上研究,本文提出的方法涵盖了可控图像编辑问题框架中,图像编辑程度由少到多、由离散到连续,中间监督信息从有到无等各种情况。图像编辑的目的是学习从一个图像域到另一个图像域的映射,而可控图像编辑的目的则是在完成两个图像域之间的转换的同时,找出该映射的方向。受限于深度学习对训练数据的敏感性,在样本有限的情况下,其优势难以充分体现。本文提出的可控图像编辑在中间编辑程度的样本有限、甚至缺失的情况下,学习到两个图像域之间的变化,并建立从一个图像域逐渐转换到另一个图像域的过程,降低对训练数据的依赖,实现连续的域适应。多种视觉任务的应用证明了本文提出的方法的应用价值,及在图像编辑问题中的普遍适用性。
其他文献
蒸发冷却技术是一种利用水对空气进行冷却的制冷模式,因此具有可再生和可持续发展的突出特点。目前蒸发冷却技术研究的主要方向包括提高蒸发冷却系统冷却效率,降低送风温度的同时增强显热处理能力等几个方面。但是不同蒸发冷却形式存在共同的弱点,即其送风参数和制冷能力在运行过程中会随室外环境空气参数不断波动而变化。由机械制冷辅助的蒸发冷却系统形成的复合空调系统,可以充分发挥各自系统的优点,避免其不足之处,应用前景
随着社会的发展,海洋的污染日趋严重,采用光学方法检测海洋油污及金属元素得到了越来越多的重视。激光光谱检测技术具有检测速度快、灵敏度高、无需接触样品等优点,因此成为检测海洋油污及金属元素最有前景且最有效的方法之一。激光光谱检测是一种主动光学检测技术,主要包括激光诱导荧光(LIF)光谱技术和激光诱导击穿光谱(LIBS)技术。通过分析激光诱导光谱可以检测海水中溢油、可溶性有机物(DOM)、叶绿素a等有机
电磁超表面因其具有新颖的、自然界里不易观察到的电磁特性,成为光学和人工材料学科的热门研究课题之一。超表面的光学特性主要取决于其基本单元的光学共振,通过调节基本单元的几何特征及组分变化,可以表现出负折射率,完美吸收和增强的光学非线性等特性。在这些特性的驱动下,人们提出了很多新的应用,包括反常折射和透射,光束整形,传播波与表面波的转换以及全息应用等。因此,对基本单元光学特性的研究(如近场增强性质,相位
姿态确定系统提供航天器当前的姿态信息,是姿态控制的前提。星敏感器和陀螺作为航天器主要的姿态敏感器,在轨发生故障的概率均较高,发生故障后若不能及时诊断并隔离,则错误的姿态信息将被引入到系统闭环控制中,可能使得载荷不能正常工作,甚至导致航天器损毁。在工程应用中,受制于星载计算机的性能,算法的运算复杂性和运算时间均受到严格限制,因此研究诊断准确性高且易于星上实现的故障诊断方法具有重要意义。在此背景下,本
随着航天技术的发展,航天任务越来越复杂,相对导航是实现各项航天任务的基础,因此,为了保障各航天任务的顺利执行,对相对导航算法提出了更高的要求。相对导航的原理为通过构建系统状态的演化模型,利用一系列传感器观测,实现对系统真实状态的估计。理想系统的状态估计可通过Kalman滤波实现。然而,受限于对实际系统的理解、通信过程中外界条件的干扰及系统内部各物理条件的限制,导致系统往往会受到模型非线性、相关噪声
广场作为城市重要的公共空间,是城市居民进行室外休闲活动的主要场所,其环境品质对于提升城市空间活力具有重要意义。然而,由于缺乏对于环境品质,特别是物理环境的考虑,大多数城市广场的环境均存在一定问题;其中,受到气候条件及设计理念的影响,严寒城市广场的热声环境问题较为严峻且存在季节性差异。与此同时,虽然针对于广场热声环境质量或环境感知的研究均较为广泛,但关于广场客观环境质量与使用者主观感知评价的关联研究
润滑剂可以降低机械设备的能耗,延长机械设备的寿命。作为一种新型且性能优良的润滑剂,复合钛基润滑脂近年来逐渐引起学者的广泛关注。然而,对复合钛基润滑脂的研究还缺乏系统性;其合成机理的探索尚不够全面,其制备因素、性能和微观结构之间的规律研究尚未完善;在摩擦学改性的研究方面,多种减摩抗磨剂的最佳配比不够精确;复合钛基润滑脂在固体膜层上的应用较少,需要拓展。上述问题制约了复合钛基润滑脂的生产和应用,本文针
燃烧数值计算在发动机设计中扮演着重要作用,燃烧动力学机理能在很大程度上决定该数值计算过程能否准确掌控燃料的释热规律、流场的精细结构以及污染物的反应路径。但目前数值求解由大型燃烧机理组成的动力学系统仍然是个挑战。此外,基元反应速率系数的不确定性也会给燃烧数值计算带来更多挑战,即该不确定性会对燃料演化过程中的关键路径及活跃基元反应产生巨大影响。因此开发带有速率系数不确定性的简化方法(即全局简化方法)能
当前世界各国必须面对与日俱增的能源需求以及日益恶化的环境问题所带来的严峻挑战,作为化石能源最有希望的替代者之一,质子交换膜燃料电池(PEMFC)的发展近年来备受关注。目前,铂及铂基合金是PEMFC中研究较为广泛且具有商业化潜力的电催化剂,但其居高不下的成本制约了燃料电池技术的进一步普及与推广。因此,开发出高活性、高稳定性兼具低成本的新型电催化剂是实现燃料电池技术大规模应用的关键环节。本论文从铂基电
球面网壳拥有优美的造型和良好的受力性能,在体育场馆、歌剧院及会展中心等大型公共建筑中应用广泛,并往往是所在地区的地标性建筑,社会、经济地位重要。从建筑构成上来看,球面网壳主要包含结构主体构件及表面、内部附带着大量的屋面围护部件及悬挂设备,这些屋面围护系统及悬挂设备可能会显著影响主体结构的静力及动力性能。尽管国内外学者已针对球面网壳的静力与动力性能开展了细致的研究工作,理论成果丰硕,但在研究中普遍忽