基于深度学习的灰度图像着色算法研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:zhouwenwumo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像着色是指为灰度图像、草图甚至单色电影添加颜色的过程,它是图像处理领域的一个重要的分支,并且广泛应用于历史影像资料色彩恢复、单色科学图像着色和动漫作品颜色处理等领域。通过给图像或者视频添加上合理的色彩信息,一方面可以给用户带来更生动、丰富的视觉体验,另一方面还会增加图像信息内容的可感知性,更便于用户理解图像中的内容。自图像着色任务提出以来,其经历了一段较长时间的发展,尽管现存的一些着色方法大体上可以获得令用户满意的着色结果,但仍无法完全避免输出图像存在细节信息不足、色彩饱和度低和颜色渗出目标边界等问题。此外,图像着色本质上是一种“多模态”(multi-modal)的问题,即一张输入的灰度图像可能存在多种合理的着色方案。而现存的大多数着色算法在进行任务建模时,都未将这种“多模态”特性考虑在内,因此会导致灰度图像的着色结果缺乏多样性。针对上述提到的问题,提出了两种基于深度学习技术的图像着色算法。本文的主要工作如下:(1)提出一种可以融合图像多尺度特征与全局上下文的着色算法,用于解决着色图像边界区分困难和色彩饱和度低的问题。该算法先使用预训练的VGG16网络进行迁移学习,用于提高着色网络对图像低级特征的提取能力。随后,利用提出的基于通道注意力机制的联合金字塔上采样模块(Channel Attention-based Joint Pyramid Upsampling,CA-JPU)来融合输入图像的中、高级特征和获取丰富的上下文信息,用于辅助着色网络更好地区分着色图像的前景与背景。最后,引入自适应的空间特征融合模块(Adaptively Spatial Feature Fusion,ASFF),用于自适应地学习不同尺度空间特征的重要程度,仅保留有用的特征信息来帮助输入灰度图像预测可能的颜色信息。实验结果表明,该算法可以输出颜色合理且色彩饱和度高的着色结果,同时还缓解了着色图像中时常存在的边缘渗色问题。(2)提出一种基于双向映射的图像多样性着色算法,用于解决着色网络输出结果过于单一的问题。该算法沿用了Bicycle GAN网络的设计思想,通过设计目标彩色图像和输入潜层编码(latent code)的重建过程,可以促使二者建立一种双向的映射关系。为了让着色网络获得更好的着色效果,生成器模块借鉴了SGRU网络的结构设计,用于过滤冗余的特征信息和提高网络的着色性能。其次,设计了一种潜层编码判别器模块,用于提升着色网络训练的稳定性,减少“模式崩溃”(mode collapse)现象的发生。此外,本文还尝试在模型训练阶段引入一种感知损失函数,用于缩小生成彩色图像与目标彩色图像在视觉感知维度上的差距。实验结果表明,该算法可以通过采样不同的潜层编码来让网络输出多种合理的着色结果,并且针对更复杂的动漫线稿着色任务,该算法也表现出了较好的着色能力。
其他文献
随着我国军事实力的不断增强,对装甲兵训练的要求也逐步提高。现如今,日常军事训练存在训练手段单一、训练效果差以及脱离实战等问题,而大规模军演又需要消耗大量的人力、财力。因此,在资源有限的情况下提高装甲兵的训练效果至关重要。随着虚拟现实技术的日益发展,其沉浸性、交互性、构想性对军事领域的研究有着重要意义。本文利用虚拟现实技术,以Unity3D引擎作为开发平台,创建仿真场景;使用C#语言编写脚本,实现系
学位
乳腺癌是一种高度异质性的肿瘤。探索乳腺癌的发病机制和潜在的治疗靶点一直是研究的热点。研究表明,肿瘤微环境(TME)对肿瘤的发生、生长和转移起着重要的作用,其中血小板对肿瘤微环境有重要影响,在肿瘤的增殖、凋亡等方面发挥作用。免疫微环境作为肿瘤微环境的重要组成部分,相关因素的改变也影响着肿瘤的预后。而考虑到肿瘤调控的复杂性,我们从mRNA和lncRNA两条途径去研究血小板在免疫上的作用。基于TCGA数
学位
保证供电设备能够正常稳定的工作是电力系统运维的重要使命,通过实时监测并在第一时间内发现设备的异常运行状况,可以最大限度预防和减少事故发生。红外检测技术在电力系统运维任务中因安全、可靠等优势被广泛应用于国内外电力行业中。但目前对红外图像的分析还要依靠资深的专家,该过程将耗费大量人工与时间成本,极大地降低了设备运行状态的检测效率。因此基于红外图像的智能热缺陷诊断已成为当前电力领域人工智能研究的热点,而
学位
本文针对小型固定翼无人机手动降落难度大等问题,提出运用采用视觉导航技术搭建自主降落的方案,并针对其中涉及的若干个关键技术进行了深入地探索研究:其一是实现三维飞行控制器的设计并采用李雅普诺夫函数验证其具有稳定性;其二是选定目前主流的图像检测算法,采集降落模型的图像数据集,调用深度学习框架Darknet进行训练和测试,通过外场试验,验证该策略的可行性。最后,基于以上两个部分,实现串级控制,即将第二部分
学位
随着我国经济的发展,我国的建筑行业也在不断的发展和扩大,随之而来的是建筑市场竞争的白热化,建筑企业想要在激烈的市场竞争中突出重围,并提升自身的经济效益和影响力的提升,就需要对建筑工程的设计及施工过程进行有效的管理,其中工程造价是建筑工程管理中极为重要的一部分,它可以对工程的成本进行把控,实现对工程进度和质量的监督和管理。由于建筑工程项目的特殊性,建筑工程管理实际是一个变化的动态过程,因此工程造价也
期刊
在小学数学教学中,将日益发达的信息技术与课堂教学有效整合,有利于提升小学生的综合素质,也是新课程改革的客观需求.在当前信息化教育的环境下,小学数学教学与信息技术的整合,可以从方式、思维上入手,既要改变固有的教学方式,又要转换陈旧的教学思维.如通过网络直播教学构建交互式的课堂等,以推进数学课程持续革新.文章首先对小学数学教学与信息技术整合的重要性及出现的问题进行分析,进而提出一些实质性的教学策略和建
期刊
民族地区乡村产业高质量发展关系到全面推进乡村振兴的战略部署,以及巩固拓展脱贫攻坚成果,巩固发展民族团结、社会稳定、边疆安宁的工作。该文区别于传统产业链分析思路,基于区域产业发展视角,探讨河池市宜州区祥贝乡拉托村乡村产业发展实践所带来的启示。该文认为,诸如拉托村这样不太有特色的普通村庄,影响其乡村产业高质量发展的机制性原因是村内产业间关系不紧、村内外产业协同不足、产业跨区域承接能力不够;进而提出了“
期刊
全球老龄化呈现不可逆趋势,社会养老面临巨大压力。当前我国进入深度老龄化发展阶段,老年人群急需社会关注。目前人们对于老年人的日常生活的关注,普遍集中于健康状况、经济保障、医疗服务、居住环境、社会参与、文化生活问题等方面,设计师的关注点在于住宅室内设计和公共空间的优化改造,缺少对与老年人日常生活密切相关的家具和陈设的研究。疗养院公共空间作为老年人活动最密集和最频繁的活动场所,许多家具设计只是对基本功能
学位
作为一门基础性的学科,数学既是小学教育的重要组成部分,也与现实生活息息相关.在数学教学中,合适的问题可以有效调动学生的好奇心和求知欲,促使学生主动学习.因此,文章从小学数学教学中开展有效提问的必要性入手,结合小学数学课堂教学中存在的问题,探究了以有效提问为导向的小学数学教学策略.
期刊
科技的发展带动了学校教育教学方面的深层改革,人工智能技术的出现让小学数学课堂教学得到了多角度、全方位的优化。小学数学教师应该紧跟新课程目标改革要求,将人工智能技术和小学数学教学深度融合,充分发挥人工智能技术的优势,最终实现学生的全面发展。文章将对小学数学教学中存在的问题和人工智能技术在小学数学教学中的作用进行论述,并针对人工智能技术与小学数学教学的深度融合策略展开探究。
期刊