结合注意力机制的图像自动上色算法研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:laopengyou123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像上色旨为输入单色图像中的每个像素分配合理和感知颜色的过程。图像上色不止可以赋予老旧照片新的意义,还可以对现阶段彩色照片产生新的视觉冲击。图像上色应用广泛,有老旧照片上色、卡通动漫上色和自然场景上色等,本文针对自然场景中的图像进行自动上色。随着深度学习不断发展,图像上色算法得到不断优化,并取得令人满意的效果,但现阶段的图像上色中依然存在颜色溢出,上色结果颜色暗淡和颜色存在色差等问题,因此探究图像上色依然具有必要性。1.针对图像背景容易对前景实例上色造成干扰,导致图像实例边界出现颜色溢出问题,本文使用目检测网络,提取图像中实例,形成全局上色和实例上色,从而减少图像实例边界周围出现的颜色溢出;2.针对网络对语义内容与颜色匹配错误,导致图像内容出现颜色溢出问题,本文使用极化自注意力(Polarized Self-attention,PSA)。该注意力根据卷积层的维度通道变化作用,将输入图像特征转换为颜色通道特征和空间位置特征两部分,颜色通道学习图像的颜色信息,空间位置学习图像的位置信息,两者的结合提高网络对图像语义与颜色间地正确对齐,以此减少图像中的颜色溢出;3.针对网络对图像颜色信息捕获不充分导致上色结果饱和度低和色彩单调的问题,本文提出细粒度注意力机制。该注意力根据光学摄影中“极化滤波”和高动态范围成像机制,结合小感受野的卷积核和Softmax,从不同方向增强或是抑制图像的颜色特征并进行高动态范围映射,扩大图像颜色特征范围,提升图像对比度,从而提升图像上色色彩;4.针对网络中拟合函数单一,导致网络对真实图像的颜色拟合不充分而出现的颜色偏差问题,本文提出融合模块(Combination Module,CM),该模块在颜色预测网络中组合多个Sigmoid和Softmax,让网络有更强的非线性表达能力,输出最接近真实图像的颜色分布,减少颜色偏差;5.针对实例图像周围存在的冗余色块问题,本文采用像素回归机制,使网络将冗余色块视作异常值,寻找其它上色解,最终输出无冗余色块的图像。本文采用迁移学习训练整个上色网络,保证上色质量的同时缩短训练时间。为证明上色网络有效性,本文从不同上色算法、消融实验、不同注意力机制和不同损失函数等角度分别进行定性测试对比。此外,本文使用PSNR、SSIM、FID、LPIPS、CCI(Colorful Color Index)、CNI(Colorful Natureness Index)几个指标定量证明本文网络上色有效性,相比最新的上色算法,本文的上色网络在FID、LPIPS两个重要评判指标中平均提升15个百分点。综上所述,本文所提出算法一定程度解决了图像上色中的颜色溢出、颜色暗淡和颜色偏差三个问题,定性和定量的结果也证明本文上色效果的优越性。
其他文献
在全球发展开放格局不断拓展背景下,作为陆路相邻国家之间的边境旅游对边境地区的社会安全产生着深刻影响,尤其是对边境地区的社会人口变迁、社会组织形态、社会资源分配等方面的影响尤为显著。本文以边境旅游对边境地区社会安全影响作为研究对象,应用TOPSIS模型和回归模型等方法对边境旅游对边境地区社会安全的作用影响、影响机理、安全风险、治理对策等进行研究。研究主要内容如下:一是梳理边境旅游与社会安全相关研究,
学位
从国家政策来看,党的“十九大”报告和国家“十四五”旅游业发展规划中都指出,要加快旅游产业科技创新,让科技为旅游赋能。从旅游实践来看,旅游产业转型升级及高质量发展呼唤着技术创新。从国内国际疫情防控形势来看,旅游业必须借助科技的力量统筹“发展与安全”,从中可以看出科技与旅游的融合是大势所趋。为此本文以我国31个省市区为研究对象,以技术与旅游融合的产物“智慧旅游”出现的年份2010年为起始点,以10年为
学位
在2013年中国政府开始发展“一带一路”的建设,东南亚属于“一带一路”沿线的重要衔接点,老挝属于东南亚国家之一,在“一带一路”的倡议下,东南亚国家经济高速发展,但是也带来了市场的恶劣竞争。对于一个企业的发展而言,最关键的是人才,但是目前老挝国内的企业难以留住人才,不仅影响到企业的发展,而对于社会稳定造成了一定的影响;老挝电力企业属于老挝最知名企业之一,而且具有国资背景,但是该企业仍然有不少人才流失
学位
由于无处不在的商业化和产品同质化,如何建立品牌本真性来维护和恢复消费者对品牌的信心这一方面已成为营销领域所关注的前沿问题。制定有效沟通策略以提升品牌本真性极为关键,而拟人化沟通能够通过在品牌中注入类人属性以反映消费者所期望的品质和价值,建立更强的消费者-品牌关系以应对目前的营销问题。另外,品牌的拟人化沟通也存在两种常见的拟人化角色,即仆人角色和伙伴角色。然而,目前只有少数文献提及拟人化沟通与品牌本
学位
生存是发展之基,农业是生存之石,农业企业是农业发展的载体,农业和农业企业高质量发展的制胜因素是科技,为此农业企业技术创新正当其时,而政府补助、企业研发投入正是农业技术创新、企业绩效提高的有力推手。为此本研究对国家整体层面和企业层面的政府补助、研发投入和企业绩效现况进行了梳理分析总结,得知我国政府补助力度大、涵盖面广,对企业发展可谓“雪中送炭,雨中送伞”,但是政府补助产生的效果及影响尚不明晰;且在新
学位
近年来,中共中央、国务院多次发文强调,要大力推进农村产业融合发展。云贵川地区茶业资源丰富,茶文化历史悠久。作为云贵川地区的特色产业,茶业成为推进农村产业融合和经济发展的重要抓手,但茶业在保持良好发展势头的同时,也遇到了发展模式单一、市场主体散弱、产值低等诸多问题,亟需加快转变茶业发展方式,推动茶业健康可持续发展。与此同时,云贵川地区旅游业发展迅速,但伴随着游客需求的转变,传统观光旅游已难以满足市场
学位
制造业是经济社会发展的支柱性产业,其发展水平直接体现了一个国家的生产力水平。经过多年的不懈努力,我国制造业取得了很大进步,但仍然处于全球价值链的低端,迫切需要通过创新来增强国际竞争力。与企业创新绩效直接相关的因素有两大类,一是企业外部的创新环境,如政策环境、宏观环境等;二是企业内部的创新资源,如人力、物力、财力等。受创新活动外部性强、周期长、风险性高等特点的制约,企业开展创新活动融资困难,需要依靠
学位
肺动脉高压(Pulmonary arterial hypertension,PAH)是一种可由多种心、肺或肺血管本身疾病所致的血流动力学异常的异质性疾病,临床上把肺动脉平均压不小于25mm Hg认定为PAH。先天性心脏病(Congenital heart disease,CHD)简称先心病,是我国婴幼儿易发的心血管疾病,对儿童发育成长危害极大,其中20%未得到及时治疗的CHD患者会发展到先心病相关
学位
水库具有多功能性,随着社会经济不断地发展,其休闲游憩和旅游功能逐渐变得突出。我国水库数量众多,水库是水利旅游的主要载体,也是水库型旅游景区的核心资源,目前针对全国水库和水库型旅游景区空间分布特征的研究少之又少。空间分布特征可以反映出事物的发展规律,对水库和水库型旅游景区空间分布特征的研究,有助于我国水库旅游可持续发展。本研究以2020年我国大中型水库和水库型旅游景区为研究对象,以空间分析技术和计量
学位
在现代通信系统中,微波滤波器在分离不同频率微波信号过程中扮演着极其重要的角色。另外,它在雷达、电子对抗等通信系统领域中的研究也得到了越来越多的关注。同时,随着人们对这些系统的应用需求不断增加,对滤波器性能的要求也随之增加。除了要求其具有优良的通带传输及边带选择性能外,还对其在小型化、宽阻带、大功率容量等方面提出了更高的要求。由此,本文在2016年推出的集成基片间隙波导(Integrated Sub
学位