基于生成对抗网络的交互式线稿着色方法研究

来源 :浙江大学 | 被引量 : 1次 | 上传用户:y871655121
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像着色课题的研究目标是对灰度图像或黑白线稿添加颜色,可以应用于医学影像着色、老照片色彩重建、漫画线稿着色等场景,具有丰富的实际应用价值。近年来,受到深度学习发展的推动,出现了许多出色的着色模型,但是其着色结果仍存在着颜色混杂、溢出和细节缺失等问题。因此,本文针对漫画线稿着色这一应用场景及当前主流着色算法存在的问题,提出了两种基于生成对抗网络的交互式线稿着色方法,可以根据参考图像的颜色分布对漫画线稿图像进行着色。本文主要的研究工作和创新点如下:(1)为了解决颜色混杂、边缘溢出等问题,本文提出了一种基于位置注意力的对抗着色方法。整体网络采用了生成对抗网络(Generative Adversarial Nets,GANs)作为基础结构,生成网络设计为加入了注意力门和非局部模块的U-Net结构,提高模型捕获全局信息的能力并减少低层冗余信息量;判别网络采用Patch GAN结构,提升对高分辨率图像的判别能力。针对生成对抗网络的训练问题,在损失函数中引入了 WGAN-GP的思想,并且采用了双时间尺度更新规则的训练方式,使模型的训练更加稳定。另外,由于图像着色领域缺少统一的数据集,本文中在原有彩色图像数据集的基础上,使用XDoG算子进行边缘提取,制作对应的线稿图像数据集。经过实验验证,该方法能够较好的解决着色任务中颜色混杂和边缘溢出的问题。(2)第一种方法中通过非局部模块捕获到图像的全局信息,但非局部模块也带来了较大的计算量,本文中在第一种方法的基础上提出了一种基于通道注意力的对抗着色方法,不仅减轻了计算量,还可以在获得全局上下文信息的同时关注到图像的通道特征。该方法同样使用了生成对抗网络构建模型,向生成网络中引入了全局上下文模块,并在判别网络中采取了多尺度的结构设计,解决高分辨率图像的特征提取过程中的信息冗余问题。另外,该方法中还将视觉显著性机制引入颜色特征提取的过程,根据彩色参考图像的视觉显著性特征图提取颜色直方图特征,作为着色模型的条件输入,得到了更符合人眼主观认知的参考图像颜色特征。经过实验验证,该方法取得的PSNR值和SSIM值分别为24.16dB和0.9583,高于其他主流模型,在用户主观评价中也更占优势。
其他文献
大规模多输入多输出(Multiple Input and Multiple Output,MIMO)技术作为满足未来5G及超5G系统多样化服务质量要求的重要技术之一,已被广泛研究。大规模MIMO与传统MIMO系统的不同之处在于将数百个天线封装在基站中。因此,可以利用更多的空间自由度来提高频谱效率和能量效率。但是,随着大规模MIMO系统中天线数目的不断增加,获取精确信道状态信息的难度也会逐步提升。同
学位
随着港口和城市的快速发展,深圳港城矛盾问题日益突出,疏港交通对城市交通产生了严重的影响。建设近距离内陆港体系,大幅提升铁路货运比例,降低公路货运比例,将成为解决深圳港城矛盾的有效手段。根据内陆港建设的特点,对投入产出模型中建筑业的相关系数矩阵进行了改造,更准确、全面地测算出内陆港在建设期以及运营期带来的经济效益。在定量分析的基础上,采用多个研究视角,系统梳理了内陆港建成后对于港口企业、船公司、货主
期刊
脓毒症被定义为“由宿主对感染反应失调而导致的危及生命的器官功能障碍”。尽管脓毒症的治疗在过去几年中发展迅速,但临床治疗中脓毒症的发病率和病死率仍在攀升。此外,由于脓毒症的表现形式多样,临床医生在脓毒症患者的诊断、治疗和管理方面仍面临严峻挑战。文章综述了对脓毒症早期诊断或对疾病的严重程度及预后评估有潜在价值的生物标志物,包括传统的与感染相关的生物标志物:降钙素原、C反应蛋白、细胞因子等;与炎性反应激
期刊
太赫兹技术作为一种新兴技术,被广泛地运用于传感成像、生物医疗、物质检测和高速无线通信等领域。太赫兹波的生成可以通过电子学和光子学两类方法。近年来,基于光外差原理获得太赫兹波辐射的光子学方法得到了学术界的大量关注。光外差法产生太赫兹波的基本原理是利用两路频率差处于太赫兹波段的激光信号进行合波拍频,利用集成天线的光混频器件将拍频信号转化成太赫兹波信号辐射出来。光外差法是一种简单有效的太赫兹波辐射方法。
学位
<正>安全稳定的校园环境是保证高校教学平稳实施的关键,同时也有利于学校形象品牌的建设。校园安全工作要建立安全防护体系,针对各类安全事件树立危机意识,制定防控措施。平安校园的创建对保障师生安全、维护学校稳定意义重大。一、校园安全问题的类型及成因随着时代发展,校园和社会联系日益紧密,各类不安全因素也在不断增加。因此,分析校园安全问题,确保校园的安全稳定是学校发展的前提和保障。只有在安全稳定的大局下,广
期刊
<正>学校在进行教育教学工作的过程当中,学生的心理健康教育是不可或缺的一部分。教师、家长和学生自身都会对学生的心理健康教育进行有效影响,教师与家长发挥着至关重要的作用,朋友会对学生进行一定程度上的心理辅导,另外学生也要对自身进行教育,这样才可以使自身的心理达到健康的理想效果。中学生的心理健康教育是十分重要的,良好的心理状态才可以为学习生活打下良好的基础,从而使自身的综合素质得到有效提高,推动全面发
期刊
<正>【任务群解读】高中语文教材必修上第七单元“自然情怀”,和同册的第一、三两个单元,同属“文学阅读与写作”任务群。课标中明确,该任务群要引导学生阅读古今中外诗歌、散文、小说、剧本等不同体裁的优秀文学作品,使学生在感受形象、品味语言、体验情感的过程中提升文学欣赏能力,并尝试文学写作,撰写文学评论,借以提高审美鉴赏能力和表达交流能力。其主要的学习目标和内容有:1.精读古今中外优秀的文学作品,感受作品
期刊
现今社会正在快速进入5G物联网时代,作为物联网技术重要组成的感知技术,也迅速地向智能化、网络化、全方位立体感知方向发展。在感知技术中,分布式光纤传感器因其体积小、抗电磁、耐腐蚀、耐高温等优势有着巨大的发展潜力。光频域反射计(Optical Frequency Domain Reflectometry,OFDR)作为分布式光纤传感器的分支,更是以高精度,快速的动态响应等特性从各种传感器中脱颖而出,吸
学位
随着信息化时代的飞速发展,太赫兹(THz)技术受到越来越多的研究关注,部分突破性成果已成功应用于通信、雷达、成像、谱分析等领域。太赫兹波介于微波和红外波之间,相较于微波,太赫兹波的频谱资源更加丰富,能为通信提供更高的载频、更快的速率,也能为雷达提供更大的带宽;相较于红外等更高频光波,太赫兹波具有更低的光子能量、更好的安全性、更强的穿透性。然而,受限于目前太赫兹的收发技术手段和效率,太赫兹信号的分析
学位
情绪识别技术在人机交互、医学应用等领域具有广阔的应用前景。赋予计算机理解人类情绪的能力将使得计算机在各种应用中更有意义和强大。皮肤电势(Skin Potential,SP)信号是一种记录皮肤电反应过程的生理信号,在过去曾被证实与人类情绪有关,可能具备应用于情绪识别领域的潜力。然而,一直以来对该信号关注的不足导致其缺乏深入系统的研究。基于此,本文对皮肤电势信号的性质特征进行了研究并提出了一种基于皮肤
学位