基于记忆增广网络及区域自适应的车辆图像着色研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:ylovew
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
尽管生成对抗网络迄今取得了显著的成功,但将其应用于解决现实世界的问题仍然是一个重大挑战。在真实的交通监控场景中,生成多样化颜色的货车或轿车图像而不改变车牌等纹理细节这一任务,条件图像生成很难通过控制颜色属性来改变生成结果。图像风格转换的生成结果不可避免地会呈现色斑,且不能在特定区域进行颜色风格转换。甚至是最新的解耦表征学习也不能将颜色单独解耦出来,控制除颜色之外的其它因素保持不变。为了解决这个问题,本文受启发于图像着色任务,基于MemoPainter,将记忆增广网络中的空间颜色对设为一对多的映射关系,并引入颜色属性来引导训练更新,最后通过融合模块来滤除不想要的颜色改变。虽然融合模块能一定程度上提高着色结果的真实性,但部分呈现边缘失真,仍不是我们理想方法。所以,本文进一步摒弃原有的记忆增广网络,采用区域自适应归一化代替AdaIN进行基于风格示例图像的特定区域颜色转换。具体两部分工作如下:(1)基于记忆增广网络的少样本车辆图像多样化着色的研究:现有的在RGB颜色空间进行训练的图像生成模型都或多或少导致车牌等纹理细节失真,而现有的图像着色任务大多只能进行单颜色着色,或需要大量样本进行训练。为了解决纹理改变和颜色多样性问题,我们在CIELab空间进行图像着色实验,并引入记忆增广网络实现少样本多颜色车辆图像生成。在本小节中,我们主要工作如下:(1)我们的模型能在少样本的情况下同时生成多种颜色的着色结果。这是因为在我们的记忆网络中的空间颜色对的映射关系是一对多的。输入一张车辆图像,记忆网络可以基于特征提取器提取出的空间特征检索出对应的多种颜色特征,然后将它们送入生成器生成得到结果;(2)我们使用颜色属性作为条件来指引特征提取器和记忆网络的训练和更新,以确保空间颜色对是有序的。除此之外,我们的融合模块还可以滤除背景等不需要的颜色改变以生成高质量的着色图像;(3)在三个基准车辆数据集和我们新提出的货车数据集上,我们的LPIPS和FID指标都优于最新的其他方法。与一些其它的数据增广方法相比,我们的方法作为一种离线数据增广方式可以提高目标检测的精度,验证了我们的方法可以为一些如目标检测的下游任务提供帮助,可用于离线数据增广。(2)基于区域自适应归一化的车辆图像多样化着色的研究:现有的着色方法包括我们的工作一都是对整张图像进行着色,虽然着色效果尚可,但是仍然不能满足我们的需求。我们想要达到通过控制分割掩码来进行特定区域的多样化颜色风格生成。目前,SEAN可以单独控制每个语义区域的风格,为每个区域指定一个风格参考图像。因此,我们决定使用SEAN作为我们研究的基础,将其引入MultiColorGAN,名为Multi-ReColorGAN。它与Multi-ColorGAN一样工作在CIELab颜色空间,将输入的RGB参考图像转换到CIELab颜色空间。我们与其不同之处在于,分区域量化ab通道到313个块,来得到313*s维的颜色风格特征。除此之外,我们摒弃了AdaIN,将内容图像的灰度图和分割掩码作为生成器的输入,通过区域自适应归一化,将313*s维的颜色风格特征分区域注入内容图像的灰度图,并与鉴别器对抗训练,以生成不改变纹理等细节的车辆多样化颜色图像。为了进一步地让生成结果更加自然,我们还引入了感知损失。在三个基准数据集和工作一提出的货车数据集上,我们进行了大量的实验对比及消融实验,验证了我们方法的有效性。
其他文献
聚类是机器学习中的一个重要而基础的技术,是分析和处理多变量数据的重要方法,被得到广泛应用。但是单一的聚类算法无法处理所有数据,因此存在稳定性和鲁棒性的问题。为了解决这个问题,聚类集成方法应运而生。聚类集成通过集成多个弱的基聚类结果,得到一个更鲁棒,更稳定的聚类结果。虽然聚类集成已经取得了良好的效果,但是传统的聚类集成算法通常采用较弱的基聚类算法,容易导致基聚类结果不可靠。而且已有的算法往往将各个基
学位
智能交通时代,通过摄像头监控车辆动态并进行监督已经是必不可少的车辆管理方式,摄像头监管车辆的一项重要技术就是车牌检测识别技术,它可以快速便捷的通过机动车辆车前车后的标准车牌确认车辆身份。但是对于一些大型车辆,监控视角受限以及标准车牌的磨损严重、污渍附着等问题使得摄像头无法拍摄到合适的标准车牌,车牌的检测识别技术难以获得准确的识别结果,于是本文通过研究非标车牌的检测识别来解决此问题。非标车牌与标准车
学位
网络作为一种非欧式数据结构在现实世界中非常常见,例如表示论文之间引用关系的引文网络,表征用户之间的关系的社交网络,生物学中蛋白质分子网络等。近些年,深度学习由于其优异的特征提取性能成为了热门研究课题,而基于图深度神经网络的网络表示学习方法也逐渐成为图分析研究领域的主流方法。其中基于图自编码器的无监督网络表示学习方法是非常一种经典且常见的方法。当前基于图自编码器的方法通常只有一个解码器和一个编码器,
学位
在现实世界中,许多人在互联网上分享照片、文本等不同种类的信息,这些数据可以被标记多个标签。利用好这些数据,寻找到可用标签和数据之间的关系,可以指导人们更好地学习、工作。传统的多标签学习任务就是学习一个有效的模型,为未知数据赋予多个标签。通常,在训练集中,一个样本标注多个标签,并且所有标注的标签都是精确的。然而,精准标注大规模样本是困难的,一般在标注时,由于疏忽,标注者往往会将一些样本无关的标签分配
学位
传统的药物研发是一个长时间、高投资和高风险的过程。随着医学技术的发展,人们对疾病的发生机制有了越来越清晰地认识,对药物的需求也在不断增加。传统的药物研发方法已经很难满足人们的需求,人们需要一种新的药物研发方法。药物重定位是一种为已有药物寻找新的适应症的方法,可以显著地加快研发进程、减少研发费用和降低研发风险,受到了越来越多的关注。此外,随着计算机技术和高通量测序技术的发展,研究人员能够从多种来源获
学位
随着众包系统的发展以及众包概念的普及,许多研究领域所需的大量标记数据离不开众包应用的发展,很多无法通过机器智能完成的任务转而通过外包的方式交由网络在线用户完成。同时,作为一种人工智能的方式参与到了机器计算,众包标注帮助越来越多的基于监督学习的应用程序,以相对低的成本获得大量的标记数据,这加快了数据的更新和模型迭代的速度。然而,标注者的质量无法得到保证,从而使得利用众包标注数据建立的模型面临挑战。因
学位
目前生物特征识别技术在多个领域得到广泛应用,生物特征信息的安全性问题日渐凸显。为权衡生物特征识别与生物特征信息安全的关系,提出可撤销生物特征模板保护算法,需同时具备不可逆性、可撤销性、不可链接性和性能保持四个要求。可撤销模板保护是对生物特征使用不可逆的单向函数转换后再进行匹配,输入的原始生物特征形式不同对转换算法有较大影响。因此,本文对可撤销生物特征模板保护算法进行研究,具体如下:(1)针对二进制
学位
专利是知识产权中一种重要的知识资源,不仅能够充分反映科研创新成果的研究内容,而且还蕴藏着许多技术创新的发展趋势。专利分类是专利信息管理和专利知识挖掘的一项基本任务,旨在给专利标注一个或者多个类别标签,对专利检索、专利诉讼风险预测、专利质量评估具有重要意义。通常,专利由审查员或领域专家手动划分到多个类别。但是,随着科学技术领域的快速发展,近年来全球专利申请数量呈现快速增长趋势,并且技术领域之间交叉现
学位
双目立体视觉是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。立体匹配作为双目立体视觉中的一个重点问题,其目标是从不同视点图像中找到匹配的对应点。当前,大多数学者对立体匹配的研究主要是针对可见光图像,尽管取得了较大的研究进展,但可见光图像对光线敏感,在复杂场景和环境下图像传递的信息质量会受到较大的影响,极大地限制了立体匹配
学位
目标跟踪作为计算机视觉研究领域的重要课题之一,目前在智能机器人、道路视频监控以及军事国防等领域被广泛引用,且越来越受到研究者的重视。作为目标跟踪的一个研究分支,RGBT(可见光-热红外)目标跟踪旨在结合可见光与热红外图像进行目标跟踪,得益于热红外与可见光数据的互补性,也逐渐引起了学者们的广泛关注。然而,该研究领域缺乏一个大规模评测数据集,极大地限制了深度跟踪器的训练以及跟踪算法的评测。此外,由于跟
学位