基于生成对抗网络的跨模态图像修改方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:mikesh123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成一直是人工智能学科的重点研究领域之一。从2014年开始,由于生成对抗网络的出现,该领域进入了一个全新的发展阶段。图像生成应用十分广泛,既可用于生成逼真数据、填补缺失数据,也可以用于强化学习、解决多模输出问题等。传统的单模态图像生成模型的输入一般是原始图像或者随机噪声,该类模型一般只能在两个域或多个域之间进行图像转换,模型生成能力受到很大的制约,灵活性不足。相比之下,基于文本描述的跨模态图像生成模型由于文本信息的引入而具有了很大的灵活性。本文主要致力于跨模态图像修改模型的相关研究,它是跨模态图像生成研究领域的子领域。该类模型目前存在以下三点问题,首先,现有的跨模态图像修改模型主要在花鸟数据集上进行研究,实际应用价值不高;其次,由于文本和图像是不同模态的数据,因此需要考虑如何精确地将这二者进行互相映射;最后,图像生成质量低、细节模糊等问题普遍存在于该类模型中。针对上述问题本文提出了新的解决方案。本文的主要工作和贡献如下:首先,为VeRi776交通数据集手工标注文本描述。当前可用于跨模态图像修改工作的数据集十分稀少,相关工作大都在CUB-200-2011 Birds和Oxford 102 flowers数据集上进行,趣味性有余,但实际应用价值并不高。鉴于上述原因,本文在开展工作时,首先选择手工标注VeRi776交通数据集,该数据集被广泛应用于智能交通领域的研究中。本文在该数据集上进行跨模态图像修改工作的成果可直接应用于智能交通领域的各种下游任务如车型识别、车辆分类、车辆跟踪和车辆再识别等。第二,提出了一种基于生成对抗网络的跨模态图像修改模型。针对我们所标注的跨模态交通数据集图像对应文本描述少、图像质量不高等问题,本文设计了跨模态图像修改模型。在图像修改模型的生成器中,本文采用两阶段式生成模型,以期更好地捕捉原始图像细节信息。与此同时,鉴于文本描述过少的问题,本文采用了文本自适应判别器,使得模型可以高效地获得细粒度的文本与图像之间的对应关系。我们在自行标注的跨模态交通图像数据集上进行了充分的实验,从主观视觉评价和客观量化两个角度验证了本文模型的有效性。第三,提出了融合注意力机制的跨模态图像修改模型。我们在跨模态图像修改模型的图像特征提取模块中加入通道-空间注意力网络和自注意力层,增强了细粒度的图像特征与文本特征的映射关系,使得模型对图像的全局特征以及局部特征的提取效果更为理想。我们对加入注意力机制前后的模型生成的图像进行了主观评价和客观量化,充分地验证了融合注意力机制的方法的有效性。
其他文献
城市供水管网对城市发展、工业进步、经济增长和公共卫生有着重要贡献。韧性是城市供水管网应对气候变化、城市扩张、组件老化和基础设施相互依赖等不确定因素的有效方法,使系统能够抵御灾害、从失效中迅速恢复并适应不确定的环境。目前,我国对于城市供水管网韧性的研究以及韧性和各种拓扑指标之间相互作用的综合研究较为缺乏,用以韧性评估的拓扑指标的适当性尚不清楚。随着城市化进程不断加快,自然灾害频发,以及发展韧性城市的
在企业的发展中,采购管理占据了举足轻重的地位,先进的采购管理不但能降低产品成本、提高商品质量,还能提升企业市场核心竞争力。一个企业想要在迅速响应市场需求的同时减少企业资金的占用,同时降低企业的经营成本,提升采购管理效率就能实现这些目标。采购流程是采购管理中非常重要的组成部分,体现着采购管理活动的实施进程和标准。一家公司要在高速发展中能够一直保持自身竞争优势,就必须采用符合公司发展战略的采购流程,并
学位
学位
锂电池由于其自身的高能量密度、高电压、长寿命等优点,已经广泛应用于航空航天、3C电子、能源存储等领域。随着近年来新能源汽车行业的蓬勃发展,锂离子电池的耐久性与安全性问题也日益突出。其中锂离子电池自身膨胀变形的力学行为是影响锂电池性能与安全性的关键性因素之一。本文以石墨体系软包锂电池为研究对象,通过实验表征与数值模拟相结合的方法,从单层、多层、多极组三个结构层级探究锂离子电池膨胀-收缩变形行为及其引
学位
随着高端装备制造技术的快速发展,提高零件在不同服役场合的使役性能变得愈发重要。目前,在零件表面加出工特定的微结构可以有效解决该问题,但常用的加工方法存在加工效率低、应用范围小等缺点。于是,本文采用结构化砂轮磨削加工微结构的方法来解决上述问题,对此本文主要进行了如下工作:首先,为磨削出筋条、凸起和凹坑三种微结构,本文利用单点金刚石笔对砂轮进行了结构化修整。然后对修整后砂轮的三维模型进行几何分析,并利
随着“十四五”规划的全面展开,中国的铁路建设迎来了新的发展时期。无论是高速铁路还是城市轨道交通还是市域之间的城际铁路建设都迎来了新的发展时期。轨道交通建设发展的一个趋势是提高列车的运行速度。但是随着列车运行速度的提高,受电弓和接触网之间的相互作用关系制约列车的进一步提速。弓网之间的耦合振动加剧,甚至造成离线。为了从实验角度开展弓网关系研究,本文对轨道交通弓网受流平台进行了设计和建设。首先,分析了把
学位
学位