基于对抗学习的图像翻译研究与实现

来源 :北方民族大学 | 被引量 : 0次 | 上传用户:cmdgjb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着图像翻译在医学、安防、娱乐等领域的需求日益增加,图像翻译已经越来越被人们所重视。虽然现阶段的图像翻译工作在各个领域均取得了很多的优秀的成果,但是依然有很多问题未被关注或者未被有效解决。一方面,在图像翻译工作中,支持多模态多类别的图像翻译工作较少,且往往需要用户提供大量的成对标签;另一方面,图像翻译任务往往只需要翻译出特定场景目标而不需要整体变化,但是满足这一要求的工作极少。本文针对图像翻译工作中存在的上述问题进行了深入研究,引入对抗学习机制,提出基于对抗学习的图像翻译的研究,主要工作有如下3点:(1)提出了一种基于半监督的多模态多类别图像翻译工作,以平衡样本标签和多类别多模态翻译之间的关系。该工作中提出了一种跨域对抗自编码器,以学习解耦潜在域不变的内容编码和特定域的风格编码。风格编码与先验分布相匹配,以便我们可以从先验分布空间中随机采样并生成一系列有意义的样本。通过在域分类器和类别分类器之间的对抗学习,将内容代码嵌入到多类别联合数据分布空间中,从而可以同时生成多类别数据。因此,通过联合解码潜在内容编码和采样的风格编码,生成多模态多类别跨域图像。最后,对网络进行了设计和测试。半监督实验与目前最好的方法比较表明,所提出的网络框架有能力在较少的标签样本的情况下产生高质量和多样化的翻译结果。在无监督条件下的进一步实验表明该网络在学习解耦表示和域自适应方面也具有优越性。(2)提出了一种基于上下文感知的图像翻译工作,以解决目前图像翻译工作中不能完成特定区域翻译而对与翻译目标无关的区域保持不变的问题。该工作中提出了一种新的特征注意力模块用于捕获上下文中的各种特征的相互关系,以便在无监督的图像翻译中自动地只关注特定的场景对象。该模块可以集成到不同的图像翻译网络中,以提高它们的上下文感知翻译能力。此外,该模块的计算成本与图像大小之间存在线性关系,在白天转黑夜的数据集上的实验也表明,该模块对图像分辨率的增长不敏感。
其他文献
高职院校对教师绩效考核评价主要是通过对其所承担的教学科研与社会服务等工作的完成情况进行考核的,考核评价必须选择合适的考核评价内容,科学确定指标及指标权重,并根据所
本文针对小学数学教学现状进行分析,提出了当前教学中存在的问题,结合这些问题,探讨生活情境融入小学数学教学中的意义所在,并且总结如何将生活情境融入到小学数学教学中去,
通过对人工智能设计发展的现状和趋势的分析,揭示了人工智能与服装设计可以利用多种软件、硬件的合成智能平台融入大型数据库,实现服装设计、个性推荐、虚拟试衣、智能预测等
目的通过检测妊娠期血清中FT3、FT4、TT3、TT4、TSH的动态变化从而探究此变化范围对妊娠期孕妇甲状腺疾病诊断的影响。方法通过对269例不同妊娠期的孕妇及80例对照组不同甲状
齿轮传动是应用广泛的机械传动机构,随着机械传动装备向高精密方向发展,齿轮传动系统误差及其特性成为重要的性能标志。由于齿轮传动系统各个零件的与弹性变形不可避免,因此
<正>青少年时期是人生未来发展重要的准备阶段,这个时期的青少年身心健康发展将对其今后的人生奠定坚实的基础。青少年时期要树立成为社会有用之人的思想,更要树立为祖国发展
背景:帕金森病(Parkinson disease,PD)的主要病理特征是纹状体中的多巴胺(dopamine agonist,DA)神经元变性、缺失,从而导致DA含量下降和胆碱能神经元功能亢进。有研究表明:1-甲基
<正>Survival rates for resin bonded bridges.Elliot A.Evid Based Dent,2008,9(1):20-21.数据来源:检索Medline数据库,并手工检索相关文献。
LBD(Lateral Organ Boundaries Domain)基因家族在N-端具有一个保守的LOB结构域,是高等植物特有的一类转录因子。该基因家族参与植物器官的边界发育,影响愈伤组织的形成,并受
目的:观测中耳内诸结构及中耳邻近结构在耳颞区高分辨率CT(High-Resolution Computed Tomography,HRCT)冠状扫描图像及冠状薄层切片标本上的形态特点及各结构间的毗邻关系,探