基于生成对抗网络的跨模态语义图像生成研究

来源 :华中农业大学 | 被引量 : 0次 | 上传用户:html007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技进步和社会发展,人工智能相关的应用越来越多地体现日常生活中,例如人脸识别、智能推荐系统等。跨模态语义图像生成作为图像生成领域的研究热点受到了广泛的关注,主要将文本作为图像生成条件,生成与文本描述一致的图像。在图像生成领域,生成对抗网络(GAN)通过对抗学习,近似得到真实图像的分布从而生成图像,因其卓越性能使之成为图像生成领域的主流方法。虽然文本-图像生成任务已经取得了较大突破,生成的图像也较为逼真,但是当前模型中仍然存在着文本-图像对齐度不高、生成图像中丢失细粒度信息等问题。基于此,本文从上述问题入手,分析影响文本生成图像质量的关键因素,提出解决相关问题的方法。具体工作如下:(1)在跨模态语义图像生成任务中,最终生成的图像往往存在生成图像的目标主体与文本描述不符合,甚至丢失一部分细粒度的语义信息。针对此问题,本文提出自适应语义特征融合的图像生成模型(AsGAN)。该模型舍弃了主流的多生成器和多判别器的多阶段式生成模型,选择仅一个生成器和一个判别器的架构,运用Bert预训练模型进行语义特征的提取。在图像生成的过程中,生成器加入自适应的语义图像特征融合模块(Adaptive semantic image feature fusion module)。该模块可以实现语义特征与图像特征自适应融合,从而使得生成图像更加匹配文本描述。与现有方法相比,本文提出的模型AsGAN在CUB-200-2011数据集上表现出良好的性能。在保证生成质量的前提下能够促使生成图像更加符合文本的描述,生成的图像能够展现出细粒度特征。在评价模型的性能方面,首先通过直接观察生成图像的进行主观分析,其次应用量化评价指标进行评价。评价的结果表明了文中提出的AsGAN模型具有良好的图像生成能力。(2)为了解决GAN训练过程难以收敛的问题,本文在判别器中的卷积层进行局部谱归一化操作。同时,基于对比学习方法,提出对比损失函数,分别对生成器和判别器进行参数更新,稳定网络模型的训练,有效提升了模型生成图像的质量。将上述改进策略应用于AsGAN模型中,分别在CUB-200-2011和MS COCO数据集上进行实验验证。实验结果表明,谱归一化结合对比损失函数的改进策略对于提高AsGAN模型性能具有较好的效果。
其他文献
开发绿色高效的新能源技术是实现“双碳”目标的重要途径。锌-空气电池(Zn-air batteries,ZABs)作为未来能源系统最有前途的转换装置之一,因其具有高理论能量密度(1350 Wh kg–1)、低成本及绿色环保等优势而受到广泛关注。空气阴极氧还原反应(Oxygen reduction reaction,ORR)动力学缓慢,通常需要借助贵金属催化剂(Pt/C等)来加速反应进程,然而贵金属存
学位
紫外辐照会损伤DNA,产生嘧啶二聚体,甚至杀死细胞。耐辐射奇球菌有复杂的损伤修复途径,对紫外辐照有着惊人的抗性。但迄今为止,对它如何对抗紫外辐照的认识还很有限。本文利用染色体构象捕获测序(Chromosome Conformation Capture and Sequencing,3C-seq)和RNA-seq技术测定了耐辐射奇球菌R1菌株在正常培养和750 J/m~2紫外辐照条件下的三维基因组数
学位
电能在提高人类社会的生产方式和生产力的同时其生产方式也带来了大量的环境污染问题,摩擦纳米发电机(Triboelectric Nanogenerator,TENG)因其可以将周围环境中易被忽略掉的机械能转化为电能而受到了科研爱好者的广泛关注。然而在TENG的研究过程中,仍有部分问题有待进一步的探索和研究:(1)传统的垂直接触-分离模式中的多接触层式TENG在工作时,由于其摩擦层数量较多,因此会出现各
学位
当前,我国正面临着以化石燃料为主的大规模使用及其衍生的环境污染等问题,亟需构建以新能源为主体的新型能源发展格局,坚定不移地走绿色低碳发展之路。可充电锌-空气电池(Zn-air batteries,ZABs),作为常见能源转换装置之一,其高性能面临的主要问题是阴极催化剂的选择。常见的阴极催化剂,即氧还原(Oxygen reduction reaction,ORR)催化剂是Pt/C,但其价格高昂、稳定
学位
药物在组织中的浓度是决定药物效用和毒副作用的主要因素,而分布于各组织细胞膜上的转运体蛋白在药物进入组织的途径中起着十分关键的作用。同时,转运蛋白与癌症、代谢性疾病甚至神经类疾病都息息相关。而药物与转运体之间的关系是一对多、多对一等非对称关系,与转运蛋白相关的体外实验大规模开展困难。因此,鉴定药物的转运蛋白及基于转运蛋白生成新的潜在药物小分子都是十分重要和具有挑战性的科学问题。随着生物大数据的发展,
学位
通过将太阳能吸收和转化,光合作用每年可产生千亿吨的生物质,相当于世界人口重量的100倍。同时,这一过程又十分高效,其能量传递效率(量子产率)接近1,远高于目前所有的人工光电或光热转化装置。因此,深入理解光合作用体系的能量传递和转化机制,可为人工光合系统的构建提供理论支持。本文主要研究菠菜PSII-LHCII超复合物的界面能量传递路径。近年来才得到该复合物的高分辨率结构,这为详细研究能量传递机制提供
学位
随着全球能源短缺和环境污染问题的日益加剧,发展绿色、可持续能源转换和存储装置已迫在眉睫。锌-空气电池(Zn-air batteries,ZABs)因具有比能量密度高、成本低以及安全性好等优点,吸引了研究者的广泛关注。众所周知,电化学氧还原反应(Oxygen reduction reaction,ORR)作为ZABs体系的放电反应,其缓慢的动力学过程极大地限制了器件的功率密度,需借助高性能催化剂降低
学位
随着医疗水平的提高,使用多种药物联合治疗复杂疾病的情况越来越普遍。病人同时服用多种药物可能会导致药物的药效发生改变,为防止因此产生的医疗事故,挖掘潜在的药物-药物相互作用(Drug-Drug Interactions,DDIs)受到了广泛关注。但目前已知的DDIs比较少,通过传统湿实验发现潜在DDIs又耗时耗力。近年来,机器学习被应用于预测DDIs,现有的基于机器学习的预测方法大多能准确地预测DD
学位
目前,联盟链已广泛应用于不同场景中,成为了跨公司和跨组织进行数据共享的主要解决方案。然而由于具有透明性、可追溯性的内在特性,在部署和运行区块链系统时,联盟链上数据的隐私性和机密性很容易受到侵犯。针对此问题,本文根据不同应用场景,对联盟链上数据的隐私性和安全性保护机制进行了研究,提出了以下两种方法解决链上数据的隐私性和机密性问题,具体工作如下。(1)在基于联盟链的安全监管等应用场景中,区块链成员在身
学位
为了应对当前能源需求和生态环境问题,发展可再生能源和新型储能系统已经成为各国解决能源危机、实现节能减排的共识。锌空气电池(Zn-air batteries,ZABs)因高能量密度、安全无毒、成本低廉等优点,成为具有发展潜力的新型能源转换与存储系统。然而其放电过程氧还原反应(Oxygen reduction reaction,ORR)动力学缓慢,严重影响了电池的能量转换效率。贵金属Pt基催化剂虽然具
学位