【摘 要】
：
文本和图像是日常生活中使用最为频繁的信息载体,而文本图像生成就是从描述性文本中提取特征信息,并在理解语义的基础上去生成足够逼真、多样性好且符合文本描述的高质量图像的跨模态关联任务。目前主流的解决方案是生成对抗网络的变种模型,如注意力生成对抗网络AttnGAN,已经在多样性、清晰度和语义一致性方面取得了良好表现,但真实性还有较大的进步空间。为了解决生成图像真实性不足的问题,本文在自监督学习领域中的对
论文部分内容阅读
文本和图像是日常生活中使用最为频繁的信息载体,而文本图像生成就是从描述性文本中提取特征信息,并在理解语义的基础上去生成足够逼真、多样性好且符合文本描述的高质量图像的跨模态关联任务。目前主流的解决方案是生成对抗网络的变种模型,如注意力生成对抗网络AttnGAN,已经在多样性、清晰度和语义一致性方面取得了良好表现,但真实性还有较大的进步空间。为了解决生成图像真实性不足的问题,本文在自监督学习领域中的对比学习思想指导下,对AttnGAN中的深度注意力多模态相似模型DAMSM和注意力生成网络进行了如下改进:1)为了更好地训练文本表征,在DAMSM中增加对比损失。DAMSM可以计算描述文本t和图像x的模态间损失,但没有考虑同一个图像的不同描述文本的模态内关联,所以本文在DAMSM中增加一个文本编码器来提取另一个描述文本t＇的特征,通过最小化文本对（t,t＇）的对比损失来提升文本编码器的特征提取能力。2)为了增强由同一图像的不同描述文本生成的图像之间的一致性,并使其接近真实图像,将注意力生成网络扩展为暹罗网络。除了考虑生成器和判别器的对抗损失外,本文还增加了以不同的文本描述为条件生成的图像x和x＇之间的对比损失。利用对比损失来最小化x和x＇在特征空间的距离,让生成器更好地学习不同生成图像的内在联系,提升生成图像的真实性。对比实验结果显示,改进后的模型在CUB和MS COCO数据集分别将FID降低了24.91%和32.04%、将IS提升了0.05%和0.15%、将R-Precision提升了0.04%和0.03%。这说明生成图像的真实性大幅度增强,同时在图像质量、多样性和语义一致性方面也有一定的提升。本文最后完成了文本图像生成系统的设计和实现,将研究成果落地,为用户提供个性化图像生成服务。
其他文献
动力电池在过高或过低的温度都会导致电池容量衰减、寿命变短和性能下降,在高温下甚至会引起电池的热失控,因此高效的电池热管理系统对提高电动汽车的性能、续航里程和安全性都具有重要的意义。基于相变材料的电池热管理系统可以有效控制电池工作温度和保持电池温度的均匀性,且具有无需额外的能源消耗、结构简单、维护成本低等优势,成为了当前研究的热点。研究人员对相变材料的热导率、传热路径的接触热阻、相变材料的用量以及相
自2010年珠海市横琴地区被确立为国家级自贸区以来,经济社会飞速发展,城市规模不断扩张,用电量出现爆发式增长,高新技术相关设备对电网的稳定运行提出了更高的要求,变压器数量有限导致单个变压器供电半径过大,从而导致供电可靠性不高的问题制约着横琴地区的进一步发展。近年来,基于模块化多电平换流器的柔性直流互联技术飞速发展,柔性直流互联技术能够实现多个变电站的柔性互联,功率的相互支援,通过柔性互联可以提高配
随着智能社会的发展,移动机器人在民生和军事领域发挥着越来越重要的作用。在复杂环境下的自主移动能力是智能机器人系统最重要的核心能力之一,而这一能力是建立在对工作场景理解的基础之上,基于视觉的语义分割技术是实现场景理解的关键技术。由于移动机器人在复杂的室外环境中会观测到多样化的目标物体,而且受观测角度和尺度以及目标重叠遮挡等诸多因素的干扰,给机器人的环境语义分割精度带来较大的挑战,比如:存在语义标签预
模具在使用过程中,时常会因为使用不当和工作环境恶劣等问题导致模具出现磨损、疲劳、裂纹,甚至断裂等失效形式,导致模具无法正常使用。而传统模具修复多以人工修复为主,在这个过程中由于人的不确定性,往往会出现修复效率低,修复效果参差不齐的问题,因此提出了基于电弧增材制造的智能模具修复技术。首先,设计并搭建了基于三维轮廓激光测量仪的模具电弧增材再制造成形实验系统,对三维模型的反求技术、三维点云的预处理和三维
电力系统健康监测对于保障国民经济稳定发展具有关键作用,而电力负荷预测是电力系统健康监测的关键环节,是电力调度与规划部门的决策依据,更是电力系统智能化、智能电网建设的重要内容。因此,精准的电力负荷预测至关重要。用电负荷数据呈现时间序列分布规律的同时,容易受到外界随机因素干扰,尤其对于短期运行的局部电力系统,难以建立精准的数学预测模型,所以提高短期负荷预测的精准度是当前需要解决的重要难题。针对此难题,
慰问品选购系统是将慰问品发放和信息技术结合起来的一种新型的系统。通过本系统，一方面，实现了智能统计、查询、跟踪，改变了一直采用人工逐级上报汇总后，再将商品统计分类进行发放的问题，规范了企业管理，节省了大量人力物力；另一方面，员工根据各自需求，随时随地选购商品，改变了以往多数单位的慰问品种类全员一致的方式，提升了员工的幸福指数。系统的综合性较强，运用信息化的数据管理，各类信息精准、清晰、无误的保存，
目前,智能电表作为现代电量计量环节的主要设备,已经从传统的电费计量参考工具发展成为电力企业与用电用户进行信息交互的重要设备,广泛应用于不同规模的企业。智能电表与传统的电表相比在计量精度上有所提升,但是在功能日益增多的大背景下往往伴随着故障率上升及故障种类增多。加强智能电表运行状态管理,深化用电量计量环节的管理模式,设计出能够对大量智能电表进行远程管理与健康检查的系统成为了一种迫切的需求。本文以智能
近年来,人们将目光聚焦于水下区域。遥控无人潜水器（Remote Operated Vehicle,ROV）是海洋资源探测、开发的重要工具。在浅水环境中,ROV搭载双目相机可以获取比传统声学设备更为丰富的图像信息,提高对复杂环境的感知能力以增强其自主航行能力。然而,水下视觉技术具有成像质量差、对环境敏感、鲁棒性低等问题。因此,为了解决上述问题,本课题围绕双目立体视觉、深度图像处理和水下电缆定位跟踪这
近年来,位姿估计技术在军事、物流、航行器、水下UUV等领域发挥了巨大作用,具有十分重要的研究意义,是移动机器人环境感知中的重要一环。仿照人的眼睛,采用无接触、高精度的视觉传感器构建2D图像与3D空间的映射关系,从而求解目标间的相对位姿。针对单个相机的视场受限且测量精度较低,无法满足某大型构件目标位姿测量需求,本文提出了一种基于固连双目相机交会的点特征位姿测量方法,首先借鉴多相机系统空间交会方法建立
大规模风光并网在带来经济效益的同时也给电网安全稳定地运行带来了冲击,合理的电力系统优化调度有利于解决该问题。电力系统优化调度问题本身具有不确定性、多约束和非线性等特点,传统优化算法在解决这类问题时往往不能取得令人满意的效果。智能优化算法不依赖于优化问题的数学模型,在处理复杂优化问题时能够得到较为稳定的解决方案,为解决电力系统优化调度问题提供了新的解决思路。粒子群算法（PSO）和差分进化算法（DE）