基于场景图和文本描述的图像生成方法研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:liongliong489
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像生成,旨在使用机器学习或者深度学习方法生成满足用户需要的虚拟图像。目前主流的图像生成算法多数是文本到图像的生成,这类算法在简单语义结构下通常具备较好的表现能力。但是当文本描述中的语义结构较为复杂时,例如对象数量多,对象之间关系复杂等情况,生成的图像中对象轮廓不清晰,边界模糊,图像质量低。后续有工作为解决上述问题,提出了场景图到图像的生成模型,以图结构的数据作为输入,通过挖掘场景图中复杂的语义结构,弥补文本描述的不足。但是这类算法同样有一个弊端,尽管生成的图像布局更加合理,轮廓边界更清晰,但对于对象的细节刻画不够丰富,无法利用原始文本描述中对对象细节的描述信息,图像质量同样较低。本文为突破单一辅助信息的局限性,提出了基于场景图与文本描述相结合的图像生成算法,利用两种信息的互补性共同指导图像的生成。该工作提出的图像生成网络分为两个阶段:在第一阶段中,提出场景图解析器从文本描述中提取场景图,提出多模态特征融合模块融合文本描述特征和场景图特征,并在此基础上生成低质量图像;在第二阶段中,提出过渡模块对文本特征进行增强处理,通过进一步挖掘文本描述中的细节信息,提升第一阶段低质图像的生成质量,输出对细节刻画丰富的高质量图像。为验证本文方法的优越性,本文设计了充足的对比实验,对主流图像生成模型在指定数据集上进行复现,然后同本文方法生成的图像进行对比,并通过IS和FID指标客观评价各种方法的模型性能。同时针对重要的特征融合模块和过渡模块,设计了消融实验,用传统的方法代替两种模块,进行IS、FID指标评判,展现两种模块对于模型性能提升的重要性。
其他文献
如今社会上出现各种各样先进的产品和技术,如高性能的智能手机、各种新颖的图像编辑APP和常用的社交APP等。这些APP的出现和流行让图像的拍摄、编辑和传播变得方便,也使网络上充斥着各种真真假假的数字图像。由此可见,高科技的发展作为一把双刃剑,在丰富便利生活的同时,也使数字图像的可信度逐渐降低,会有不法分子为实现自己目的而恶意篡改图像。为了进一步保证数字图像的可信度,研究者提出了被动数字图像取证技术,
骨关节炎(Osteoarthritis,OA)是最常见的退行性关节疾病,其特征是关节软骨的进行性退化和软骨下骨的重塑以及骨赘的形成,临床上引起关节疼痛、功能障碍,甚至残疾。关节软骨细胞外基质(Extracellular Matrix,ECM)分解代谢的增加是OA发生发展的关键因素。ECM的主要成分是蛋白聚糖、Ⅱ型胶原和非胶原蛋白,其在合成或降解过程中一些特定的碎片得以释放到体循环中。随着分子
在海上目标检测的过程中,基于人工智能的目标检测已经成为必不可少的重要实现工具。在宽阔的水域或者港口码头,无论密集的聚集还是松散的分布,都需要对船舶快速地检测和定位,进一步有分类以及分割的实际需求,对目标检测稳定高效性的要求也越来越高。本文的主要研究内容为改进YOLOv3目标检测算法的网络结构,以期提升网络的准确率和召回率。本文以水上船舶图像作为研究对象,进行深度学习神经网络模型研究、船舶图像增强研
近些年,随着国家法制建设的推进,如何通过信息抽取技术从海量司法文书中获取有用信息,助力于“智慧司法”建设,已成为自然语言处理领域中的研究热点。其中,关系抽取作为司法信息抽取技术中的关键技术之一,不仅能够帮助办案人员进行案件要素的关系梳理,提高办案效率,还可为司法问答、司法推理、司法知识图谱构建提供重要的技术支持,因此,其研究意义重大。然而由于司法文本的复杂性和特殊性,导致各罪名案件间的关系诉求存在
深度估计是诸多立体视觉任务中的基础环节,在三维重建、机器人、自动驾驶等领域有较为广泛的应用。近年来,卷积神经网络的相关理论趋于成熟,在计算机视觉领域获得了瞩目成就,也为深度估计任务提供了新的解决思路。基于深度学习的深度估计任务通过理解图像的内容,对现实场景中各点的实际距离进行预测。单目深度估计受限于尺度模糊,为了提升其预测准确性,网络结构和信息线索成为解决这一任务的关键。本文从探索不同的信息线索对
在有雾天气下,空气中会存在大量悬浮粒子。来自场景的反射光穿过雾气时,会与粒子发生散射,导致反射光衰减,这种现象严重影响了后续图像处理技术的功效。在很多现实场景中都会面临此问题,所以,图像去雾是一项极具实际意义的任务。本文主要针对去雾算法中的暗通道先验算法进行研究,通过分析其存在的问题,提出改进的去雾算法,最后通过实验验证改进算法的有效性。具体研究内容分为两部分:(1)改进的天空区域分割及去雾算法。
人脸属性迁移任务作为计算机视觉领域一个重要的研究分支和人脸属性研究的基础工作,旨在精准地迁移给定人脸属性图像中的目标语义属性。近年来,深度学习的发展推动了人脸属性迁移任务的研究,现有的人脸属性迁移算法一方面通过迁移不同的人脸属性,达到了交互式娱乐的效果;另一方面通过合成更多的人脸数据,一定程度上缓解了人脸属性分析任务中数据量不足和类别失衡等问题。然而,由于复杂的面部结构和模糊的人脸属性定义,现有算
手势估计在诸多场景下都有着重要的应用,例如机器人操控抓取、虚拟现实和增强现实等。针对于空手条件下的手部检测和手势姿态估计方法已经达到了很高的精度,但是当手与被操作对象进行交互时,手部定位及手势估计效果并不令人满意。造成性能不佳的原因主要有物体遮挡因素的干扰以及人手姿态的多样性和不确定性。针对这些问题,本文提出了手物交互场景下基于深度学习的手部二维检测和手部三维关节点定位的方法,并在对应的数据集上取
教育直播是一种新兴的教学模式,依托于互联网直播技术的飞速发展,让教学课堂不再拘泥于地点的限制,教师可以使用教育直播系统将教学信息实时地传递到多个学生的终端设备上,实现随时、随地的授课。现今市场上教育直播平台种类繁多,但存在着安全性、私密性、体验感受、适用性等方面的问题。针对上述情况,本论文在深入研究直播技术的基础上,根据教学课堂的实际应用需求,设计了一种基于FFMpeg的教育直播系统。该系统划分为
基于视觉的手部3D姿态估计及形状重建是实现人机交互的重要环节,在虚拟现实、智能机器人等领域具有广泛应用。近年来,深度学习和神经网络的迅猛发展为计算机视觉提供了强大的技术支持,涌现了大量优秀的基于视觉的手部姿态估计和形状重建方法。尽管这些方法已经取得了喜人的成绩,但RGB图像存在诸如背景复杂、深度信息缺乏等问题,导致姿态估计的精度及形状重建的效果仍有提升的空间。针对以上问题,本文给出一种基于单张RG