文本到人物图像的跨模态生成研究

来源 :广东技术师范大学 | 被引量 : 0次 | 上传用户:yl9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文本到图像生成任务的目的是将文本中描述的语义关系,运用图像生成技术转化为语义相关的图像,在文字配图、用户画像、交互式创作等方面具有极大的应用价值。随着生成对抗网络的兴起和快速发展,研究者们提出了很多不同的方法模型,不断地改善基于文本描述生成一般图像的质量。但是由于人物图像对人物的姿势、体态、外貌特征、纹理外观有着各式各样的要求,基于文本描述生成人物图像的研究在图像清晰度、人物姿态的保持或变换、人物个性特征维护等方面还有很大的提升空间。针对这些问题,本文基于生成对抗网络模型设计了两个新的生成模型并构建了一个新的数据集,具体如下:(1)针对现有的模型生成人物图像在姿势保持、特征不变性以及纹理细节上的不足,本文提出了基于空间结构自适应归一化的文本到人物图像生成模型。模型以多阶段的方式输出由低到高分辨率的人物图像。在前期阶段,模型引入自适应归一化,直接由文本信息映射到图像像素信息。后期阶段引入原始的人物特征,并不断地优化前面阶段生成的粗糙图像,细化纹理细节。通过在大型公开数据集Deep Fashion上进行实验,结果表明本文提出的模型有效的提升了生成图片的质量,保证了人物姿势与个性特征的不变性,颜色和纹理细节都更加细腻。(2)针对现有的模型无法生成多姿态人物图像的问题,本文基于生成对抗网络提出了分模块式的多姿态人物图像生成模型,将文本到人物图像生成与人物姿态转换进行了多模式的结合。本文设计了一个由四个模块组成的多模式时尚操纵网络,利用人物解析图将人物姿态转换与文本到图像渲染的过程分离开来。模型通过增加或减少相应的模块,不仅可以在固定姿势下生成人物图像,也可以指定任意姿势的生成人物图像。通过在大型公开数据集Deep Fashion以及自建数据集MPV-Text上进行实验,结果表明本文提出的模型有效地提高了生成人物图像的分辨率,生成图像的颜色和细节都更加细腻并且可以任意操纵人物姿态。(3)针对现有的文本-图像数据集图像分辨率较低、没有配对姿势的人物图像的问题,本文构建了一个多姿态的文本-人物图像数据集——MPV-Text。本文在MPV-Text上进行了更加充分的实验,验证了模型的可行性。数据集的构建与发布有利于推进相关领域的研究进程。
其他文献
宽波束天线具有较宽的主波束辐射特性,但大多数宽波束天线通常结构较为复杂,剖面很高,并且很少具有良好通用性的分析设计方法。因此,研制一种结构简单,剖面低的宽波束天线具有重要的现实意义。本文基于自平衡理论,提出了一种平面自平衡宽波束天线,并阐述分析该理论方法及工作原理。本文的主要研究内容包括:1.本文首先从自平衡原理出发,先证明了扇形磁偶极子天线在引入四分之一波长的长方形寄生单元情况下,不需要利用扼流
火灾是各种灾害中发生最频繁的灾害之一,且会造成巨大的损失。随着社会的发展,科技水平也在逐步提高,人们对扩大建筑空间以及提高结构承载能力产生了更高的需求。由于建筑结构趋于复杂化、高层化,对结构及构件的承载能力要求越来越高,钢管混凝土柱在这方面有较大优势,其应用也越来越广泛,因此研究其抗火性能也越来越重要。钢管混凝土结构是介于钢结构和钢筋混凝土结构之间的一种新型结构。在受力过程中,钢管和混凝土之间相互
随着知识经济的不断发展,技术创新成为社会发展的核心驱动力,自十八大以来,我国提出了科技强国的战略要求,为了进一步发展科技生产力,提高创新产出,全球范围内出现协同创新这一新的发展范式。协同创新能有效地促进地区内政府、企业、大学等多主体间的创新合作,通过将区域内创新资源进行有效整合,加快区域创新绩效产出,为地区经济高速增长与科技创新能力提升注入新的发展动力。在现有的协同创新模式下,各主体间的创新能力与
空化是自然界中普遍存在的复杂现象,空化的危害性及应用价值性对水力机械、船舶工程等诸多领域都存在显著的影响。为了尽可能降低空化所造成的损害,充分利用空化的益应用,有
安卓恶意软件技术不断演进变化,其恶意行为正变得越来越隐蔽,因此针对安卓恶意软件有效检测方法的研究就显得极为重要。在现有检测方法中,基于静态特征的静态分析方法准确率高,但易受到混淆和字符串加密等技术的干扰,无法检测未知恶意软件。基于运行特征的动态分析方法检测效果出色,但对潜伏性强的恶意软件则效果不佳且适应性较差。本文深入分析现有安卓恶意软件检测方法的不足及其原因,借鉴先天免疫机制中自然杀伤细胞(Na
随着电子信息技术的迅猛发展,电子元器件逐渐向着高频化、小型化、高度集成化的趋势发展,从而导致其有效散热面积减小,热流密度不断增加。传统的散热方式传热效率较低,可靠性较差,不适用于高热密度电子器件的散热。而平板蒸发器环路热管具有传热效率高、传输距离远、反重力性能好和使用寿命长等优点,广泛应用于高热流密度电子器件的散热领域。首先,本文设计了一种新型的平板蒸发器环路热管,与传统的环路热管相比,该环路热管
集装箱码头作为货物水陆联运的枢纽站,在全球物流链中占有重要地位。然而码头在日常运营中,常常受到外界不确定因素的干扰,而不同的码头应对干扰保持稳定的能力明显不同。系统弹性是复杂系统面对不确定干扰所体现的一种主要系统特性,最近十几年成为众多学者研究的热点。在耗散结构理论思想的导引下,系统阐述了集装箱码头耗散结构特征。基于广义的复杂系统弹性定义,本文建立了集装箱码头装卸系统弹性理论及指标体系,构建了集装
氮化硅结合碳化硅砖是以氮化硅为结合剂,具有密度大、强度高、耐高温和高温强度大、热震稳定性好、荷重软化点高、热导率高、电阻值高、抗热震性能优越、抗高温蠕变好等特点,
对于一般的增强现实应用而言,其输出的合成图像的真实感决定了增强现实应用的质量,对用户体验有着至关重要的影响。合成图像的光照一致性对合成图像的真实感具有很重要的影响。光照一致性主要体现在虚拟物体的阴影、明暗效果是否与现实世界的光照条件相匹配。相较之下,光照一致性的问题受拍摄场景的影响更为复杂多变,难以解决。由于人眼对合成图像的真实感判断更大程度上取决于虚拟物体的阴影,因此生成合理的虚拟物体阴影对增强
聚偏氟乙烯(PVDF)的疏水性使其易被污染而缩短了膜的使用寿命,限制了其在水处理业的发展。因此,对PVDF膜进行亲水改性势在必行。目前普遍认为亲水改性提高抗污染性的原因是亲水