【摘 要】
：
基于给定文本描述来生成图像是近几年深度学习领域中的研究热点。借助生成对抗网络和多层次语义编码器的引入,所生成图像分辨率和文本-图像语义一致性获得大幅提升,但合成图像在细节真实性与字词语义一致性约束方面仍有欠缺,在不同类型数据集上的生成多样性和鲁棒性也有待提高。针对上述问题,本文在生成对抗网络的结构和损失约束函数方面进行了优化探索,并通过多层次的实验对算法进行验证研究。本文的主要贡献为:（1）本文提
论文部分内容阅读
基于给定文本描述来生成图像是近几年深度学习领域中的研究热点。借助生成对抗网络和多层次语义编码器的引入,所生成图像分辨率和文本-图像语义一致性获得大幅提升,但合成图像在细节真实性与字词语义一致性约束方面仍有欠缺,在不同类型数据集上的生成多样性和鲁棒性也有待提高。针对上述问题,本文在生成对抗网络的结构和损失约束函数方面进行了优化探索,并通过多层次的实验对算法进行验证研究。本文的主要贡献为:（1）本文提出融合BERT编码模型和Attn GAN生成对抗网络模型并优化损失函数的文本生成图像方法。借助BERT模型的优秀文本编码与强泛化能力对文本进行字词、句子级别的特征编码,并在Attn GAN模型中第一阶段图像生成模块之前添加空间注意力模块,提高模型生成图像的语义一致性和空间位置的匹配合理性。融合BERT模型和优化后的Attn GAN生成对抗模型最后的合成图像在相关指标得分上优于对比模型,整体生成效果也更加自然逼真;此外,优化后的模型成功的在阿里天池服装数据集上应用,体现了良好的跨领域生成能力。（2）针对Attn GNA这种多级生成对抗网络训练复杂、计算成本高的问题,本文基于端到端的DF-GAN模型做出如下改进:首先在语义一致性训练网络中使用本文成功验证的BERT模型来编码文本信息,并加入对比学习方法来微调文本编码器和图像编码器以此来提高语义信息的深层次解耦。更进一步,本文在生成对抗网络训练中也加入了对比学习损失,用来提高生成图片真实性和图像与文本信息的一致性。本文模型分别在CUB鸟类数据集和阿里天池服装数据集上训练合成图片,从实验结果来看,模型在感性认知和指标量化方面都有效的提高了合成图像的最终质量。本文通过对文本到图像基础模型进行研究,改进网络架构,优化损失约束来提高最终图像的生成质量,模型在经过数据清洗和文本扩充后的服装数据集上获得了良好的训练结果,证明了模型优秀的跨领域生成能力,拓展了文本到图像方法在服装图像领域的应用,促进了文本生成图像相关领域的发展。
其他文献
虚拟试衣可以让消费者无需更换服装就可以体验穿着不同的服装,对于弥合在线服装购物和实体店购物的鸿沟尤为重要。基于二维图像的虚拟试衣使用先服装对齐再试穿合成的策略实现从遮盖服装的人重建穿着服装的人。因此,解决服装对齐和试穿合成这两个子问题是改善基于二维图像的虚拟试衣的性能的关键。此外,目前的方案都需要使用一个参考人和一个目标服装模板作为输入实现虚拟试衣,由于没有卖家实时提供服装模板,使用这种输入格式的
毛细黄铜管具有优良的机械加工性、导电性及导热性,因此在电子信息、火力电力和船舶等领域受到广泛地应用。然而,耐腐蚀性与耐磨性的不足限制了它的使用寿命与应用范围。本研究采用化学镀技术在长径比为100的H62黄铜管内壁上成功制备了耐磨耐蚀的镍合金镀层。因管内镀层的特性很难被表征,故采用H62黄铜板作为基体施镀来探索相关工艺参数。利用扫描电子显微镜（SEM）、X射线衍射仪（XRD）、显微硬度计和电化学工作
存在于墙板梁柱交界处的建筑节点结构是传热过程的薄弱环节,已有研究表明该部位的传热量占整块墙体传热量约30%。因此对于建筑节点结构传热量的准确计算是获取整个围护结构准确传热量的前提。但是目前针对建筑节点结构传热问题常用的处理方法存在不足,一方面是许多常用建筑能耗模拟软件过度简化为一维问题没有考虑到建筑节点处的热桥效应影响,另一方面是现有的大量热桥相关文献和部分多维传热计算软件是利用纯传热模型求解而没
基于2D图像的虚拟试衣任务旨在将给定的店内服装图像迁移到参考人体图像对应的服装区域上,其中包含的潜在应用价值和商业潜力使其在近期受到了研究者的广泛研究和关注。虚拟试衣任务首先要变形店内服装使其和身体姿态对齐,从而得到对齐的服装图像,然后根据服装的形状生成对应服装的手臂和脖子,最后将对齐的店内服装图像,生成的手臂和脖子部分,以及身体不会发生变化的区域（头、腿等）进行融合,生成期望的虚拟试衣结果。然而
随着计算机行业的不断发展,计算机仿真技术在计算机动画、工业设计与制造以及AR/VR方面的应用越来越广泛。另一方面,由于纺织工业迅速发展,织物仿真技术在织物的设计、材料的力学性能模拟以及智能制造等领域发挥着越来越重要的作用。这使织物仿真成为计算机仿真的热点。然而,针织物的仿真是织物仿真研究中的难点。由于针织物的编制方式各异、建模复杂,导致不同编织方式物理形变特征都不尽相同,使用布料、机织物仿真常用的
随着我国经济的飞速发展和物质生活水平的显著提升,人们对于自身着装越来越重视。同时互联网技术的快速发展,也促使越来越多的时尚公司将主要业务渐渐转为线上,越来越多的人选择线上购物平台来购买服装。因此,研究线上可用的服装时尚趋势预测和时尚推荐方法,对于服装时尚公司以及时尚消费者都有着至关重要的作用。但由于线上服装时尚相关信息呈爆炸式增长,且时尚服装的更新周期变得越来越短,时尚公司需要及时从以往数据中获取
随着计算机和人工智能技术的进步,虚拟手术获得了空前发展,其中人体软组织形变模型的准确与否是虚拟手术质量的决定性因素之一。为了提高人体软组织形变模型的准确性,就必须要精确测量在活体状态下的人体软组织材料的参数。当前,在临床上普遍使用的测量方法可分为接触式和非接触式。接触式仪器如皮肤弹性测试仪,其会对自然状态下的软组织产生一定的干扰,采集到的参数会产生较大偏差;而非接触式方法都得益于医学影像技术的发展
近年来,随着智慧城市和智慧安防等概念的提出,行人重识别作为一项重要的智能辅助手段,得到越来越多的关注。然而,现实生活中因物体遮挡、姿态变换、背景差异等因素的干扰,导致该任务在实际执行过程中的表现并不稳定。经分析发现,现有重识别网络大多是基于单一的行人浅层特征来进行行人相似度的判断,忽视了行人所具有的空间维度信息,如人体不同局部间的空间信息以及人体与环境间的关联信息等。基于此,本文从多区域关联的角度
近年来,随着我国提出要提升国内高校竞争力,重视高校创新发展,构建活力开放的高校环境等高校建设要求,使得高校校园文创产品的创新设计越发受到关注。高校校园文创产品作为校园文化建设的重要组成部分,不仅能传承高校文化,传播精神理念,增强师生凝聚力,更是提升高校品牌价值的重要手段。对彰显高校文化底蕴,展示高校良好形象起到不可忽视的作用。然而,论文通过研究发现我国现有高校校园文创产品多数存在缺乏独特性、缺乏实
随着2025智能制造与服装产业的融合发展,功能化、智慧型的服饰产品在产业端、消费端逐渐兴起。在这一背景下,本文提出了基于深度学习的智能服装研制方法和用于智能服装商品的推荐算法。针对目前运动辅助型智能服装在人体运动信号分析不足的问题,本文基于高精度传感芯片研制了一款实时记录人体运动信息的智能腰带,并提出了一种用于运动信号分析的人体姿态识别模型。首先基于传感芯片设计了一款用于监测人体腰部重心运动的智能