基于生成对抗网络的服饰图像属性修改

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:samfl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像编辑和转换是近年来计算机视觉领域中的热门研究方向。本文所讨论的服饰图像属性修改算法是图像编辑和转换方法在特定领域(服饰的产品图和着装图)的应用。近年来深度学习算法和生成对抗网络得到了快速发展,越来越多的图像编辑任务都开始利用生成对抗网络(GAN)完成。在生成对抗网络中,生成器接收要编辑的原图像以及图像编辑用到的条件信息作为输入,根据条件信息的指导完成对原图像提取特征再上采样得到编辑后图像的过程。在与属性修改相关的图像编辑工作中,很多研究都聚焦于人脸图像中的属性修改,相比之下却少有针对服饰图像属性修改的工作。对比人脸图像,服饰图像属性修改具有更高的难度,这主要是由于服饰属性定义复杂,包含颜色、纹理这种覆盖全局的属性。本文提出一种根据服饰图像视觉属性在空间上的特点选择合理的特征提取和表达方式进行属性修改的算法。首先将视觉属性分为全局属性和局部属性,其中颜色被划分为全局属性,结构相关的领口、袖子则划分为局部属性。根据全局属性低信息量和空间重复的特点设计了全局属性编码器,根据局部属性结构相关的特点设计了内容编码器,分别用于提取相应的特征编码。解码器对内容编码进行上采样操作得到特征图,在上采样的过程中利用Ada IN将全局属性的特征编码作用在特征图的所有空间位置上最终得到属性修改后的图像。通过将内容编码按照通道划分并与特定的局部属性对应,实现了灵活的视觉属性迁移效果。最终我们得到一个可以端到端训练的服饰图像属性迁移模型Fashion Attribute Transfer Generative Adversarial Networks,(FATGAN)。我们在两个公开的服饰图像数据集Deep Fashion和Shopping100k上将本文提出的模型与近年来其它知名的图像修改模型:AMGAN、ELEGANT、Star GANv2进行了对比。实验结果显示本文提出的FATGAN能够生成更加真实的图像,并且在多个属性的修改任务上优于对比算法。
其他文献
太赫兹频段由于具有超大带宽,可以有效缓解现代无线通信日益严重的频谱资源压力,提供超高的数据传输速率。但是,相比低频段而言,太赫兹波的传播将经历更严重的路径损耗,这限制了太赫兹通信的覆盖范围。太赫兹波束赋形技术,利用具有高方向增益的波束,可以提高太赫兹通信的覆盖距离。但是,方向增益越高,意味着波束越窄,这对波束的对准和跟踪提出了更高的要求。尤其是,当用户处于运动状态时,波束的对准和跟踪更加困难。如何
学位
涎腺腺样囊性癌(salivary adenoid cystic carcinoma,SACC)是涎腺较为常见的恶性肿瘤,但由于其治疗效果不佳,因此迫切需要寻找新的有效治疗方法。泛素蛋白连接酶E3A(ubiquitin protein ligase E3A,UBE3A)是泛素-蛋白酶体系统(ubiquitin-proteasome system,UPS)中的重要成员之一,已被证实参与了多种肿瘤的发生
学位
铁磁共振(Ferromagnetic Resonance,FMR)线宽测试是测量磁性材料磁化动力学的重要手段,对研究磁性材料内部物理机制,提升磁性器件性能具有重要作用。随着电子器件向着多功能化、高频化、集成化的方向发展,作为测量工具的铁磁共振测试系统也面临新的挑战,不仅磁性薄膜需要在射频、微波、毫米波段等全波段实现对磁损耗的可控可测,磁性粉体、磁性颗粒等也要求在全波段可控可测。因此,铁磁共振线宽测
学位
相比传统非线性材料,具有高非线性系数、无需晶格匹配和相位匹配、易于集成等优势的二维材料为非线性光学研究打开了一扇大门。其中,基于过渡金属硫化物(TMDs)的二次谐波产生(SHG)是研究最广的非线性光学效应。TMDs的SHG研究存在两个关键问题:一、TMDs的厚度较小,光与物质的相互作用路程较小,器件的非线性效率较低;二、2H堆叠TMDs的SHG具有层数依赖性:奇数层TMDs可以产生SHG,而偶数层
学位
随着物联网的蓬勃发展,智能手机、智能家居等物联网设备逐渐兴起,为人们提供更便利、更丰富的生活体验,并且在近十年来设备数量持续增长。但与此同时,物联网设备存在的安全风险也日益上升。一方面,根据调查显示,近几年来物联网安全平台处理的恶意软件中约有87%是现有恶意软件家族的变种,因此准确识别并分类物联网平台存在的恶意软件尤为重要;另一方面,物联网平台还存在严重的漏洞攻击问题,其主要原因是技术人员常采用复
学位
合成孔径雷达(Synthetic Aperture Radar,SAR)具有全天时、全天候对地海面目标二维高分辨成像的优势,在民用、军用领域有着广泛的应用场景。但是,随着雷达侦收技术的发展,特别是基于数字射频存储器(DRFM)系统的有源转发式干扰方式的出现,导致获取的雷达图像出现虚假干扰目标,给SAR稳健成像侦察任务带来了严峻的挑战。机载多通道SAR技术采用多个接收通道获取回波,相比于单接收通道,
学位
背景:麻醉诱导过程低血压(PIH)是指麻醉诱导后的最初20分钟内,或从麻醉诱导到手术开始期间发生的动脉低血压。PIH发生率较高,并与患者的不良预后相关。识别PIH的高危患者,对医护人员采取相应预防措施及制定干预预案具有重要意义。因此,本研究旨在构建全麻手术患者PIH预测模型并验证模型的效能。方法:本研究属于横断面、观察性研究。纳入的研究对象为2020年11月至2021年1月在中国西南地区一家三级甲
学位
微波光子滤波器是通信、成像、传感及雷达等国防和民用领域中的重要器件。传统滤波器因工作频段窄、传输距离短、损耗大等难以突破的技术瓶颈,无法实现通带灵活重构。微波光子滤波器利用电光调制器,将微波信号加载到光域进行传输和处理,再转化为电信号输出,具有抗电磁干扰、长距离、低相噪、低成本的优势,是高频信号传输处理中极具潜力的研究方向之一。受激布里渊散射效应产生的增益谱与损耗谱具有窄带宽、高增益、中心频率可调
学位
碳膜是一类很有发展和应用前景的材料,它是以碳原子为主形成的薄膜,有着卓越的物理化学性能,如高热导率、优秀的光学性能等。因此,碳膜被广泛应用于散热材料、机械工具和器件表面保护层等。自从20世纪以来,伴随着智能手机、智能手环以及各种微处理器的发展,人们开始在基片上集成越来越多的电子器件,以求高集成度来实现器件性能的提升和携带的方便性。但高集成度造成的发热是困扰和限制集成技术发展的主要问题之一。因此,科
学位
图像作为人类视觉系统的基础,在人类认识世界和人类本身的过程中具有重要作用。近些年,计算机技术与数字图像处理技术发展迅速,关于图像处理和计算机视觉领域的算法推陈致新。图像中像素的分辨率表示图像中所包含信息量的程度,高分辨率的图像通常包含更多的信息量,特别是高频细节信息。图像超分辨技术是采用计算机软件的方法提升图像分辨率的技术,其能够实现以大倍数放大图像。既保持了图像原有的清晰度,又能极大的增加图像细
学位