基于生成对抗网络的人脸任意属性编辑方法研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:qinghuawuqiong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸任意属性编辑是计算机视觉与生成模型研究的热点,它是建立在人脸识别和人脸生成基础上的应用技术。其主要目的是根据给定的人脸属性标签值来控制人脸图像的任意属性表示,从而获得满足指定属性要求的伪人脸图像,同时生成的伪人脸图像中不需更改的图像区域与原图像保持一致。近年来,人脸任意属性编辑已广泛应用于医疗、美容、刑侦、娱乐和面部识别等领域,受到了越来越多的关注。目前人脸任意属性编辑模型通常结合编解码器和生成对抗网络来实现,但存在生成图像不够真实,对人脸图像的属性编辑不够准确,对生成图像人脸属性的细粒度控制能力弱的问题。本文围绕人脸任意属性编辑问题展开研究,主要工作包括:(1)针对人脸任意属性编辑模型中编解码器之间用跳跃连接传递图像特征存在信息冗余问题和模型难以控制属性变化程度的问题,设计一种结合独立选择转换单元和自注意力机制的人脸任意属性编辑网络ISTSA-GAN。该网络结合独立选择转换单元与编解码器作为生成器。编码器获得图像的潜在特征;独立选择转换单元选择性的对编码器获得的图像潜在特征进行转换;在解码器中引入自注意机制,建立跨图像区域的长距离依赖;然后加入属性插值损失和源域对抗损失来约束模型的训练。实验结果表明,该方法能够提高属性编辑能力和细节保存能力,并且可以增强对编辑属性进行细粒度控制的能力。它在属性编辑精度和生成图像的质量方面优于Star GAN、Att GAN和STGAN。(2)针对人脸任意属性编辑模型中解码器的输入存在冗余和选择转换单元中单层门控对信息的过滤不够精确的问题,设计一种基于改进的U-Net结构和双层门控选择转换单元的人脸任意属性编辑网络。该网络用双层门控来自适应的学习现有记忆信息和以往隐藏信息的保留情况,同时将第一层双层门控选择转换单元的部分输出作为解码器的输入,再额外加入属性插值损失和源域对抗损失约束模型训练。实验结果表明,该方法能够提高属性编辑能力,并且进一步增强了对编辑属性进行细粒度控制的能力。
其他文献
活动识别作为人机交互的重要媒介,在智能家居、医疗看护等生活领域被广泛研究。由于无线感知领域中基于Wi-Fi信道状态信息(Channel State Information,CSI)的活动识别技术弥补了视频监控技术易侵犯人隐私和穿戴式设备需实时佩戴的缺点,近年来在被动式活动识别领域飞速发展。但基于Wi-Fi CSI的活动识别方案在更换场景和增加新用户后,存在识别精度不佳的问题。这是由于缺乏足够的新环
学位
财政作为政府的重要政策工具,在我国经济建设与发展的过程中发挥着至关重要的作用。2015年,出于经济形势考虑,中国选择实行“有力度的积极财政政策”,以实现宏观经济稳定目标。2020年,积极的财政政策在国家抗击疫情、风险防控的过程中发挥了重要作用。在财政地位提升的同时,我国各类财政风险也在逐渐凸显。为了防范化解各类公共风险,从而降低系统性公共风险、避免全局性公共危机、维持整个经济社会的稳定,适时适度地
学位
读图时代带来了图符信息过载问题,推荐系统能够有效地缓解信息过载,为用户提供个性化的推荐服务。推荐算法是推荐系统的灵魂,协同过滤算法是目前应用最为有效且经典的推荐算法之一,但仍然面临着用户-项目数据稀疏问题、冷启动问题、用户兴趣变化问题。针对协同过滤算法存在的上述问题以及进行图符推荐应用的需要,本文对协同过滤算法及其在图符推荐系统中的应用进行了研究,主要研究内容如下:1.针对用户数据稀疏问题以及未能
学位
数字化技术在文物保护领域占有关键地位。传统的数字化技术主要利用三维激光扫描对文物表面建模,无法得知文物内部的结构、材质以及缺损信息等。计算机断层成像(Computed Tomography,CT)技术凭借其高精度、无损检测物体内部构造等优点,逐渐被文物数字化保护领域采用。重建算法是CT技术的核心,代数重建算法(Algebraic Reconstruction Techniques,ART)作为典型
学位
灰度图像彩色化技术一直是国内外学者研究的重要课题,将彩色化技术应用于兵马俑图像的色彩复原中具有一定的科学价值和历史意义。现有的兵马俑色彩复原方法大多是基于传统算法进行处理,色彩复原准确率较低,且传统算法对于处理低分辨率图像效果很差。针对上述问题本文基于生成对抗网络,对兵马俑全自动着色算法进行了研究。主要研究进展包括:(1)彩色兵马俑数据集建立。目前还没有可用的彩色兵马俑数据集。我们通过各种途径收集
学位
近年来,深度强化学习(Deep Reinforce Learning,DRL)作为一种强大的自我学习技术,被广泛应用到编译器优化任务上,以支持代码在复杂的多核异构平台下运行性能的提升。但是,面对具有庞大搜索空间的优化任务,利用DRL进行搜索依旧面临挑战,一方面庞大搜索空间中包含大量冗余以及无价值的搜索路径,另一方面如果要部署DRL框架开展自动调优工作,仍然需要编译专家耗费较长时间来选择目标任务所对
学位
在高维数据情况下,传统的线性回归模型的参数变得不可估计,变量选择是解决此类问题的一个很好的方法。在稀疏情况下,能够从众多解释变量中筛选出关键的变量显得更为重要,这不仅增强了模型的解释能力,也减低了模型的复杂度。在很多领域数据都存在高维稀疏的情况,特别是生物医学中的基因表达数据,高维数据下的回归方法和变量选择方法在该领域得到了广泛的研究和应用。在高维数据问题上,经典的变量选择方法如最优子集选择、前向
学位
荧光分子断层成像具有无电离辐射特性、无创性、高灵敏性和高特异性,常用于监测肿瘤生长和评价治疗反应,有广阔的应用前景,成为研究者们的关注热点。但光子在生物组织内的散射效应导致了低能量可见光光子的探测,故该成像重建问题有严重的病态性,容易受到噪声和模型误差的影响,很难得到唯一、准确、稳定的解。可行域提取方法通过在成像物体内划分出部分区域作为重建区域,减轻重建问题的病态性,提高重建质量。因此,本文工作聚
学位
普惠金融体系(Inclusive Financial System)的概念由联合国于2005年提出,具体含义为利用有效的方式使金融服务惠及每一个人,尤其是那些通过传统金融体系难以获得金融服务的弱势群体。随着世界各国对其的实践,普惠金融的促进经济增长、消除贫困的意义也越来越被国际社会所认可。2016年杭州G20峰会上我国推动并参与制定的《G20数字普惠金融高级原则》正式通过,数字普惠金融的发展正式提
学位
自2020年以来,新型冠状肺炎在全球蔓延,尽管我国疫情防控工作已经取得了巨大的进展,但是疫情防控压力依然很大,稍有不慎,疫情就会马上蔓延开来。而口鼻传播是病毒传播的最主要方式,戴口罩的方式就可以大大减小病毒的感染概率,所以口罩是我们日常出行必备的物品。在公共场所以及各种人流量比较大的地方进行口罩佩戴检测是必须坚持实施的有效防疫措施。鉴于人工进行口罩佩戴检测和口罩佩戴规范检测比较消耗人力,本文提出了
学位