级联生成对抗网络的人脸表情迁移方法研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:wi7474974
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸表情迁移是计算机图形学角色动画领域的一项关键技术,可应用在电影制作、人机交互、虚拟现实等诸多领域。随着深度学习的发展,人脸表情迁移的深度生成模型替代了传统计算机图形学方法,提高了泛化能力。同时,基于生成对抗网络(Generative Adversarial Network,GAN)的人脸表情迁移为生成清晰的人脸表情图像提供了生成器与判别器博弈对抗生成的新思路。本文通过对生成对抗网络及其相关理论的研究,针对人脸表情迁移领域中表情变化大而导致的生成人脸细节模糊问题,提出了级联生成对抗网络。本文主要研究内容如下:现有的工作大多基于单一的对抗网络来进行表情迁移,本文的级联生成对抗网络由两阶段生成网络构成,分别对应表情迁移网络(Face Generative Adversarial Net,Face GAN)和细节生成网络(Fine Generative Adversarial Net,Fine GAN),由粗到细来进行人脸表情图像的合成。第一阶段中,在目标表情轮廓图的驱动下,利用表情迁移网络捕获驱动轮廓图中的表情,并将其迁移到源输入人脸,生成第一阶段粗略图;在第二阶段,级联细节生成网络作为补充来丰富第一阶段粗略图中的一些对表情变化贡献比较大的区域(如眼睛,嘴巴等)的细节,生成最终的具有丰富细节的第二阶段细化图。在表情迁移网络Face GAN中,利用人脸轮廓图作为监督条件来引导Face GAN的学习,使网络可以生成任意表情的人脸图像;当目标表情轮廓图与源人脸脸型差异较大时,会导致生成结果的脸型发生变形,本文通过去掉人脸轮廓图中的下颌线,来消除目标表情轮廓图对生成结果的脸型影响。在细节生成网络Fine GAN中,提出适应个体的掩码向量提取出感兴趣区域,包括眼睛区域和嘴巴区域,并设置局部损失函数和局部判别器来着重优化眼睛和嘴巴区域的细节生成。本文在CK+、MMI和Oulu-CASIA数据集上进行了大量实验,并与主流方法进行了主观和客观的评价比较。结果显示,本文所提出的级联生成对抗网络的两阶段的表情迁移方法可以在保留身份信息的前提下完成表情的迁移,生成细节丰富的具有合理表情的人脸图像。
其他文献
专利背景技术包含丰富的技术问题信息,能帮助我们快速了解当前技术的核心问题,在专利推荐方面具有重要价值。目前专利推荐主要是基于专利内容进行推荐,缺乏对技术问题具有针对性的推荐,且专利技术问题的相关研究甚少,无法展示专利多元化的问题信息。本文从专利背景技术中入手,采用先筛选后抽取的两步骤策略抽取出结构化的专利问题信息,并进一步利用问题信息结合专利标题表示专利特征向量,提出了一种基于多元问题信息的专利聚
学位
人体动作识别是分析视频中个体的动作和多人之间的互动行为。作为高级信息的骨架序列可以传达人类活动的紧凑信息,为描述人体动作提供有效的表示。图卷积网络(Graph Convolutional Network,GCN)通过将人体骨架构建为一个时空图,取得很好的分类结果。然而,大多数现有图卷积方法忽略了关节点之间的非物理依赖性,也没有充分考虑不同人体关节点和视频帧的重要程度。因此,对于基于骨架的人体动作识
学位
当今是全球一体化的时代,跨区域合作成为主流,是现阶段中国经济发展的重要特征。国家、省域、市域之间的依赖性与纽带不断强化,彼此相互合作,且相互竞争。基于此,形成的以政府间竞争为主要特征的区域治理模式和体制机制为区域协调发展战略提供了强劲的推动力,也为地方政府指引了一条纾解区域经济协调发展难题的有效路径。区域政府协同治理已取得骄人的成绩,但同时,也要清楚地了解到,我国区域发展差距依旧较大,难以适应新时
学位
本文主要介绍统计决策在风险型和不确定型两种类型决策问题下的决策方法。主要介绍在风险型决策问题下的分别以期望值、等概率、最大可能性为标准的决策方法,以及在不确定型决策问题下的“好中求好”“坏中求好”和α系数决策方法,并且对上述各种决策方法进行归类总结,阐述各种决策方法的内容和手段,并通过一些具体实例来反映实际中的应用。
期刊
目前,互联网上的三维模型不仅在数量等级方面以指数的方式迅猛增长,而且与二维图像相比三维模型组成的场景包含更加丰富逼真的视觉细节,使得三维模型这一信息载体在建筑设计、造型艺术、动画制作以及零件生产加工等方面发挥了重要的作用。在海量的模型数据库中高效准确地检索到用户所需模型,具有重要的研究价值。三维模型的检索算法主要可以概括为两类:基于模型特征和基于视图特征。基于模型特征的检索主要是从模型的三维数据角
学位
作为表征学习的一个重要领域,网络表征学习成为网络科学和数据挖掘领域的重要研究问题。经典的网络表征学习方法主要可以分为基于随机游走的方法、基于矩阵分解的方法和基于自编码器的深度学习算法三大类。其中,基于自编码器的深度学习算法虽然可以有效的发挥深度学习的强表示能力,但是存在两大严重问题。首先,该类算法的输入维度和所采用的深度自编码器的结构通常都与网络的规模严重耦合,因而无法高效的应用于大规模网络的表征
学位
《信息网络传播权保护条例》确立的“通知—删除”规则曾在网络服务提供者网络版权侵权认定中发挥过积极作用,但也存在适用场域限于著作权领域、适用的网络服务提供者类型较少、适用措施仅限于“移除、断开链接”等问题,难以适应规制网络知识产权侵权的现实需要。而旨在修正“通知—删除”规则的“通知—必要措施”规则在司法适用中也存在法律适用顺序、合格通知标准、必要措施的选择等问题。上述问题的解决对网络服务提供者在网络
学位
不论是在理论上,还是在司法实践中,违约精神损害赔偿制度一直以来都是倍受争议的话题。《民法典》第九百九十六的创新之举再次引起了理论与实务界对该制度的审慎思考与热烈讨论。确立违约精神损害赔偿制度是为了对人的精神权益给予更周密和更高程度的保护,实属实践之迫切需要。因而,本文以《民法典》第九百九十六的规定为中心展开论述,研究我国的违约精神损害赔偿制度。除引言和结语部分外,本文分为以下五个部分:第一部分介绍
学位
近年来,不同发展阶段的目标检测算法层出不穷,不少学者越来越关注目标检测算法面向工业界的应用,尤其是算法对实际场景是否有足够的鲁棒性。遥感图像是航空器或航天器在高空采集的俯瞰航拍图像集,对地球资源调查与开发、国土整治、环境监测、以及全球性研究有着重要的实用性价值。遥感图像的目标检测对于计算机视觉和数字图像处理方向的很多任务都有很重要的应用价值,因此具有很高的研究意义。随着人工智能技术的迅速发展,基于
学位
通过运行序批式生物反应器与摇瓶实验相结合方法,在进水中投加不同数量Ca2+(0~200mg/L),考察了Ca2+在好氧颗粒污泥形成中的作用.当SBRⅠ、Ⅱ进水Ca2+含量分别为30、100mg/L,运行20d后,两反应器中均出现了好氧颗粒污泥.运行前50d,SBRⅠ中颗粒污泥浓度MLSS与污泥沉降指数SVI指标明显好于SBRⅡ;运行80d后,SBRⅠ、Ⅱ中污泥浓度MLSS均稳定在7.5g/L,SV
期刊