基于改进生成对抗网络的动漫人脸表情转换

来源 :南昌大学 | 被引量 : 0次 | 上传用户:zeratel
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉和图形学的迅速发展带动了动漫领域的相关研究。动漫人脸表情转换可以看作是在非成对数据上的多域图像到图像翻译任务,该技术可以减少艺术创作者的劳动投入、启发创作者的灵感以及帮助业余爱好者实现艺术创作等,然而目前仍存在以下问题:(1)现有方法基于离散表情标签标记的数据集以及多域图像到图像翻译方法,但存在无法细化表情控制以及对表情控制程度较弱的问题。(2)现有方法应用重建损失来维持动漫人脸的身份信息,但对于某些图片难以在转换表情的同时维持人脸身份信息,并且对表情转换效果存在抑制。针对问题(1),本文提出了一种基于解码器控制的动漫人脸表情转换方法。该方法以生成对抗网络作为基本框架,设计了一个适合动漫人脸表情转换的多域图像到图像翻译模型AFET-GAN。其生成器部分拥有两个子网络,第一个子网络是控制信息映射网络,通过仿射变换和非线性变换将离散表情标签映射成高维潜在控制信息。第二个子网络是表情转换网络,通过将控制信息以Ada IN的方式在解码器部分多次注入,实现多层次的特征控制。最后,通过对实验结果进行定性评价与定量评价,AFET-GAN模型增强了表情控制效果,解决了离散表情标签无法细化表情控制以及现有多域图像到图像翻译模型对表情控制强度较弱的问题,验证了该方法在动漫人脸表情转换效果上优于其它的方法。针对问题(2),本文提出了一种维持身份信息的动漫人脸表情转换方法。该方法在AFET-GAN的基础上,通过整合注意力掩膜机制设计出AFET-GAN v2模型,使得模型的表情控制集中于表情相关区域,避免无关区域的特征受到影响。并在模型训练过程中设计了一种基于上下文损失的身份信息维持方法,通过使用一个预训练的损失网络计算模型的输出图像与输入图像之间的特征相似度,代替重建损失维持人脸身份信息。最后,通过对实验结果进行定性评价与定量评价,AFET-GAN v2模型解决了基于重建损失的方法在某些情况下难以维持人脸身份信息的问题,并使得表情转换效果更加自然,验证了该方法在动漫人脸表情转换任务上维持身份信息的能力优于其它方法。
其他文献
王安忆从80年代开始的西方游历使她拥有了开阔的世界视野,游历经验内化为她的情感结构和审美体验,影响她文学创作演变的历程。通过文本中叙述人的西方游历视角,王安忆建构出自己独特的西方书写方式。《向西,向西,向南》以游僧式的环游乌托邦为都市中产阶级造梦,在西方游历传奇中书写中国日常。《一把刀,千个字》着墨于"庶民的乡愁",用原乡生活为法拉盛编年。而西方书写遭遇的不同文明间的差异与冲突,体现在王安忆90年
在小学的语文教学中,学生语文核心素养的培育是一个关键方面,语文核心素养包括了学生的语文构建能力和运用水平、语文思维的成长培养、语文审美意识与创新能力的训练、对语文的认知与传播等四大层面。本文根据当前小学语文教学特点和课堂教学实际,探讨语文教学应怎样培育学生的核心素养,将分别从教学目标、教学方法、教学模式、教学考核四大角度展开详细分析。
为了给生态环境保护中环境监测管理提供一些参考,文章简单介绍了生态环境保护中环境监测管理的重要作用,论述了生态环境保护中环境监测管理的发展趋势,并对生态环境保护中环境监测管理的改进路径进行了进一步探究。得出:生态环境保护中环境监测管理呈现出智能化、连续性、系统化的发展趋势。监测人员应全面优化生态环境保护中环境监测管理技术,进一步提升生态环境监测管理效率。
<正>知识产权纠纷,是指在知识产权取得、归属、利用等活动中,知识产权权利人、使用人以及其他平等主体之间发生的权利义务纠纷。(1)随着我国知识产权事业不断发展,尤其是专利和商标申请量与授权量快速增加,公民和企业的知识产权权利意识和维权意识也逐步增强,知识产权纠纷呈现出高发态势。知识产权纠纷具有利益多元化、诉求多样化、技术难度高、诉讼成本高、维权周期长等特点,单一的诉讼化解途径通常无法满足不同当事人需
期刊
新课改的深入让社会各界对教育工作有了新的认识,核心素养这个词已经成为了教育的大方向,素质教育更是人们关注的重点内容,新时代的教育工作不仅要落实好教学目标,更需要有意识的培养学生的综合素养,为学生以后的成长和发展做好奠基工作。基于此,小学语文教师在开展教学工作的时候也需要进行教学的调整,教学工作必须要契合小学阶段学生的认知,让教学工作更有针对性和启发性,保证学生有所获得的同时,能力也能得到相应的强化
随着全球能源问题和环境问题的日益突出,减少碳排放已势在必行,我国也在2020年制定了碳达峰碳中和的目标。为了实现这一重要目标,在汽车行业势必要大力发展新能源汽车,在国家政策的支持下和市场需求的牵引下,新能源汽车行业迎来重大机遇。但是,以动力电池故障为主要原因的电动汽车安全事故频发,且呈逐年增长态势,给新能源汽车行业带来重大挑战。因此,围绕动力电池故障诊断难度大、诊断不及时甚至引起误诊断等问题,开展
<正>当前世界各国都非常重视竞技体育运动项目的发展,国家之间不但面临着激烈的经济产业竞争,竞技体育方面的竞争也尤为激烈。篮球运动员要想在重大体育赛事中取得理想成绩,除了定期进行篮球比赛之外,每天还要进行高强度的篮球训练。很多运动员的平时训练量甚至已经达到了他们的生理极限,导致机体代谢水平显著下降,
期刊
以郑州市为研究对象,构建涵盖水资源安全、水生态环境、水节约、水管理、水文化5个准则层,25项指标的城市水生态文明评价指标体系。运用网络层次分析法计算各指标权重,采用内插法计算各指标标准化分值,综合指标权重值和标准化分值,分别计算该市2013年、2016年、2019年水生态文明综合指数,并通过对比,评价其水生态文明建设成效。结果表明:郑州市水生态文明建设工作实施前(2013年),水生态文明综合指数为
“立国”与“立人”是近代国民性改造思想内核的双壁。早年上海求学时期,胡适以“立国”为核心,强调通过教育等“改造个人”的途径,培养出具有现代国家意识的国民。留美及归国后,则以“立人”为核心,倡导个性解放,他试图通过“改造个人”与“改造社会”相结合的途径,造就一代具有健全独立人格的现代人。胡适国民性改造思想的演变在今天具有重要启示,在“立什么样的现代人”上,须反思虚假集体主义和极端个人主义道德原则,树
期刊