论文部分内容阅读
随着人工智能的迅速发展,自然人机交互受到人们的广泛关注。面部表情作为人们日常交流中情感行为的主要表现形式,是自然人机交互的重要组成部分。近年来,由于深度学习在计算机视觉领域的广泛应用,人脸图像生成已经取得了较好的效果,但仍难以实现自然人机交互,主要原因是情绪在自然人机交互中起着重要的作用,而机器不能通过模拟人脸面部表情来表达交流时的情感状态。因此,让计算机具备模拟面部表情的能力对自然人机交互的发展具有重要的研究意义。面部表情迁移研究受到越来越多国内外研究学者的关注,已经成为计算机视觉领域的热门课题。面部表情迁移是通过构建迁移模型,将源人脸图像上的表情移植到目标人脸图像上。在面部表情迁移研究中,面部表情通常分为七类,迁移的主要任务是在确保身份特征一致的情况下根据需要迁移生成不同面部表情。已有面部表情迁移模型虽然取得了一些成就,但仍存在需要采用配对表情数据集或只能实现两个表情域之间的转换、难以保持面部身份特征的一致性、难以在单个模型中同时实现不同类型的面部表情迁移等问题。为克服已有研究存在的问题,本文设计并构建基于条件生成式对抗网络的面部表情迁移模型,从解决配对数据集,保持面部身份特征以及简化网络模型等问题进行研究。本文工作包括以下几个方面:(1)构建一种新的基于条件生成式对抗网络的面部表情迁移模型,通过给生成网络指定表情域标签信息,学习七种表情域图像的映射,最终生成七种类型的面部表情。(2)在生成网络中引入重构损失函数,通过计算重构表情图像与原始表情图像之间的差异,确保生成网络重构的表情图像与原始表情图像身份特征的一致性。(3)在生成网络中增加伪图像的域分类损失函数,生成网络试图最小化该损失,确保生成的伪造表情图像可以被正确分类为目标表情域;在判别网络中增加真实图像的域分类损失函数,判别网络通过最小化此损失,正确分类真实图像到对应原始表情域;实现在单个生成网络中同时生成七种面部表情。通过在CelebA数据集、CK+数据集以及FERG-DB数据集上的实验表明,本文设计的面部表情迁移模型,在进行七种面部表情迁移时具有良好的鲁棒性。