人脸表情合成作为图像处理领域的重要技术,广泛应用于电影、虚拟现实、游戏以及刑侦等各大领域。传统的人脸表情合成算法系统复杂,需要表情获取和跟踪设备以及大量的计算力进行运算,基于深度学习的人脸表情对抗生成网络解决了传统方法存在的上述问题,但存在合成的人脸图像表情撕裂、模糊,合成的人脸视频表情不连续、视频闪烁等问题。本文研究了深度卷积神经网络框架和生成对抗网络相关理论,针对人脸表情合成领域的一些挑战性问题,提出了相应的解决方法,本文主要研究内容和创新点如下:(1)对于人脸表情图像合成中出现的表情撕裂、模糊等问题,提出了人脸表情图像合成框架Face GAN和基于视觉注意力机制的结构相似性度量指数损失函数。首先提取驱动人脸的面部特征并构造表情特征图,然后将表情特征图与原始的目标人脸图像共同输入到Face GAN网络,并在Face GAN中分别用两个特征编码器对表情特征图和目标人脸图像的特征进行编码,以便融合二者特征进行表情图像的合成;最后利用基于视觉注意力机制的结构相似性度量指数损失函数计算图像的训练损失,用以减少表情撕裂和模糊的问题。(2)对于表情视频合成中表情不连续的问题,提出一种基于递归双生成对抗网络的人脸表情合成框架,Face GAN用于生成种子图像,Fine GAN用于保留视频特征。在递归合成时,首先进行深度人脸特征的提取并合成表情特征图,将其作为监督信号,利用Face GAN合成人脸表情种子图像;然后使用合成的种子图像和原始目标人脸一起作为输入,在Fine GAN中合成特征保持图像,作为当前帧的输出,同时该特征保持图像也作为下一帧种子图像生成的输入;最后,使用串联的Face GAN和Fine GAN递归进行下一帧图像的生成,多次递归得到与原始输入表情一致的特征保持人脸表情视频序列。在CK+和MMI数据集上的实验证明,本文提出的图像合成方法能够合成真实感强的表情图像,同时能够避免表情撕裂和模糊的问题,在视频合成中,本文提出的方法能够合成清晰自然的人脸表情视频帧,解决了表情视频帧合成中出现的表情不连续或视频帧间闪烁的问题,且在目标人脸形状和驱动的情特征图像有较大形状差异时具有鲁棒性。