论文部分内容阅读
人脸表情识别算法一直受到研究者们的广泛关注。深度学习技术凭借着高效、易训练等优势迅速在图像处理领域占据了一席之地,尤其在人脸相关的领域,卷积神经网络的出现极大地提高了人脸识别和人脸表情识别的识别率。但深度学习技术需要大量训练数据,然而目前公开的表情识别数据库都存在样本数据量小或类别不均衡问题,在此基础上训练模型容易出现过拟合现象,限制了人脸表情识别的发展。对小样本、类别不均衡的数据库来讲,数据增强是解决问题的一种有效手段。作为一种深度学习模型,生成对抗网络(Generative Adversarial Networks,GANs)在图像生成方面具有较好的特性。本文主要研究基于生成对抗网络的人脸表情图像数据增强和分类识别,主要工作如下:(1)针对旋转变换、添加噪声等数据增强方法不能解决相似度较高的问题。本文对循环一致生成对抗网络(Cycle-Consistent Generative Adversarial Networks,CycleGAN)进行改进,通过引入类别约束性条件,构建一种基于约束性循环一致生成对抗网络(Constraint Cycle-Consistent Generative Adversarial Networks,CCycleGAN),实现了一对多的数据类别映射,减少了模型训练开销;同时,为了提高人脸表情识别效率,对CycleGAN判别器进行改进,用一个辅助表情分类器替换循环一致生成对抗网络的判别器,不仅可以判断输入图像的真假,而且可以对表情进行分类。在CK+和FER2013数据集上的实验结果表明,本文方法可以有效地解决神经网络中的过拟合和样本不均问题,提高了表情样本生成质量,进而提高了人脸表情识别率。(2)针对CCycleGAN进行数据增强时,需要训练成对的生成器和判别器,模型复杂,训练参数多,本文提出一种基于上下文生成对抗网络的人脸表情识别。对CCycleGAN进行改进,通过引入上下文损失函数,采用一个生成器和一个判别器构建上下文生成对抗网络,实现中性表情到基本六种表情的映射,增强人脸表情数据库。实验部分首先对比分析了不同生成方法得到的图像质量;然后,通过对网络训练过程各网络层输出的特征图可视化来分析不同损失函数对网络训练的影响;最后为了验证本文所提方法生成图像的有效性,利用生成图像扩充数据库并进行人脸表情识别。在FER2013、CK+和KDEF数据库上的实验结果表明,上下文损失函数可以有效地提高网络提取表情特征的能力,获得更高质量的生成图像,基于此方法的数据增强提高了KDEF数据集上的人脸表情识别率。