论文部分内容阅读
面部表情识别是指对人脸表情进行特征提取和分析,通过表情信息来理解人类情绪。面部表情识别已成为计算机视觉领域的研究热点之一,相关研究具有广泛的应用价值和前景。本文以深度学习为基础,研究面部表情识别算法,充分利用输入图像的空间特征信息,提出了两种面部表情识别算法。本文的主要研究成果如下:(1)研究分析了胶囊网络(Capsules Network,CapsNet)的原理、网络架构及优化算法。胶囊网络针对类似人脸的结构化目标的图像所提特征具有良好的方向性,能更好地捕捉面部运动单元(Action Unit,AU)间的细节和关系。RAF-DB和FER2013表情数据集上的表情识别效果验证了胶囊网络的特征表达和分类能力,即CapsNet算法在RAF-DB表情数据集上的识别准确率为76.12%;与CNN模型相比,CapsNet算法在FER2013表情数据集上识别准确率提高了 1.87%。(2)提出了 一种基于增强胶囊网络(Enhanced Capsules Network,E-CapsNet)的表情识别算法。VGG网络作为深度卷积神经网络,其在表情识别领域的成功应用表明,深层抽象特征有利于表情分类,而传统胶囊网络仅采用一层卷积进行空间特征提取,这限制了其性能的提升。本文所提E-CapsNet模型,在特征提取阶段采用了13层卷积结构,以便提取深层抽象特征,然后采用动态路由机制对其进一步编码。深层卷积可有效地提取面部表情的关键信息,而动态路由的编码和解码能力可使获得的特征更具方向性。RAF-DB表情数据集上的表情识别效果验证了所提E-CapsNet模型的有效性,与CapsNet和VGGNet算法相比,E-CapsNet模型的表情识别准确率分别提高了 8.66%和6.64%。(3)提出了 一种基于双重增强胶囊网络(Double Enhanced Capsules Network,E2-CapsNet)的表情识别算法。所提算法在E-CapsNet的基础上,进一步引入AU注意力约束,构成双重增强效应,从而使模型能感知与表情相关的AU细节变化。在RAF-DB和EmotioNet表情数据集上的实验结果表明,与VGG算法相比,本文所提的E2-CapsNet算法的识别准确率分别提高了 7.10%和32.79%,达到了目前的主流识别水平。另外,注意力映射图的可视化展示也表明,所提特征可突出面部表情的重要区域,进一步验证了引入AU注意力约束可有效辅助表情识别。