随着计算机计算能力的增长和图像数据的积累,人脸表情识别尤其是基于自然环境的人脸表情识别研究逐渐成为人工智能的研究热点领域之一。目前,实验室环境下的人脸表情识别技术相对来说较为成熟,而自然环境下的人脸表情识别更贴近于现实应用同时难度也更高,其相关算法的识别效果也亟待提升。人脸表情主要有离散和连续维度两种表示模型,并且这两种表示模型在教育、医疗、安全等方面有着巨大的应用前景。因此,本文着重研究基于自然环境下的人脸表情识别(离散)和估计(连续维度)。本文的主要工作内容如下:(1)自然环境下的人脸表情识别与实验室环境下的人脸表情识别相比更具有挑战性。自然环境下的图像样本在姿态、背景、光照等非表情因素方面存在着较大的差异,同时存在一部分效价较低的样本,这些样本在特征空间中易出现混淆的情况。基于此,本文提出一种基于Center Loss和Valence-sensitive Loss联合损失函数的人脸表情识别方法。Center Loss的引入用于减轻非表情因素带来的干扰,使得同类的样本在特征空间更易聚集在一起,Valence-sensitive Loss用于解决因低效价带来的混淆问题,最后利用设计的具有二分支结构的卷积神经网络共同优化上述两种损失函数和Softmax损失函数,实现人脸表情的多分类识别。(2)离散和连续维度两种表示模型下的人脸表情识别在不同行业都有着广泛的应用前景。与获取人脸表情的类别不同,一部分应用场景希望获取人脸表情的状态值。因而本文对于连续维度(Valence-Arousal模型)下的人脸表情识别也进行了研究,提出了一种基于二级注意力机制和两阶段多任务学习的人脸表情估计算法。该算法针对自然场景下存在的各种非表情因素,提出用残差注意块自动提取Position-level特征,利用基于自注意力的Bi-RNN(Bi-directional Recurrent Neural Network)模型自适应地提取Layer-level特征,从而降低非表情因素对人脸表情估计的影响并进一步提高神经网络的特征提取能力。其次,设计了一种两阶段的多任务学习结构。一方面,共同学习离散模型和连续维度模型的特征表示,增强连续维度模型下特征表示精确性。另一方面,通过多任务学习利用Valence与Arousal的相关性共同预测二者的值。除此之外,利用Tukey’s biweight损失函数降低标签不一致或错误样本所带来的影响。最后,基于AffectNet数据集进行的广泛实验证明了本文提出的人脸表情估计算法的有效性和泛化能力。