表情识别技术作为面部识别技术的研究分支,在人机智能交互、智慧诊断、智能控制和数字教育等领域具有广阔的应用场景。表情识别研究涉及到统计学、心理学、计算机科学等多学科领域,具有一定的复杂性和可研究性。人脸表情识别的主流研究方法主要是传统机器学习方法以及基于深度学习网络的端到端方法。基于机器学习的人脸表情识别算法通常由图像预处理、特征提取、特征分类三个子任务构成,特征提取与表情分类器需要根据任务情况人工选择。深度学习可以实现端到端的表情识别,实现表情特征的自动提取和网络的自主学习。深度网络在人脸表情识别问题上有着广泛的应用,集成网络、级联网络、残差网络等网络结构的提出使得表情识别性能得到提升。目前,表情识别任务在实验室数据集下能够取得较好的识别效果,而面对具有挑战的自然场景下的表情识别任务仍存在一定的不足。自然场景下的面部多姿态问题是影响表情识别性能的主要因素之一。此外,背景干扰和表情类别相似等因素也会导致表情识别准确率降低。针对上述人脸表情识别问题,本文利用深度学习技术对多姿态表情识别问题展开了进一步的研究,主要的研究内容如下:（1）针对面部姿态在翻滚角（roll）上的姿态变化以及高相似表情误判问题,给出了一种结合关键点与权重分配残差网络的人脸表情识别算法。本文首先通过全局人脸对齐来调整面部姿态在翻滚角上的变化;然后使用面部关键点技术进行最大表情表达其区域的获取去除背景因素的干扰;接下来引入权重分配机制从通道和空间维度上进行注意权重推断,实现不同区域的权重分配,进而引导深度残差网络学习对表情具有鉴别力的局部特征,有效提升了高相似表情类别的识别准确率。实验结果表明,本文方法在FER2013和CK+数据集上的表情识别准确率分别达到74.14%和98.99%,说明本文方法可以有效矫正翻滚角姿态和去除背景干扰,进而改善伤心、害怕、蔑视等高相似表情误判问题。（2）对于面部姿态在俯仰角（pitch）与偏航角（yaw）上的变化,往往会形成不同角度的侧脸。该姿态变化不能通过人脸对齐进行有效地矫正,常见的解决办法是使用多视角人脸表情图像进行不同姿态下的表情特征提取,而多视角表情数据的缺乏对该方法造成很大障碍。本文提出基于图像生成与联合损失优化的表情识别方法。首先通过三维人脸模型的颜色纹理映射,结合旋转渲染实现单一图像的多姿态图像生成;然后,将生成的多姿态表情图像输入到深度网络中进行多姿态表情特征的提取;接着使用softmax损失函数和中心损失函数构建联合损失函数,用来优化特征空间中表情类别之间的距离（缩小表情特征类内距离,增大类间距离）,改善相似度高的表情类别识别准确率。使用本文方法对数据集FERplus、RAF-DB的训练集进行多视角图像生成用于模型训练,分别取得87.36%、87.20%的识别准确率。实验结果表明,本文方法的准确率与baseline相比平均提升3.4%,比近年提出的一些方法平均提升了1.06%,说明本文方法能够有效应对人脸表情在俯仰角与偏航角上的姿态变化。