人脸表情识别是一种通过计算机视觉方法分析人脸图像中的表情特征并识别其表情类别的技术,是计算机视觉领域的一个重要研究方向。人脸表情识别研究可以分为受控制场景下的表情识别和自然场景下的表情识别,目前的表情识别技术在受控制场景下能较为准确地识别表情类别,但在自然场景下表现不佳,无法满足实际应用需求。因此自然场景下的人脸表情识别是亟待解决的重要研究课题。自然场景下人脸表情识别的主要困难在于图像中存在不规则遮挡和姿态变化。现有方法大多数使用特征点等先验信息裁剪和对齐人脸来解决遮挡和姿态变化问题。但是当人脸特征点检测精度不高时,这些方法性能就会大幅下降。为此,本文提出了基于空间变换网络的多示例学习方法,不需特征点等先验信息,可以有效解决表情识别中的遮挡问题和姿态变化问题。本文的主要贡献可以概括为如下三点:（1）.提出了基于空间变换网络的多示例学习表情识别方法（简称STNMIL）,解决了自然场景下影响人脸表情识别的姿态变化问题。STNMIL利用空间变换网络得到包含样本局部对齐表情信息的多个示例图像,将生成的示例和原始人脸图像打包进行识别。通过约束空间变换参数,使得生成的示例之间具备空间独立性,增强示例之间的互补性,并约束生成图像不发生扭曲形变,从而提高生成图像的质量。同时对示例包采用基于注意力机制的多示例学习卷积神经网络,让各示例实现特征级的自适应融合,以提升模型的表情识别性能。（2）.在上一工作的基础上,提出基于多尺度子块决策层融合的表情识别方法（简称MSSTN）,解决了自然场景下影响人脸表情识别的遮挡问题。MSSTN生成多尺度局部子块,生成小尺度的子块图像能增强模型对局部遮挡和头部姿态变化的鲁棒性。同时采用两级融合机制,首先利用带注意力的特征层融合机制融合相同尺度子块图像的深度表情特征,再利用决策层融合机制融合原图和多尺度子块图像的表情信息,进一步增加互补信息,提升模型性能。（3）.提出了交替迭代的优化策略,解决了复杂网络难以使用端到端训练的问题。按顺序交替迭代优化网络的损失,降低单次梯度反向传播需要更新参数量,提升模型收敛速度。此外,各子块的损失和融合后的损失交替迭代优化,还可以防止子块部分参数过拟合,提升整体网络模型的表情识别性能。实验证明,基于空间变换网络的多示例学习表情识别方法可以在无需特征点信息的条件下自适应对齐原图像中发生姿态变化的表情区域,提高模型对姿态变化干扰的鲁棒性;在此基础上,基于多尺度的子块决策层方法,增加采样生成更小尺度的子块,可以提升模型对遮挡干扰的鲁棒性,提高模型自然场景下表情识别的性能。