随着模式识别和人工智能的发展,多视角面部表情识别及姿态估计成为了计算机视觉领域研究的重点,主要应用在人机交互、临床医学、视频监控等领域。近年来,人脸表情识别主要研究数据库正面图像,并取得了不错的成绩,但对具有复杂环境和背景、多姿态的面部图像识别效果不佳。因此,在复杂背景下搭建泛化性好、鲁棒性强的多视角表情识别模型具有很大价值,其中面部姿态在表情识别过程中充当重要角色,而这也对人机交互具有重要意义。目前,对于多视角表情识别主要应用模型分步完成,尽管泛化性有不错的效果,但整体模型结构较大、步骤繁琐、实用性较差。综上,本文提出复合余弦增强损失的多视角表情识别及姿态估计网络,实现表情及姿态同步识别,解决复杂环境下识别率不佳和分步模型较大等问题。本文实现多视角面部表情识别及姿态估计。首先,搭建多分类识别的深度网络框架;其次,以卷积神经网络(Convolutional Neural Network,CNN)为基础,结合现有高性能深度网络结构,自主设计用于多视角表情识别及姿态估计(Convolutional Neural Network for Multi-view Facial Expression Recognition and Pose Estimation,M-EPCnet)的端到端多分类模型。然后,针对传统Softmax损失下深度网络训练效果和识别性能不佳等问题,引入角度空间下的余弦损失对特征进行描述。其中,加入类间角度裕度参数和超球面缩放因子,以训练出具有高类内紧性、低类内差异的模型分类器,进一步提高多分类识别效果。再者,通过二分类可视化例子对改进的余弦增强损失(Cosine Enhancement Loss,Cos EL)的几何意义进行解释,进一步推导多分类的情况。最后,采用自适应调节学习率的优化方式对网络进行训练,使其损失变化更加平缓,同时提高模型性能。在不同数据库上对多分类模型进行实验分析,结果表明本文模型在CK+库上识别准确率高达99.06%,在BU-3DFE、Multi-PIE库上表情识别率分别为87.98%、85.77%,姿态估计率为99.07%、85.95%,与现有方法相比,本文模型具有很好的性能,从而验证本文方法的特征有效性和模型泛化性。因此,本文模型不仅结构新颖,而且实现表情、姿态同步识别,也能达到同类型方法的效果,尤其在多视角复杂人脸中具有一定的优势。