多角度面部表情识别一直以来都是图像处理领域的难点之一。传统的面部表情识别大多是基于正面人脸表情图像。但在现实生活中,我们所获取的表情图像大多数是由不同角度的摄像机拍摄而成,各个角度的面部表情特征大有差别,使得计算机对于多角度面部表情的识别有较大困难。此外,目前主流的表情识别算法对正脸表情图像识别率较高,而对侧脸表情识别图像识别效果不佳,说明多角度面部表情识别是一个值得探究的课题。多角度表情识别面临着数据库较少,人工对其进行表情标注的代价较高等一系列问题。针对上述问题。本文采用了多特征融合的循环生成对抗网络(Multi-feature Fusion Cycle Generative Adversarial Networks,MFCGAN)来提高多角度面部表情识别的准确率和鲁棒性。该网络的设计思想在于在不使用侧脸表情类别标签的条件下,通过有标签的正脸图像获得一个能准确进行多角度侧脸表情判决的分类器。其中采用迁移学习的思想将不同角度的人脸表情特征映射到正脸表情特征空间中,并且改进了表情识别网络,提高多角度侧脸表情识别的正确率和鲁棒性,拥有巨大的发展前景。本文的研究内容如下:(1)详细介绍了生成对抗网络的原理与学习算法,并介绍了近年来一些用于图像分析的生成对抗的衍生模型,证明了生成对抗网络模型在人脸图像分析上应用的可行性;(2)提出了MFCGAN网络来解决多角度面部表情识别问题。将侧脸人脸关键点(眼睛,鼻子,嘴巴)提取出来,并创造性地将侧脸图片和所提取出的侧脸关键区域信息组合以四通道热力图的形式输入正向人脸图像生成器中,由侧脸图像合成正脸图像,再将生成的正脸图片输入反向人脸生成器中,重建出相应的侧脸图片,并与原始侧脸图片进行比对,直到鉴别器无法判别是真实侧脸图片还是生成的侧脸图片,由此构成一个多特征融合的循环生成对抗网络。本文对使用多特征融合的循环生成对抗网络进行多角度表情识别的系统进行了详细的讨论,主要是以实验的形式展开;(3)提出了新型的混合网络结构(Multi-view facial expression recognition method based on hybrid network,HFRNET)对侧脸进行多角度的人脸表情判别,利用训练好的MFCGAN的生成器作为HFRNET网络的浅层部分,将正脸表情分类网络的深层部分作为HFRNET的深层部分,构造出用来判断侧脸表情类别的深度神经网络HFRNET。从而将多角度表情识别问题分解为侧脸图像到正脸图像的映射和正脸表情图像的判别。该网络的主要优点在于无需将中途生成侧脸表情图片所对应的正脸表情图片再使用卷积神经网络进行分类,而是将特征映射和特征分类的两个网络耦合,形成新的端对端的深度神经网络HFRNET。在使用HFRNET算法进行多角度面部表情识别的实验之后,鉴于该算法和MFCGAN网络算法的互补性,将两种网络模型融合,进一步提升了多角度面部表情识别的准确率。本论文克服了传统生成对抗网络训练过程中必须使用配对数据集来进行训练的局限性,采用基于多特征融合的循环生成对抗网络实现了在训练中没有侧脸图像表情类别标签时对多角度人脸面部表情的识别功能,通过与现有的多角度人脸表情识别算法在RAFD和Multi-PIE数据集上进行实验,本文提出的方法明显优于其他方法,可以印证本文算法的有效性。