人脸表情蕴含着丰富的情感信息,在人际交往沟通中起非常关键的作用,如何让计算机正确的识别理解人脸表情信息是一项具有重要意义且极具挑战性的工作。随着深度学习的发展,利用深度学习技术实现人脸表情识别成为了表情识别领域新的研究热点。人脸表情特征大多集中在人脸的局部关键区域,如眼睛、眉毛、嘴巴及其周围区域,人们可以忽略人脸的整体信息,而直接借助人脸的局部关键区域信息,来正确的识别人脸图像中的表情类别。因此,如何让深度神经网络对输入的自然场景下的人脸图像中提取出更有区分性的表情特征,从而提升表情识别网络的整体识别精度是表情识别研究的重点。现有的一些人脸表情识别方法中大多通过定位人脸关键点,并裁剪出多个人脸区域,送入网络中然后通过特定的注意力机制等来突出某些对表情分类贡献较大的区域的作用。虽然这能在一定程度上提升识别效果,但同时也会增加网络的计算量,并使网络结构变得更加复杂。自然场景下的人脸图像背景较复杂,往往会受到不同因素的干扰,比如光照变化、遮挡以及头部姿态变化等,实现自然场景下的人脸表情识别更具重要的研究价值和现实意义,因此本文主要针对自然场景下的人脸表情识别算法进行研究以及表情识别系统进行设计与实现。具体来说本文的研究工作如下:首先,本文提出了一种基于破坏重建学习方法的深度卷积神经网络ADC-Net,该网络先通过打乱机制破坏人脸图像的原始空间结构,增加图像的识别难度,迫使网络从打乱的人脸图像中学习到更具区分性的人脸表情特征,从而提升网络的整体表情识别性能。具体来说,首先将输入的人脸图像分割成相同大小的局部子区域,并将这些局部子区域在一定范围内随机打乱重新排序得到新的破坏图像,增大识别难度。然后将原始图像和破坏图像一起送入主干网络进行特征提取,并通过一个通道注意力模块来增强有效特征,抑制无效特征。同时,在重建的过程中,加入区域对齐网络,试图让网络恢复原始图像中局部子区域的原始空间布局,建立局部子区域间的语义关联模型。实验结果表明,本文提出的ADC-Net网络在两个自然场景下的人脸表情数据集RAF-DB和FERPlus都能取得了很好的识别效果,分别达到了88.46%和88.9%的识别准确率。其次,对于本文提出的表情识别网络ADC-Net,本文利用一种称为加权梯度类激活映射的方法,对ADC-Net网络模型作了“可视化解释”的研究,生成对应输入网络中的人脸表情图像的注意力热图,来反映输入图像中对分类结果影响较大的区域,从生成的热力图中可以明显看到ADC-Net关注到了人脸关键局部区域的表情特征,证明网络能从这些局部人脸关键区域中提取到更具区分性的表情特征,并且本文利用选取的RAF-DB数据集中的具有遮挡和人脸姿态问题的图像集测试了ADC-Net对人脸图像中遮挡和姿态问题的鲁棒性能,实验结果表明ADC-Net对此类问题能有较好的鲁棒性。最后,基于本文提出的ADC-Net表情识别网络,搭建一个基于Py Qt的实时人脸表情识别系统,实现三种模式:本地图像、视频和实时摄像头的人脸表情识别功能,进一步验证了本文提出算法有效性和实时性。