情感是人类对外在事物的主观感受,面部表情是传递人类内心情感的一种有效的方式。若能准确地识别出人脸的表情并分析其内心情感状态,将能更好地改善人与机器之间的交互关系。因此,人脸表情识别有着很广阔的应用前景,吸引了大量的研究者对其展开研究。本文基于深度学习分别针对静态的人脸图片和动态的人脸序列提出了两种特征学习方法来提高表情识别准确率。针对静态的人脸图片,本文提出了一种基于关键点深度特征的人脸表情识别方法。基于人脸表情识别任务和人脸关键点定位任务之间的关联性,提出引入表征人脸各部件形状的关键点信息来提高表情的识别率。具体来说,设计了一个多任务的卷积神经网络,在识别表情类别的同时定位关键点的位置,使得模型在优化过程中自发探索两个任务的内在关联,使得学习到的特征能更加关注五官周围的纹理信息。进一步利用网络检测到的关键点生成位置注意力图,来调整各个区域特征的权重,增大五官周围特征对决策结果的作用,同时抑制人脸边缘区域的影响。在三个公开数据集Oulu-CASIA、CK+和MMI上的实验结果证明了所提方法的有效性。针对动态的人脸图像序列,本文提出了一种相空间驱动的时空特征提取方法来辅助动态的人脸表情识别。通过观察发现,动态表情的空间纹理和时序信息是互相关联的,因此,空间和时间特征不应该被分别地提取。其次,如何有效地从不同时刻的表情图片中提取能反映表情逐渐变化的时序信息对动态表情识别至关重要。基于上述分析,本文利用三维卷积神经网络(C3D)同步地提取空间和短时特征,每一帧的时空特征为相空间中的观测值。同时设计了一种新的相空间重构方法(PSR)重构C3D提取的观测值,使得重构后的观测值能够有效地表示表情动态变化的过程,重构后的观测值中包含了丰富的时空信息有利于识别动态表情。在三个公开数据集Oulu-CASIA、CK+和MMI上的实验证明该方法的有效性,可视化的实验结果还证明该方法关注到的人脸区域具有全局一致性,并且模型提取到了动态表情逐渐变化的过程。