在计算机技术日益智能化的今天,情感作为高级智能的一部分,自然就成了计算机智能化中不可或缺的部分,而面部表情作为人类最自然和直接的情感表达方式,自然就成了情感研究的重点。同时面部表情识别也是实现人机交互,辅助教学,测谎等应用的关键技术。目前针对面部表情识别的研究主要集中在静态面部表情识别,但是如今自然图像的静态面部表情识别的提升空间还很大,同时大部分的表情识别研究都没有考虑到表情的时间信息。本文旨在建立能够自动识别面部表情的静态和动态模型,并且设计一个进行面部表情识别的系统。论文的研究内容包括下面三个部分:第一部分,本文建立了基于图像裁剪和注意力机制的静态表情识别模型。输入上,本文采用图像裁剪技术来进行数据增强,对输入图像按照十个方位进行裁剪,在高维上进行拼接,得到输入的张量。模型上,本文选用Res Net18作为骨干网络提取图片特征,并结合注意力机制,提高模型对图像空间、通道以及不同裁剪图像权重的学习,这样可以使得模型权重更加侧重感兴趣区域。通过消融实验,验证了注意力模块的作用;通过对比其他方法发现,使用了裁剪和注意力机制的模型对比一般模型具有更高的识别准确率。第二部分,本文建立了基于Conv LSTM的视频表情识别模型。输入上,本文对视频数据集进行人脸检测和人脸对齐等预处理,把视频序列等采样间隔的12帧表情图片拼接成一个高维的张量输入网络。模型上,本文在卷积LSTM的基础上,对数据集进行了适配,同时加入了注意力模块,提高了模型提取特征图的时间和空间特征的能力。通过与静态模型还有其他时空模型的对比验证了本章视频表情识别模型的价值。第三部分,本文结合上述的模型,利用软件开发框架开发出一个支持静态表情识别、视频表情识别、实时表情识别等功能的面部表情识别系统。该系统能调用电脑摄像头,在进行人脸检测的同时,识别人脸的表情,并且能够在CPU上达到实时的检测速度。