面部表情具有丰富的情感信息,是人类情感表达的重要方式。表情识别作为计算机理解人类情感的基础,具有广泛的应用。在学习场景下,学习者的情感状态与学习效果密切相关,基于面部表情的识别结果可以实现对学习者的情感分析,有助于判断学习者的学习状态,进而采取有效的教学调控手段,提升教学效果。现阶段对表情识别的研究主要是针对基本情绪,即基本表情识别,本文基于CNN对基本表情识别方法进行了研究。同时,自然场景下拍摄的人脸图像存在遮挡等问题,会导致人脸表情信息的缺失,针对大面积遮挡的人脸,提出了基于GAN的表情识=别方法,对人脸图像先进行填补修复,再进行表情识别。在基本表情数据集CK上的实验表明,填补修复后的人脸图像视觉上真实连贯,同时取得了较高的表情识别准确率。对基本表情识别的研究为后续学习表情识别奠定了基础。在学习过程需要关注的情绪不同于基本情绪。借鉴基本表情识别的方法,在学习表情数据集BNU-LSVED上进行了学习表情识别实验。其中采用微调深度CNN的方法进行了基于图像的学习表情识别,在此基础上对基于视频的学习表情识别开展了研究,除了视觉特征,还使用了图像帧之间的时序特征来进行表情分类。实验证明,VGGface较其他CNN模型更适合作为表情识别的深度特征提取器,同时加入时序特征后,基于视频的学习表情识别取得了较高的识别准确率。教师们更多的是关注学习者的情绪所代表的学习情感状态,本文对面部表情的识别结果在学习场景下的对应情感状态进行了探索性的分析。首先利用中文简化版PAD情绪量表对学习情绪进行了量化统计,对PAD情绪模型的三个维度进行了分析,建立了学习情绪与学习状态之间的对应模型,利用该模型根据表情识别的结果来进一步分析学习者的学习状态,包括学习者对课程内容的理解度、兴趣度以及投入度。