人脸表情是在人类交流中传递信息的重要媒介,对人脸表情进行分析与识别能有效理解人类的行为意图,在人机交互、智能监护等领域具有广泛的应用前景。目前,人脸表情识别的研究重点正在从实验室环境转移到非受控的自然环境,面临着表情强度微弱、光照变化、人脸遮挡等难点。在这一背景下,本文利用深度学习建模高度非线性问题的能力,通过搭建与训练深度神经网络模型,提升现实环境下的人脸表情识别的准确率和鲁棒性。本文围绕基于深度学习的人脸表情识别任务,研究探索了卷积神经网络、循环神经网络、三维卷积神经网络、卷积注意力模块等多种深度学习方法,主要工作成果如下:（1）提炼了基于深度学习的人脸表情识别算法的基本流程,并针对表情识别任务存在的数据集样本质量不佳、数量少的问题,提出了一套数据预处理方案和模型预训练方案,从而缓解过拟合现象,提升模型的鲁棒性和泛化能力。（2）针对基于静态图像的人脸表情识别任务,提出了一种结合二阶池化机制和联合损失的表情识别方法。首先,针对表情识别任务的特点,提出了一种改进型的VGG网络,为VGG网络引入二阶池化机制和批量归一化层,用以提取表情的二阶特征,同时加速网络的收敛。然后,考虑到人脸表情识别任务与细粒度分类任务的相似性,将细粒度分类任务中的互通道损失引入损失函数,联合交叉熵损失和互通道损失,促使网络学习到人脸表情更具判别性的特征。最后,在FER2013和CK+数据集上的实验结果表明二阶池化机制与联合损失更准确地提取到了人脸表情特征,提高了表情识别的准确率。（3）针对基于视频的人脸表情识别任务,提出了一种结合注意力模块和时序网络的表情识别方法。为了有效提取到视频帧之间的时序信息,采用了CNN-LSTM和3D-CNN两种典型时序网络。为了增强网络的特征表达能力,为CNN-LSTM的CNN网络引入了卷积注意力模块;并为3D-CNN网络引入三维卷积注意力模块,构建了一个三维残差注意力网络。然后,将两个增强型时序网络在决策层进行加权融合,组成混合网络模型,以进一步提升模型性能。最后,在AFEW和CK+数据集上的实验结果表明了两增强型时序网络能够有效提取到人脸表情序列的时空特征,且多网络融合进一步提高了表情识别的准确率。