人脸表情识别(Facial Expression Recognition,FER)是人机情感交互研究的一部分,在医疗、刑侦、教育和娱乐等诸多领域拥有潜在的应用价值。近年来随着深度学习研究深入,具有强大的自动特征提取和分类能力的卷积神经网络在人脸表情识别领域得到广泛的研究。研究卷积神经网络结构优化,提升卷积神经网络特征提取能力,使模型在一定程度复杂条件下的人脸表情识别具有较高的识别准确率并具有实际应用价值。本文首先对常用的人脸表情识别特征提取和特征分类方法进行分析后,采用改进卷积神经网络结构用于人脸表情识别。针对常规卷积神经网络由于参数多容易产生过拟合,且在误差反向传播过程中易出现梯度消失或爆炸问题,本文提出特定层批量归一化卷积神经网络。在网络模型前部采用连续卷积增强特征提取效果;之后在网络特定层使用批量归一化结构调整特征数据的分布,有效解决误差反向传播过程中梯度问题;在全连接层通过优化Dropout连接概率值达到稀疏化连接,降低过网络拟合可能性。实验结果表明改进的卷积神经网络模型具有较快的训练速度和较好的识别效果。针对在具有光照、姿态以及是否自发表情复杂条件下的人脸表情特征提取,特定层批量归一化卷积神经网络模型无法达到理想识别效果,本文提出一种基于平行卷积通道特征提取后进行特征融合的模型。对不同通道卷积特征图采用差值通道融合后对特征图进行内部融合,以组合特征信息同时降低特征图数量有效减少全连接层参数;在输出层采取将全局平均池化和神经元全连接输出决策融合的方式,有效增强模型分类决策能力。将平行卷积神经网络模型应用在JAFFE、CK+和USTC-NVIE数据集上分别达到98.93%、98.78%和96.19%的识别准确率,实验结果表明优化后的模型对复杂条件下的人脸表情具有较好的识别效果。