人脸表情识别在众多行业中都有着十分重要的应用,但在现实应用中,识别的效果会受到其他因素的影响,一定程度上会造成图像旋转,使得表情识别效果不佳。局部二值模式(Local Binary Patterns,LBP)有很强的旋转不变性,但其对于图像的特征数据进行提取和分析时,图像的分块大小以及分块的数量需要进行一些人为的调整设置,容易导致丢失部分特征信息。针对上述问题,本文提出了一种特征融合算法,将LBP特征与卷积神经网络(Convolutional Neural Networks,CNN)提取的特征进行融合,并利用本算法开发了一套完整的表情识别系统。首先,本文提出利用二次连续卷积的思想,对Alex Net模型的结构进行了改进,从而构建了一个新的CNN网络。仿真实验结果表明,相较于具有单层卷积结构的CNN网络以及Alex Net网络结构来说,该算法在一定程度上能够提高人脸表情识别率。其次,针对卷积神经网络对旋转敏感的问题,提出将LBP和CNN特征进行融合。通过分别对图像这两类特征的提取、降维和融合,最终输入分类层中进行分类。仿真实验的结果表明,与其他几类模型相比,该模型能够在一定程度上提高旋转情况下表情的识别率。最后,本文开发了一套完整的人脸表情识别系统,该系统可以进行基于静态图片以及动态视频的人脸表情识别功能。在验证与测试阶段,该系统识别效果较好,能够实时地进行面部表情的识别过程,具有现实应用价值。