论文部分内容阅读
近年来,人脸表情识别技术已经被广泛地应用于人机交互、计算机视觉、安防监控和图像分类等领域。但在实际应用中,采集到的人脸表情图像易受成像角度和采集设备等因素的影响,使得表情图像出现了旋转问题,导致了表情识别率下降,难以满足实际需求。局部二值模式(LBP)是一种具有旋转不变性的特征提取算法,可以在一定程度上解决该问题,但是利用LBP算子提取表情特征时,需要人为设定图像的分块大小和数量,从而使得部分表情信息丢失。针对以上问题,本文提出了一种基于卷积神经网络(CNN)的人脸表情识别算法。论文的主要研究内容如下:1.将经典的Alex Net卷积神经网络应用于人脸表情识别时,存在表情识别率低的问题。本文提出了一种基于改进的卷积神经网络的人脸表情识别算法,利用连续卷积的思想,通过修改Alex Net卷积神经网络,从而构建了一个新的卷积神经网络(Expression Net模型)。其中,Expression Net模型由两个连续卷积层和一个最大池化层的结构单元组成。从模型的性能上,将本文算法与具有三个卷积层的卷积神经网络(Single Net模型)以及Alex Net模型,进行了仿真对比实验。同时,将该算法与多列卷积神经网络、具有感知层结构的卷积神经网络等进行了性能对比实验。实验结果表明,相较于Single Net模型和Alex Net模型,本文算法能够在一定程度上提高表情识别率。同时,与其它卷积神经网络相比,本文算法具有一定的鲁棒性。2.针对卷积神经网络缺少旋转不变性的问题,引入了对旋转具有鲁棒性的局部二值模式算法,提出了一种基于CNN特征和LBP特征融合的人脸表情识别算法。首先,利用Expression Net模型提取表情图像的卷积特征,同时采用LBP算子提取对旋转具有不变性的表情特征。其次,在CNN的第二个全连接层中,将CNN特征和LBP特征进行串行融合,并通过主成分分析法(PCA)进行降维。最后,将处理后的表情特征输入到softmax分类层中,选取输出值最大的神经元所对应的类别作为最终的分类结果。仿真实验结果表明,该算法可以在一定程度上提高旋转情况下的表情识别率。