人脸表情识别算法是人脸识别技术中的重要组成部分,广泛应用于人机交互、自动驾驶和安防监控等领域,近年来成为学术界和工业界的研究热点。人脸表情识别算法根据人脸表情特征进行建模,使得模型可以在给定图像或视频中识别出特定的表情,确定对象的心理情绪,从而进行相关处理。现有人脸表情模型难以捕捉面部肌肉的细微运动,且容易受到光照变化、遮挡、非正面头部姿势以及身份信息等因素影响。针对上述问题,本文提出基于Alex Net-Emotion的静态人脸表情识别算法和基于注意力机制的动态人脸表情识别算法,经实验验证在静态和动态人脸表情识别场景中均实现了高精确度和鲁棒性。本文研究内容和创新点总结如下:(1)针对目前静态表情识别存在难以精确提取表情特征的问题,提出基于Alex Net-Emotion的静态人脸表情识别算法。本文通过使用更小的卷积核改进Alex Net网络,以减少模型参数和有效检测面部肌肉的细微运动;同时,针对训练数据集小容易造成模型过拟合的问题,增加了批量归一化层和使用PRe LU非线性激活函数,加速模型收敛和缓解过拟合现象。另外,针对模型提取表情特征的鉴别能力不强的问题,提出将人脸关键点角度变化特征作为辅助信息,使得模型保持身份不变性,增强表情特征的表达能力。(2)针对只使用Softmax损失函数训练模型导致的较小类间方差和较大类内方差问题,提出Softmax损失和改进的Island损失联合优化方法,两个任务损失函数在训练网络时,发挥各自的优点,使得簇内样本尽量紧凑,簇间尽量远离,提高模型的辨别能力。针对Island损失在计算样本与对应类中心的间距时,不能有效区分容易样本和困难样本的问题,本文使用在线困难样本挖掘技术,只计算超过类中心点半径?的样本,让模型关注比较难分类的样本,从而加快模型收敛速度和提高分类能力。(3)针对静态表情识别算法难以有效在动态场景准确识别人物表情,本文在Alex Net-Emotion网络基础上,提出基于注意力机制的动态人脸表情识别算法。该算法包含三个模块:特征嵌入模块、循环神经网络和注意力模块。特征嵌入模块由Alex Net-Emotion网络组成,用于精确提取每帧的表情特征。循环神经网络模块对时序数据进行建模,使得模型可以有效利用当前帧的上下文信息,生成每帧的隐藏层状态特征表示。为了区分不同表情强度视频帧的重要程度,引入注意力模块计算每个时刻隐藏层状态特征的权重,通过线性加权,生成视频级表情特征向量,有效解决了动态场景下难以有效整合视频帧表情特征的问题。