微表情是一种面部肌肉运动微弱且状态变换迅速的面部表情,一个标准微表情的面部肌肉运动时长不超过1/3秒。微表情识别任务指的是对已知的微表情片段进行情绪识别,是基于计算机视觉与心理学交叉的主要情感计算工作之一。微表情是人类心理活动的一种外在表现,微表情所表达的情绪可以作为判断人类主观感受的重要依据,因此,微表情识别在刑侦学、测谎、安防等方面具有极高的研究价值。由于微表情变化迅速,所以,如何准确的捕捉面部局部区域的细微变化是微表情识别问题的研究难点之一。光流作为一种能够捕捉物体细微运动的信息表示,近几年在微表情识别问题上的应用也越来越广泛,借助于光流捕捉面部的细微变化可以有效地增强微表情识别的精度。所以基于光流特征的微表情识别算法具有重要的研究意义和应用价值。目前已经存在很多微表情识别相关的研究与算法,特别是基于光流的微表情识别算法在近几年的方法中获得了不错的性能,无论是基于光流的深度学习算法,还是基于光流的传统算法都获得了良好的识别性能。在传统方法中,光流特征描述子的设计是一个关键的步骤,但是,在特征计算时,为了降低特征的维度往往需要对光流进行稀疏化处理,这将会丢失部分面部关键运动信息。在深度学习方法中,首先计算出包含面部运动细节的光流数据,然后将光流数据输入到所设计的网络中进行特征重建和细化,以进一步改善特征的表示。现有的一些方法直接将光流的分量作为网络的输入并没有考虑到各类微表情在方向上的差异。同时微表情数据集的规模有限,网络架构设计的合理性方面也存在诸多的困难,微表情识别精度的改善仍然是一个亟待解决的难点。综上所述,考虑到光流能很好地捕捉面部肌肉的细微变化,本文也使用光流来表示微表情的面部动态信息。但是,为了突出不同微表情在面部肌肉运动方向上的差异性,本文对光流分量进行了各向异性加权操作。同时,本文还提出了两种用于微表情识别的深度学习网络,并在网络中设计了多尺度特征捕获器来充分提取上下文的语义信息,通过结合多尺度的特征来改善模型的分类能力。首先,本文设计了基于通道注意力机制的微表情识别网络模型,该模型可以自动学习光流不同分量上的权重并完成微表情识别。为了改进上述模型的性能并改善识别模型的精度,本文设计了各向异性加权的光流图像,并使用本文所设计的单主干多尺度网络来训练识别模型以完成特征的提取与分类。本文的创新点总结如下:1.基于面部肌肉运动所产生的光流的水平分量和垂直分量,本文观察到不同微表情的面部变化在水平和垂直方向上存在差异,本文认为不同微表情在光流的两个分量上应赋予不同的权重,因此,本文提出了基于通道注意力机制的微表情分类网络。网络中的注意力模块可以自动学习每个光流分量上的权重来突出面部关键的运动信息,同时,为充分结合多种语义信息,网络中还构建了基于扩张卷积的多尺度特征捕获器,通过结合多尺度特征以增强模型的识别性能。2.在现存微表情数据集规模较小的情况下,为了降低网络出现过拟合的风险同时进一步提升网络模型的性能,本文对通道注意力网络进行了简化处理并提出了更加简洁且高效的微表情识别模型。具体来说,首先根据光流分量的模来计算每个光流分量的权重进而得到各向异性加权的光流图像,这种采用预先计算的方式代替了注意力模块的自动学习,有效地降低了模型参数量,从而降低了识别模型出现过拟合的几率。然后将各向异性加权的光流图像输入到本文所设计的单主干多尺度网络模型来完成微表情识别。本文将构造的识别模型在四个常用的数据集上进行了性能验证,并与先进的方法做了比较,实验结果表明,本文所提出的基于各向异性加权光流图的单主干分类网络模型能够获得更优异的识别性能。