论文部分内容阅读
面部表情识别已成为计算机视觉领域中核心技术之一,在人们日常生活中具有广泛的应用。近年来,基于面部动作编码系统(Facial Action Coding System,FACS)的表情识别方法已成为相关研究的主流方法,但这类方法的应用受限于手动标注运动单元(Action Units,AUs)的过程。本文以面部AU作为研究对象,以时空共生性作为约束条件,利用空间和时间维度中丰富的上下文关系以及固有的共生属性,实现精确且鲁棒的面部AU自动检测,以减轻上述难点对面部AU及表情分析的影响。本文的主要工作包括:(1)提出了一种稀疏与共生双约束的轻量级AU卷积网络模型(Lite AU Convolution Network,LAUCN),通过联合利用面部AU的稀疏性和共生关系对输出标签空间进行约束。所提LAUCN网络舍弃了传统的人工设计特征提取过程,而是以数据驱动的方式自动地生成更具代表性的特征,且仅需少量样本便可训练。CK+表情集上的实验结果(平均F1分数达69.3%,准确率达91.4%)表明利用标签空间的稀疏性与共生关系有助于提高AU检测模型的性能。(2)提出了一种弱监督双重注意力融合网络模型(Weakly-Supervised Dual-Attention Fusion Network,WS-DAFNet)。WS-DAFNet 利用双重注意力机制指导网络从多个维度选择性地提取深度特征并捕获AU相关性。为确保引入注意力的合理性,WS-DAFNet网络还设计了一个弱监督学习模块自适应地校正注意力图。此外,将能够捕获面部整体空间属性的全局特征与捕获细微局部外观变化的局部特征的有效融合也是WS-DAFNet能够准确检测AU的关键点。BP4D表情集上的实验结果表明,与目前流行AU检测算法(EAC网络)相比,所提WS-DAFNet模型的识别精度和F1分数分别提高了 3.7%和4.5%。(3)提出了一种时空协同的AU深度网络模型(Spatial-Temporal Collaborative AU Network,StAUNet)。StAUNet联合考虑空间关系表示、时序建模和AU共生性,通过三者的协同决策,达到了 AU检测方面的主流水平。BP4D表情集上的实验结果表明,相较于目前最先进的AU检测算法(即EAC-LSTM网络),所提StAUNet网络的F1分数显著提高了 7.9%,证明了空间关系表示、时序建模和AU共生性对于AU检测的重要性。