论文部分内容阅读
人类面部行为的研究是计算机视觉领域和心理学以及人工智能的重要研究课题之一。相比面部表情的表达类别,面部动作单元能够更为全面的表述人类面部行为。当前的面部动作单元识别研究主要基于传统SVM分类,以及当下较为热门的深度学习方法。然而这些方法将人脸作为整体来识别面部动作单元,从而导致面部动作单元识别受到不相关部分的干扰。针对此,本文提出基于分块深化网络的面部动作单元识别方法和基于RPN网络面部动作单元识别方法。论文主要的研究内容包括:(1)设计了基于分块深化网络的面部动作单元识别方法。首先,使用人脸检测方法对图像检测人脸,然后对包含人脸的图像进行面部标准化,去除与面部行为无关的部分。其次,使用分块深化网络面标准化的人脸进行分块卷积,从而将不同AU映射到不同分块,避免了无关面部分块对AU识别的干扰。网络结合了当下比较流行的目标检测网络的网络结构,进而,通过能够使得网络更有效的提取面部特征;最后,对提取到的Feature Map进行分类回归得到AU识别的结果。实验结果表明,本文提出的基于分块深化网络的面部动作单元识别方法效果优于传统的基于SVM的AU识别和当下较为流行的全监督AU识别方法。(2)提出了基于RPN网络面部动作单元识别方法。本方法在宏观思路是减少图像无关因素对面部动作单元识别造成的影响。与分块深化网络的面部动作单元识别方法不同的是,本方法主要改进点是网络末端对面部关键位置提取从而对面部动作单元进行识别。首先,将输入图像进行人脸定位裁剪,并将裁剪到的图像输入特征提取网络进行特征提取。然后使用RPN网络定位面部关键位置(与AU强相关的部位),定位到的关键位置的特征图进行面部基本表情识别。本方法的核心是将关键位置的特征图对其相关联的AU识别,并在识别过程中将表情识别结果作为输入。实验表明我们的方法在表情识别和面部动作单元识别都取得了不错的结果。(3)在上述工作基础上,实现了人脸表情迁移系统。系统主要实现人脸表情的实时迁移和表情文件的定义与在视频中提取表情文件。该系统主要采用了本文所提出的提出了基于分块深化网络的面部动作单元识别方法,并且采用了多种经典的人脸检测方法。