论文部分内容阅读
在人际交往中,面部表情是信息传递的重要方式之一,甚至可以传递语言不能表达的信息。研究人脸表情识别的计算方法,使得计算机能够根据人的表情信息,推断人的心理、行为状态,实现智能的人机交互,具有重要的应用价值。该研究涉及图像处理、模式识别技术、视觉认知等技术,具有很强的交叉性,是视觉信息计算领域重要的研究方向之一,具有较高的研究价值。然而面部表情识别因受个体形态的影响,目前仍是一个难点。本论文将融合技术应用于人脸表情识别的研究中,探讨通过多层融合实现具有不同表情辨识性能的表情分类器以及不同表情表征能力特征的集成,通过性能的互补性,提升识别算法对自然人表情认知的计算能力。本文以stacking融合算法为基础。针对多个分类器和多个特征的融合,分别探讨多分类器融合以及多特征和多分类器的层级融合计算方法,并将其应用于人脸表情识别中。本文主要工作如下:(1)多种表情特征的提取。在已有的研究成果中,形成了许多成熟的特征提取方法,但目前仍没有某种表情特征在表征能力上被证明具有明显优势。本文选取四种不同机理的特征作为表情识别研究的基础。(2)本文针对不同分类器原理差异,探讨多分类器融合性能,提出基于stacking的多分类器融合表情识别方法。该融合方法由两层分类器构成,即基层分类器和元层分类器,通过元层分类器融合基层分类器的识别结果,通过样本学习各分类器的贡献,建立多分类器融合模型,提高了分类识别能力。考虑到基层分类器之间的差异性,有助于利用分类器之间的互补性,提高融合识别方法的判别能力,本文采用kappa-error图对若干备选分类器进行筛选,在折衷分类器对的融合错误率和多样性性能基础上,确定基层分类器。(3)人脸动作单元(Action Units,AUs)具有独立于个体人脸形态的特性,用于定义单元块动作,因此,在检测AU基础上建立人脸表情特征,可以消除个体人脸差异影响,有效的描述表情的内在特性。本文以表情动作相关的AU识别为基础,将表情图像包含指定AU的概率为基础构造表情特征向量,进行表情分类,提高了表情识别效果。结合stacking融合算法,提出基于AU描述的多层表情识别方法。利用该融合方法的基层给出表情图像包含AU的预测率,形成AU预测率组成的联合特征向量,由融合方法的元层给出最终的表情分类。最后,本文利用多种性能评价指标为基础,对提出的两种融合方法分别进行了广泛实验。实验结果表明,基于stacking算法的多分类器和多特征融合表情识别方法,相对单分类器、投票等融合方法具有更好的识别效果,与主流表情识别算法比较,识别性能有所提升。