自动人脸表情识别(AFER)是近年来发展起来的研究热点,其目的是让计算机等机器辨认出人类特有的情感表现之一——表情。由于人表情的复杂、微妙等特性使得表情识别变得异常的具有挑战与艰巨性,就整个识别系统来说,主要表现在以下几个方面:(1)人脸数据获取的速度与准确率问题;(2)作为识别必要前提条件的面部关键特征精确定位问题;(3)表情特征的提取与识别问题。本文重点探讨了人脸表情识别中的上述关键问题。主要工作总结如下:1.从情感出发,在简要介绍情绪理论的基础上,全面综述了表情识别的研究历史与现状。讨论了情感计算在国际与国内的研究状况,介绍了情感的基础情绪的基本理论,重点而全面地综述了情绪的表达方式之一——面部表情的识别技术。将人脸表情识别工作划分为两个部分,概括地描述了表情识别的一般模型。根据表情识别的目的、手段将其分为三个阶段,对每个阶段的研究特点以及代表性方法进行了较为详尽的介绍。从面部特征自动定位、人脸表示模型、分类和识别算法三个角度对人脸表情识别领域的主要技术方法进行了分类整理,阐述了人脸表情识别的研究现状。简要介绍了几种主要的人脸表情库,总结了现有的主要人脸表情识别系统的情况。最后,本文讨论了人脸表情识别领域目前仍然面临的主要技术难题和开放问题。2.研究了基于肤色与模板的人脸检测问题,提出了一种基于肤色与梯度模板的人脸检测算法。人脸检测是人脸研究中的必要研究课题,已经出现了多种经典算法。但是基于肤色的人脸检测研究时间并不长。本文在前人对肤色空间的研究成果基础上,采用了一种新的人脸匹配模板——梯度模板,试图使其包含有尽量多的人脸信息。整个算法达到了肤色空间过滤大部分非肤色区域,人脸梯度模板准确检测的效果。3.研究了特征精确配准问题,对活动模板模型在搜索空间与搜索过程上做了一些改进。面部特征精确配准是鲁棒实用的人脸表情识别系统的基本前提。主动形状模型(ASM)是目前解决该问题的主流方法。本文详尽地分析主动形状模型(ASM)的工作原理,仔细地讨论了它的优缺点,并在此基础上,提出了三点改进:(1)针对经典ASM算法中模型空间构造的不足,在原模型空间的基础上加入了形状变化子空间,提出了最优搜索空间的概念,提高了原模型空间的模型表达能力(2)针对经典ASM算法及其以后的改进算法中没有任何对搜索结果进行评价的现实,提出了一种合理、简便、易行的评价方法,使搜索过程变得不再盲目,搜索结果更符合实际情况。(3)在第二步评价的基础上,针对ASM算法搜索过程中模型搜索和图像纹理搜索相互独立的缺点,提出了一种最优搜索算法,其中使用了反馈策略,使得两种空间的搜索结果互相约束,互相利用,搜索过程变得更加合理,智能。这些改进在一定程度上弥补了ASM算法中模型空间与搜索过程的不足,更能够比较精确地定位预定义的面部关键特征。为后续的人脸表情识别打下了良好的配准基础。4.研究了独立分量特征(IC)人脸表情表示方法,提出了一种AdaICA人脸表情识别新方法。利用独立分量作为特征进行判别分析,不仅是特征之间相互独立,而且还能充分利用变量的高阶统计量信息,具有很强的优势。但是它具有两个方面的缺陷:第一,独立基的获取结果很随机,并不唯一。第二,独立基的判别分析性能不稳定,有的独立基可能具有很强的识别能力,有的则相对较弱。总的来说是获取与选择独立基成为两大难点。针对这个问题,本文考虑了统计性原理,多次运行ICA算法,在此基础上,将Boosting策略创新性地应用于ICA特征的优化与选择,最终得到数目较少、判别分析能力较强的AdaIC特征,并最终通过对AdaIC特征的判别分析实现人脸表情识别——即所谓的AdaICA人脸表情识别新方法。在JAFFE与自选两个人脸表情图像库上的对比实验表明AdaICA方法可以有效提取判别特征,识别精度也比传统方法有了较大提高。5.研究了基于离散小波与离散余弦的人脸表情全局特征提取与分析方法。简单地研究了全局表情特征的提取问题,采用离散小波对图像进行压缩,利用离散余弦变换对压缩图像进行去相关、聚能运算,并将最终的对角拉直主要能量数据作为待识别特征。算法简单,实现容易。6.研究了基于局部特征的表情分析方法,提出了一种新的局部二元模式表情识别算法。由于表情是由一些局部肌肉变形组合而来,准确的局部特征在表情识别中应该具有很强的优势。但是以下几点需要注意:第一,采用的算法能够真正地提取局部特征,真正地反映局部的拓扑结构或者是空间信息,而不是将全局特征提取算法用在图像的局部上。第二,提取的特征对局部的变化很敏感,微小的局部变化都应该被反应出来,以保证准确地提取很细微的表情特征。第三,具有一定的组合能力,因为表情是局部形变的组合。基于以上几点考虑,本文引入了在图形学中具有很强描述纹理能力的局部二元模式(Local Binary Patterns,LBP)算法,改进了其中的三点对表情识别不利的因素:(1)将原图像经过小波包分解并在其它频率图像为零的情况下重构,得到了四幅与原图像大小相等的不同频率图像,在一定程度上增加了原图像的数据,改进了原算法数据量不足的问题。(2)将图像由粗到精的方式分为好多LBP直方图块,采用级联的策略串联每个块中的LBP直方图,这种提取方式的改进使得最终的特征同时包含有局部和全局的纹理信息,使得在识别的时候性能更鲁棒。(3)通过分析LBP图像的特征,提出了一种合理的定权策略,各种特征的组合一方面符合图像内容本身的信息特征,另一方面达到了一定的自适应要求。利用改进后的算法来进行表情判别分析,实验结果表明:本文的改进确实提高了原算法鲁棒性,增加了面部表情的识别率。