人脸表情识别是指利用计算机分析特定人的脸部表情及变化,进而确定其内心情绪或思想活动,实现人机之间更自然更智能化的交互。基于视频的人脸表情识别的研究对于增强计算机的智能化和人性化,开发新型人机环境,以及推动心理学等学科的发展,有着重要的现实意义,并最终产生很大经济效益和社会效益。 本文首先综述课题的研究背景,分析目前国内外已提出的主流人脸表情识别方法,重点对主成份分析方法、小波变换方法、光流模型和隐马可尔夫模型进行了详细阐述和比较。总体上,人脸表情识别方法可分为基于静态图像的识别方法和基于图像序列(或视频)的动态方法,这两类方法各有优缺点:静态方法简单快捷,但通常要求所处理的静态图像包含的表情处于极大或夸张状态;而动态方法侧重于对一般的视频流处理,以提取表情的运动特征并实现表情的可靠识别,该方法更具一般性,但模型复杂,计算量大,无法满足实时性要求。 为了满足实时性和可靠性要求,本文接着提出了基于图像差分的关键帧检测算法和基于Gabor小波变换的表情特征提取和识别算法,具体包括如下: (1) 对视频环境中采集到的每一帧表情图像执行Gabor小波变换,提取该帧的表情特征信息。为了更好地提取表情特征信息,需要对获得的正面表情图像帧进行尺寸归一化和灰度归一化处理,然后再进行Gabor小波变换。变换后的一系列小波特征向量表达了该图像帧的表情特征,故称之为表情特征弹性图。 (2) 跟踪变换后的表情特征弹性图序列,采用图像差分方法,检测表情特征处于极大或夸张状态的关键帧。即将每一种类表情对应的平静状态图像弹性图作为基准,将随后跟踪到的弹性图与该基准图像作差分,分析差分后的欧氏距离变化趋势及变化的时间间隔,选择变化幅度较大且合理的表情弹性图作为关键帧。 (3) 将检测到的表情关键帧作为典型的静态表情图像,提出基于弹性模板匹配和改进的K近邻分类算法识别该关键帧图像所对应的表情状态。通过学习,构造一定规模的表情模板库,将被测表情弹性图与模板库中的模板进行弹性匹配,选择最佳匹配的弹性模板作为最终的识别结果。 本文结合了动态图像序列和静态图像的识别技术,使得待识别的表情图像数量大为减少,同时,基于Gabor小波变换的表情特征提取算法能够最大限度地屏蔽光照条件和个人特征的差异。因此上述方法不仅使实时性和可靠性得到很好的权衡,还基本做到了与人无关(subject-independent)的人脸表情识別。 本文最后采用面向对象的设计方法给出了人脸表情识别的原型系统,并从实验角度验证了上述方法的有效性。