随着人们对计算机人机接口友好性需求的不断提高，人机智能交互研究得到越来越多的关注。人脸表情识别是人机交互的一种重要方式，通过分析人脸表情，可以获得真实的人类情感信息，从而实现智能的人机交互。表情识别主要分为基于图像和基于视频两大类。本文主要研究基于视频的表情识别。隐马尔科夫模型（HMM）融合了空域和时域信息，因而具有优良的识别效果。出于简化考虑，当前HMM方法一般采用固定状态数，并取均匀分布的帧间隔。然而表情动作的节奏存在明显的个体差异，这种方法划分得到的表情区间与真实表情变化之间往往是失配的，严重影响了HMM的性能。基于图像的表情识别主要利用面部纹理特征，对运动特征是很好的补充。但传统方法所取面部图像不能保证最佳表情饱满度，会影响识别效果。考虑分析视频中表情变化趋势，自动提取对应于最佳表情饱满度的图像帧，提高识别效果。本文设计了一个结合动态与静态特征识别的表情识别方法，主要工作如下：一、表情分割：通过分析面部特征运动能量变化曲线，在一段视频中自动确定每个表情的起始帧与结束帧。二、状态数和状态帧提取：通过对不同面部区域运动能量变化规律的统计分析，自动确定状态数和对应状态帧，作为HMM的状态。三、HMM模型训练与识别：状态数和状态帧已确定，采用几何运动特征对HMM进行训练与识别。四、基于表情饱满的静态表情识别：选取表情最饱满时的状态帧，提取Gabor纹理特征，利用弹性匹配模板进行识别。最后将识别结果与HMM识别结果进行加权处理，作为最终识别结果。算法中实现了人脸检测和特征点提取与跟踪。人脸检测采用Haar特征与AdaBoost算法。特征点提取中采用了形态学、投影分析、角点检测和光流场等算法。特征点的检测与跟踪，为运动能量分析提供了数据。实验采用USTC-NVIE数据库，与单一的动态特征HMM表情识别相比，本系统的识别结果有较大提高，满足实验要求。