面部表情识别是情感计算领域的重要研究课题之一。该研究不仅对于完善情感计算的理论体系有着重要学术价值，而且对于推动未来具有高附加值潜力的服务业（如远程教育、交通安全、电子商务和医疗等）的发展，实现“以人为本”的自然和谐的信息环境有着引人注目的现实意义和发展前景。本论文结合可见光和红外图像，对表情识别进行了探讨，主要工作如下：　　 (1)提出融合二值图像和灰度图像序列的可见光表情识别。通过融合二值图像和灰度图像序列运动场，提取眉毛、鼻子和嘴巴部位的运动方向和运动强度特征，并基于概率统计的方式计算待测表情分别属于各类表情的概率大小，以投票方式给出识别结果。　　 (2)提出基于温度差值的红外表情识别。提取出差值图像的额头、左右脸颊以及嘴巴区域的温度变化作为特征，并采用K-近邻分类器进行表情识别。　　 (3)在可见光图像和红外图像识别的基础上，提出三种决策级融合的表情识别方法。第一种方法是当待测图像序列在可见光下出现等概率的识别结果时，以对应的红外图像识别结果作为最终的识别结果。第二种方法是通过对可见光识别结果和红外图像识别结果设置不同权重来给出最终的融合识别结果。第三种方法是利用神经网络的方法进行融合识别。