近年来,随着智能终端设备的发展,人们对个性化交互的需求越来越多。由于对人类面部表情的研究可以广泛应用于个性化交互,因此表情识别越来越受到研究人员的关注。目前对于表情识别的研究主要基于可见图像和视频,易受光照影响,在自然光照下不够鲁棒。热红外图像反应的是面部的温度信息,不受光照影响,但是不包含对表情识别很有用的几何信息和纹理信息。因此融合热红外图像和可见图像进行表情识别具有重要的现实意义。本文称训练期间和测试期间都要求有两种模态的信息的融合方法为显性融合,训练期间用两种模态的数据而测试期间只要一种模态的数据的融合方法为隐性融合。考虑到热红外图像在现实生活中获取的途径比较少,基于多波段隐式融合的表情识别更具有实用价值,因此本文对基于多波段隐式融合的表情识别做了两个方面的研究。另外,针对红外图像不易获取的现状,本文对热红外图像的生成做了初步的探讨。具体内容如下:(1)提出一种基于红外增强的可见特征的表情识别方法。首先,对可见图像提取主动外观模型参数和头部运动特征;对红外图像提取温度统计特征并进行特征选择。其次,基于典型相关分析构建新的特征空间。最后在映射到新的空间的可见特征上训练支持向量机。NVIE库和Equinox库上的实验结果表明,通过红外隐式的增强可见特征可以提升表情识别效果。(2)提出一种基于热红外增强可见分类器的表情识别方法。首先分别提取可见特征和热红外特征并对提取的特征进行特征选择。然后在可见特征和热红外特征上分别构建表情分类器,两个分类器通过一个相似性约束一起学习。NVIE库和Equinox库上的实验结果表明热红外增强分类器的表情识别方法可以有效利用热红外图像在训练过程中对可见图像的补充作用,构建更好的可见表情分类器。(3)提出基于可见图像生成热红外图像的方法,并基于生成的图像进行表情识别。使用的框架为生成对抗网络。生成网络分别使用了 U-net结构和编码解码结构,判别网络使用的是卷积神经网络。使用了两种目标生成函数生成图像,并对结果进行了比较。NVIE库的实验结果表明,生成对抗网络的框架可以被用来从可见图像中生成红外图像。像素级的约束可以提升生成图像的真实程度。