人类的情绪识别技术是目前人机交互,计算机视觉与模式识别领域一个重要的研究领域。在该领域已经有较多出色研究。现有研究多数是基于单一视角进行的,例如基于生理信号的情绪识别,基于语音的情绪识别,基于RGB图片或视频的情绪识别。然而在许多情绪识别场景中,人的情绪可以从多个角度、甚至通过多种传感器得到观测,因此近年来多视角学习已经与情绪识别越来越多地联系了起来,如何统一地充分利用不同视角提供的丰富信息且克服其差异性,是这类研究的重点和难点。多视角学习又被称为数据融合或数据整合,主要包含三类方法:联合训练,多核学习与子空间学习。作为一类被广泛研究的算法,子空间学习认为不同视角下分布的数据来自不同的空间,且这些空间均由一个潜在的公共子空间获得,子空间学习的目标就是获取该公共子空间且得到各视角样本在公共子空间中的表示。另一方面,RGB-D摄像机近些年在工业界和各类室内场景中得到了广泛应用。RGB视角关注于常规的色彩变化与差异,Depth视角关注于空间信息与深度,RGB视角与Depth视角在情绪识别方面的联合运用有着很强的必要性和重要性,然而这方面的研究目前还较少。基于以上,为了将RGB视角与Depth视角充分联合并运用于情绪识别领域,本文对基于拉普拉斯图的子空间学习方法进行了探索。在对经典子空间学习及维数约减方法深入分析研究的基础上,本文取得了如下创新成果:(1)MvLE(Multi-view Laplacian Eigenmaps)基于拉普拉斯图将拉普拉斯特征映射(LE)扩展到多视角和有监督形式,并提出其Out-of-Sample方法,应用于RGB-D情绪识别。提出样本近邻标签袋(Bag of Neighbors,BON)模型用于度量RGB视角与Depth视角的相似性和差异性,构建全局拉普拉斯图来记录两个视角中所有样本相互之间的距离,并寻找可以保持样本间距离关系的最佳子空间。为延续良好的非线性性,使用双隐层网络对其进行Out-of-Sample扩展。该方法也适用于更多视角的应用场景。(2)MvLLS(Multi-view Laplacian Least Squares)基于拉普拉斯图将偏最小二乘(PLS)扩展到多视角和有监督形式,并提出其Out-of-Sample扩展,应用于RGB-D情绪识别。该方法使用BON判断样本之间的联系性,为了尽量保持原始样本的分布特性,使用降维(DR)方法将其统一到相同维度进行度量并建立全局拉普拉斯图。该方法中运用迭代法获得了良好的鲁棒性,还可在运算中估计子空间的本征维度。为保持样本在原始空间分布的局部特性,并且构建了基于局部线性嵌入(LLE)的Out-of-Sample方法。该方法同样适用于更多视角的应用场景。两种方法均具有很好的可扩展性和鲁棒性,甚至可以在不同视角样本数量不同或类别数量不同的情况下正常运行。综上,本文主要提出了两种基于拉普拉斯图的子空间学习方法及其Out-of-Sample方法用于RGB-D情绪识别,并将传统LE和PLS扩展到多视角场景。实验结果表明,相比于同类型方法,本文的工作具有良好的鲁棒性,并且具有较好的可扩展性,可以有效描述并保持局部关系和类别判别关系,而且样本在所得子空间中的低维表示具有良好的分类特性。