人脸识别技术越来越多地应用于当今世界的各个场景与产品中。人脸识别是实现自然的人机交互(HCI)的基本手段之一。情绪识别是进一步研究人机交互的重中之重。情绪的复杂性使得信息采集的这一任务在这项工作中变得更加困难。本文在研究了人脸识别与情绪识别方法后,结合实验室已有的NAO机器人,设计了一个初步的人机交互系统。本文主要的工作如下。首先介绍了一种应用LBP算子进行图像预处理的方法。利用LBP特征的旋转不变以及灰度不变两大特性,对图像中光照引起的噪声进行了消除,同时减少了训练模型所需的数据量。为了获取更准确地人脸信息以便用于情绪识别,我们对图像中的人脸进行了三维重建。与常规进行人脸重建时不同的是,在卷积神经网络模型训练时对输入图像应用LBP算法进行预处理,相比于直接输入RGB图像可以有效减少训练集中由于光照因素所带来的干扰,提高了模型的准确率。接下来建立了一个多模态的实时人脸情绪识别系统,通过图像对进行人脸检测与情绪识别,利用声音作为辅助手段进一步提高识别的成功率与准确率。使用的CNN网络是一种改进的VGG-16网络模型,整个系统主要由语音识别器、人脸检测器以及情绪预测器构成。使用FER2013数据集和FER2013+数据集进行了实验验证,相比之前使用的FER2013数据集,FER2013+数据集中的图片更为清晰、标注更加准确,这也使得本文的系统相比之前具有更好的识别效率与准确率。最终结果表明本章节的系统对各个情绪都有一定的识别能力,尤其对于开心、惊奇与生气三种情绪具有很好的识别效果。最后设计了一个初步的人机交互系统,以NAO机器人作为机器人平台,将人类的情感传递给NAO机器人,再利用运动基元的设计将机器人的情感通过其行为展现出来,构建起人类情绪到NAO机器人动作之间的映射关系。使得NAO机器人能够对人类的情感做出相应的反应,表达相应的情感并传递给人类,完成和人类之间的交互行为。