近年来,情感机器人发展迅猛,在机器人领域中占据很重要的地位,它的情感识别和情感理解表达能力使得人与机器人之间不再是机械化地交流,而是像人与人之间那样和谐自然,这就需要机器人在识别人类情感与理解人类情感和传达各种情感的能力上愈来愈强。本文旨在通过建立情感模型,结合图像识别技术和表情动作控制技术,以机器人做出不同表情为情感表达方式,搭建了人机情感交互系统,实现了机器人识别人脸、复现人的面部表情以及表达机器人内部情感的功能。在设计过程中,主要进行了以下研究:(1)从预处理后的人脸图像中提取人脸的Haar特征并且建立Ada Boost级联分类器,运用Open CV中的级联训练器在本文所用的人脸数据库上进行训练以及测试,并将几种人脸检测算法进行了实验比较,在检测率和检测时间上本文所用的人脸检测算法综合性能最高,并且能满足实时检测的需求。(2)针对PCA在对光照和人脸表情变化的特征提取上鲁棒性较差的问题,在基于PCA的人脸识别算法中引入了LBP局部二值化算子,先提取人脸图像的分级LBP局部特征和全局特征,之后进行特征拼接以及PCA降维,将这些从人脸样本集中提取的特征进行训练,然后将测试人脸图片按同等方式提取特征后输入训练好的模型得到识别结果。和传统算法相比,改进算法不仅人脸识别率比基于PCA的人脸识别算法高,并且识别速度能够满足系统要求。(3)研究对比了传统机器学习算法(PCA+LBP+SVM)、VGG-16网络、Res Net网络和Mobile Net-V2网络在人脸表情识别中的效果,发现卷积神经网络的识别效果要优于传统机器学习算法,并且轻量化网络的在识别精度略微下降的情况下识别速度比其他两种网络快的多,能够满足系统要求的实时表情识别。(4)基于PAD情感模型搭建了情感机器人的情感模型,介绍了外部刺激向量的标注方法以及利用GRNN网络训练得到情感自主响应,并且利用个性、心情、深度记忆对情感感应向量进行三重修正,然后将情感感应向量进行离散分类,得到具体的机器人情感,最后设计了人机情感交互实验,仿真了机器人情感变化。实验证明机器人在该模型下能够简单模拟人类情感变化规律。(5)分析了情感机器人表情动作原理,在FACS系统的基础上建立ESA系统,基于MATLAB实验平台搭建了情感机器人交互系统,并将视觉部分和PAD情感模型集成到以Frizs表情机器人为基础的实验机上进行了交互实验,不但实现了机器人识别人脸和复现人脸表情的功能,而且还能进行简单的人机情感交互。本文的研究将使机器人在与用户交流过程中能实时分析用户的情感,并且在交互过程中能自主情感表达,为后续情感机器人的技术研究奠定了一些基础。