作为智能机器,类人机器人不仅需要具有与人相似的外表,还需要拥有跟人一样的情感感知能力和情感表达能力。而表情是情感感知最主要的载体,也是情感表达最直接、最明显的方式。因此,研究类人机器人表情识别与表情再现方法对提高机器人情感交互能力具有重要理论意义,对推动类人机器人走向实用化也具有重要应用价值。本课题从读懂情感的“脑”和富于表情的“脸”两个角度,对多姿态表情特征描述、区域特征融合、头部姿态估计、时序特征提取、机器人表情再现策略等问题进行深入研究。主要研究内容和成果如下:(1)在自然人机交互中,为赋予机器人读懂情感的“脑”,提出两种基于区域特征融合的多姿态表情识别方法。首先,在多姿态表情特征提取方面,结合主动外观模型和梯度方向直方图,构建一种多姿态表情特征描述子,一方面采用多姿态模板提高特征点的定位精度;一方面利用区域梯度方向直方图描述局部表情细节。然后,在区域特征融合和分类方面,鉴于人脸表情细节更多集中于眉毛、眼睛、嘴巴等区域,在提取区域多姿态表情特征基础上,基于模糊聚类算法构建一种区域特征级融合的多姿态表情识别方法;进一步考虑区域特征的可信度和支持度,提出一种基于Dempster-Shafer证据理论的区域特征决策级融合策略。从特征提取和区域融合两个角度,提高多姿态下机器人表情分类正确率,这是本文在机器人多姿态表情识别方面的创新。(2)在准确感知表情基础上,为赋予机器人富于表情的“脸”,提出一种基于单帧图像的机器人表情再现方法。首先,鉴于表情再现中头部姿态与面部表情的相辅相成,利用相关向量机实现头部刚性特征与姿态控制电机的非线性映射,完成刚性头部运动与非刚性面部表情的协调一致。然后,为实现电机控制空间到面部表情空间的映射,基于能量守恒原则构建机器人面部前向机械模型,并通过加权目标函数的优化实现机器人单帧表情图像的再现。机器人头部姿态的精确估计和面部表情的逼真模仿,这是本文在机器人单帧表情再现方面的创新。(3)针对机器人单帧表情再现算法在多帧表情模仿中存在相似度低和电机跳变的问题,提出一种基于表演驱动的机器人多帧表情模仿方法。该方法在前向机械模型基础上,进一步构建基于径向基函数神经网络的电机时序预测模型。通过在优化目标函数中融合两种模型,一方面保持机器人单帧表情模仿的相似度;一方面维持机器人连续电机运动的平滑度,这是本文在机器人多帧表情模仿方面的创新。(4)鉴于面部表情模仿是一天然的时序过程以及进一步改善动态表情模仿的时空相似度和时空一致性,提出一种基于时序特征的机器人在线表情迁移方法。该方法在利用Kinect捕获面部运动信息的基础上,一方面引入拉普拉斯变换描述底层表情语义,一方面基于表情活动单元和表情形变特征构建高层表情语义,并融合两种语义以实现动态表情的时空特征提取。然后,基于时间递归神经网络构建表情时空特征到电机控制时序的逆向机械模型。这种基于时空特征和时序模型的构建方法,一方面能够实现前向机械模型与电机时序模型的统一,达到机器人表情模仿的时空一致性;另一方面能够直接完成表情时空语义空间到电机控制空间的映射,简化选优步骤,提高表情迁移效率,这是本文在机器人在线表情迁移方面的创新。