手势动作是肢体活动中最灵活自由、最具表现力、受限度最低的一种动作类型,被广泛地应用在人机交互中。表面肌电信号(Surface,Electromyography,s EMG)是伴随肌肉收缩产生的一种重要生物信号,直接反映人体运动意图,不受环境因素影响。因此,基于s EMG的手势识别成为自然人机交互研究中的热点。自然的人机交互系统不仅要提供机器人与人之间友好的动作交互,而且要提供情绪交互。自动面部表情识别(Facial expression recognition,FER)使机器人能够理解人类情绪变化,有助于用户情绪健康,成为人机交互的重要内容。然而,目前大多数商用或实验室研制的肌电信号采集系统虽可以无线传输数据,但该类设备的可用通道数较少或柔软性、便携性差或识别手势数量少。另外,在复杂自然场景下的FER任务仍是一个挑战性问题。针对上述问题和面向自然人机交互对于物理交互和情绪交互两方面的应用需求,本文将对手势与表情识别技术及其在自然人机交互中的应用进行研究,主要工作包括:(1)设计手势感知、识别与控制系统整体方案。构建基于s EMG的手势感知系统。设计与实现智能可穿戴式臂环(SWA)。测试SWA对上肢s EMG信号的采集、预处理和无线传输功能,验证本研究构建的基于s EMG的手势感知的可行性与有效性,为本文后续s EMG信号特征提取与优选、基于机器学习的手势识别与交互奠定基础。(2)基于本研究构建的手势感知系统,研究9种机器学习算法和5种归一化方法对6种分类器性能指标的影响。研究最优电极采集位置以及传感器通道数量,采用遗传算法优选特征。9种手势平均离线准确率和实时准确率分别为99.88%和96.20%,五指灵巧手实时模仿用户手势,验证基于s EMG的手势感知系统的可靠性、基于机器学习的手势识别算法的高效性和在自然人机交互中手势交互的实用性。(3)在面向自然人机交互的表情识别与表情驱动方面,针对复杂自然场景下的表情数据集存在的样本不平衡问题,提出基于c GAN的深度网络模型用于人脸表情识别,解耦人脸情绪表征与其他变量(如身份等),进行表情编辑与样本平衡。提出的算法在两个公开表情数据集(Affect Net和RAF-DB)上优于其他已知算法,验证基于机器学习的表情识别算法的有效性。设计运动单元(AUs)和Unity3D变形目标(MTs)的映射关系,捕获、解析与驱动面部表情,实现3D虚拟人物实时模仿用户面部表情,验证基于运动单元(AUs)驱动虚拟人物表情应用于自然人机交互中表情交互的可行性。