随着虚拟环境技术的迅速发展,用户需要与虚拟环境进行更加智能化、情感化的交互。面部表情是人类传递情感的主要媒介之一,具有面部表情的虚拟角色能够传递更加细致丰富的情感,增强虚拟环境的实用性。现阶段虽然出现了一些高质量的虚拟环境表情识别应用,例如3D电影中高保真的角色建模,但这类应用大多需要精密的3D仪器进行采集,且费时费力,难以在日常生活中进行推广应用。本文研究了静态表情识别和动态表情识别算法,构建了多库融合的深度信息表情数据库,对相关算法进行测试;并设计、实现了基于表情识别的虚拟环境自然交互系统,有利于以表情作为情感输入特征的人机交互应用。本文主要研究内容和成果如下:1.研究静态表情识别算法,提出一种融合深度图像和多通道特征的表情识别方法。采用灰度直方图方法提取深度图像熵、灰度图像熵以及彩色图像显著性特征作为纹理特征;利用主动外观模型,从彩色信息图像中提取出面部表情特征点作为几何特征;构建融合纹理特征和几何特征的多通道特征矢量;使用基于核函数多类支持向量机对融合特征进行分类并寻优。通过与传统单通道特征算法进行比较,验证了本文算法的鲁棒性和准确性。2.采用基于表情情感剖面的动态表情识别方法,对动态序列中表情图像进行分帧判定,并设计支持向量机分类器投票机制,完成动态帧序列表情识别。在三类头部姿态角以及三种光照强度变化的环境下进行性能测试,实验证明本文方法在上述严苛取景环境下仍能保持较高的识别率。3.研究了虚拟角色面部表情生成方法,设计了虚拟环境表情识别测试工具,实现了对虚拟人脸的建模和动画绑定。通过Kinect面部动作捕捉技术,获取特例面部表情模型,并对变形器进行权值配置,保证生成虚拟人脸动画的流畅性和真实性。在Unity环境中进行动画权值绑定和重定向,实现用户对虚拟人脸的交互控制。4.设计基于表情识别的虚拟环境交互系统。通过表情识别结果,设计虚拟化身和虚拟人的表情、动作反馈机制,实现基于表情的虚拟化身、虚拟人控制,增强虚拟环境的交互体验。最后,在虚拟实验室环境下,实现了虚拟环境交互系统各功能模块测试及系统性能测试,验证了系统的有效性。