虚拟人的情感交互是近年来计算机动画、计算机视觉、人机交互以及模式识别等领域的研究热点。按照情感的复杂程度划分，用户的情感状态可分为单一情感状态和混合情感状态，如何让虚拟人准确地理解用户的情感并与用户进行丰富的互动是一项具有挑战性的工作。针对单一情感，本文设计并实现了基于视觉的虚拟人情感交互系统；针对混合情感，本文设计并实现了面向混合情感的虚拟人运动序列生成器。　　 单一情感是指只能为六种标准情感状态——恐惧、惊讶、厌恶、愤怒、高兴和悲伤中的一种的情感。基于视觉的虚拟人情感交互系统首先利用真实感人脸建模技术，通过用户输入一张正面人脸图片，自动地为用户生成一个真实感的虚拟人脸。然后利用嵌入式隐马可夫模型提取真人视频序列中的人脸表情，驱动虚拟人脸实时地做出相应的表情，丰富了虚拟人的情感。最后，我们设计了一个人头跟踪算法，实时地估计出真人视频中的人头姿势，驱动虚拟人脸在三维空间中做出相同的姿势，使虚拟人更加生动活泼。实验表明基于视觉的虚拟人情感交互系统使用户无需机械地操作计算机外设，只要在摄像头前做出各种面部表情以及头部姿势就能够向虚拟人传达情感，并得到虚拟人相应的反馈。　　 混合情感是指由上述六种标准情感状态按照一定的比例组合而成的一种混合的情感状态。面向混合情感的虚拟人运动序列生成器首先为六种标准情感分别构建了一个与之对应的身体运动片段数据库。每一个身体运动片段都记录了其所属的情感状态、情感强度、身体各关节的运动轨迹、持续时间和用户使用频率。对于一种特定的混合情感，运动序列生成器在对应的数据库中搜索出若干条能够表达当前情感状态的身体运动片段，并将他们组合成一条多模的情感表达序列，最后驱动虚拟人做出一段符合当前情感状态的运动。实验表明多模的序列表达能够更加真实地表达用户的混合情感。