虚拟人全身动画包括肢体、人脸表情以及眼神动画。本文以生成高真实感虚拟人全身动画为研究目标。为实现该目标，本文重点研究了基于运动合成技术的虚拟人肢体动画生成方法，以及基于运动捕获技术的虚拟人肢体与人脸动画生成方法。首先，本文通过分析人体运动捕获数据中隐含的运动风格差异，设计了一个人体运动风格变换新方法，能将一段输入运动变换为任意风格的输出运动。其次，本文通过将已有的基于视频的人脸捕获技术与本文所提出的3D眼球跟踪方法相结合，展现了一个基于单目彩色相机的人脸表情与眼球动作同步捕获的实时系统。最后，在已有研究工作的基础上，本文通过架设一个彩色和深度相机来同时捕获肢体、人脸表情以及眼球动作，从而以低成本的设备生成高真实感虚拟人3D全身动画。本文重点对运动风格变换、基于彩色相机的人脸和眼球动作同步跟踪，以及人脸与肢体运动同步跟踪等关键技术进行了深入的研究，并取得如下研究成果:　　(1)提出了一种基于混合自回归模型的人体运动风格实时变换算法　　已有的人体运动风格变换方法均能够处理诸如走路、跑步等同质运动。但是在实际应用中，输入运动必然会存在异质且未经过标注的情况，已有方法均无法有效地处理这种情况，也就极大地限制了它们的泛化能力。　　针对该问题，本文提出一种基于混合自回归模型的人体运动风格变换新方法。该方法是一种在线学习算法，它自动地对输入运动的每一帧通过K近邻检索的方式建立一簇局部自回归模型，然后通过这些局部回归模型来刻画输入运动和输出风格化运动之间复杂的时空关系。实验表明，该算法能够用于变换多种类型输入运动的风格，包括运动捕获得到的运动、Internet上的运动、美术师创造的运动以及计算机合成的运动，由此展现出强大的泛化能力。与已有方法相比，本文的方法是第一个能够有效地处理异质且未标注输入运动的方法，而且能够得到更自然的变换结果以及更低的变换误差。　　(2)提出了一种基于单目彩色相机能够同时跟踪3D人脸表情、头部姿势以及眼球动作的实时算法　　基于单目彩色相机的人脸表情捕获一直以来是虚拟人人脸动画领域的研究热点。然而，现有方法都只是跟踪人脸表情和头部姿势，而忽略了人脸运动中一个重要的组成部分，即眼神。所以，同时跟踪3D人脸表情、头部姿势以及眼球动作是一个亟待解决的问题。这个问题的难度在于人脸表情、头部姿势以及眼球动作往往是相互交织在一起的，而单目彩色相机又缺少深度信息。最重要的一点是，跟踪算法需要对任意用户都有效，这就意味着算法需要克服不同人的脸型以及眼睛的形状和外观。　　为此，本文提出一种基于单目彩色相机能够同时跟踪人脸表情、头部姿势以及眼球动作的算法。我们的主要思想是将现有的3D人脸捕获系统和一个3D眼球跟踪器有机结合在一起，形成一个完整的跟踪算法。我们首先对输入视频的每一帧进行2D特征点检测，这些特征点被用来重建人脸的3D头部姿势和粗尺度的人脸表情参数。其次，我们引入一种适用于不同人的瞳孔像素检测器，通过它来抽取当前帧的瞳孔像素。然后，我们把瞳孔检测的结果和3D头部姿势相结合，将眼球跟踪问题形式化为一个最大后验概率模型，并且使用重要性采样方法来推断最佳的3D眼球状态。最后，为使得算法更加鲁棒和有效，我们提出一种闭眼检测器来有效地检测用户是否闭眼。我们在实时视频流和Internet视频中测试了所提出的跟踪算法，取得了很好的视觉效果。同时，我们和Face++基于深度学习的方法做了定量对比。实验表明，我们的跟踪算法能够得到视觉上更加准确的3D眼球动作。　　(3)提出了一种基于彩色和深度相机的人体全身运动跟踪算法　　随着高帧率彩色和深度相机的普及，如何使用这些低成本且易于架设的设备来捕获肢体动作和人脸表情已经变成虚拟人动画领域一个热点问题。事实上，虚拟人全身动画包含肢体动作、人脸表情以及眼神动画。然而，现有的大多数运动捕获方法均忽略了其中一个方面，这将会导致虚拟人在表达情绪的时候，观众只看见它肢体动作而脸部却面无表情，或者只看见脸部表情而肢体却是僵硬的，从而降低虚拟人动画的真实感。因此，如何利用彩色或者深度相机等低成本设备来捕获高质量的人体全身运动是一个亟待解决的问题。　　针对该问题，本文在已有研究的基础上，提出一种基于彩色和深度相机的人体全身运动捕获算法。首先我们在时间上同步彩色和深度相机，利用彩色相机来捕获人脸运动、利用深度相机来捕获肢体动作。其次利用人脸和肢体在头部姿态上的相关性约束将人脸运动和肢体动作同时进行跟踪并获得同步的肢体动作和人脸运动数据，最后利用这些数据产生高真实感的虚拟人全身动画。为验证全身运动捕获的重要性，我们将只有人脸表情或者肢体运动的动画与全身动画进行视觉上对比，并且组织了用户调研实验。实验结果表明拥有协调的肢体动作和人脸表情的全身动画提高了视觉上的真实感。