表演驱动的表情动画实时合成技术是一项根据演员的面部表情动作实时驱动虚拟化身的脸部模型做出相同表情的技术,在视频游戏、远程会议、虚拟现实、人机交互等方面都有广泛的应用,近年来一直是多媒体技术领域的一个研究热点。本文在研究表演驱动的表情动画合成关键算法的基础上,开发实现了一套表演驱动的实时人脸表情动画合成系统。本文的主要工作内容和创新性成果如下：1.提出了一套表演驱动的实时人脸表情动画合成系统方案,该方案首次将骨骼蒙皮模型用于表演驱动的人脸表情动画合成系统。骨骼蒙皮模型是一个仿生模型,与其他模型相比,具有真实感强、易于驱动的优点。该系统具有实时、易用(用户使用前不需要任何训练过程)和对用户无侵入的优点。2.表演者人脸的检测和跟踪。本文提出首先使用Viola-Jones算法进行人脸检测,然后采用Mean Shift算法进行人脸跟踪。针对Viola-Jones算法时间复杂性高和Mean Shift算法对背景色彩鲁棒性差的问题,本文进一步引入了基于深度图的预分割技术,改善了系统的时间效率和鲁棒性。3.人脸模型表情控制参数的生成。本文提出首先利用彩色图像,采用AAM算法对人脸二维特征点进行定位,然后利用已定位的二维特征点作为约束条件,结合深度图像生成三维人脸模型-Candide-3模型中的人脸表情参数。彩色图和深度图的综合使用,改善了所生成动画参数的准确性和稳定性。4.原型系统的开发。结合算法研究,本文开发实现了一套表演驱动的实时人脸表情动画合成系统,采用3ds Max软件绘制人脸骨骼蒙皮模型,使用微软Kinect采集表演者面部的RGB-D视频,软件处理后生成表情动画控制参数,通过MIDI通信协议传送给3ds Max,驱动人脸骨骼蒙皮模型,合成表情动画。实验表明,该系统可以将表演者的常规表情有效地克隆到虚拟人脸模型上,以30帧／秒的速度合成表情动画。