面部表情是人类社交中传递情绪状态的重要方式之一,它与手势、语言、声音及肢体姿势一起构成了人类在社会环境中的基本交流系统。随着计算机性能的提升,以面部表情为对象的虚拟人脸表情显示技术的研究已成为当下计算机视觉领域非常活跃的方向之一。其研究成果广泛应用于虚拟教学、表情分析、混合现实、人工智能、电影特效制作等领域。本文提出了一种基于RealSense和Unity 3D驱动的实时虚拟人脸表情显示系统。本系统无需进行人脸标记,用户只需在自然环境下表演,并使用RealSense捕获用户的3D面部视频作为驱动即可。本文分别介绍了目前虚拟人脸表情显示领域的表情合成方案及相关的人脸建模技术,并分析了其优缺点,提出使用基于图像的建模技术方案,并使用基于人脸特征点驱动的虚拟人脸合成方案;本文使用RealSense采集的深度信息预处理图像,降低了背景对人脸检测追踪的干扰,基于LBP算子的Adaboost算法追踪检测人脸位置,并且使用均值漂移算法结合人脸肤色信息,交替检测追踪人脸,提高了捕捉环节的时间效率,增强了多角度人脸的追踪的能力;在捕获人脸的基础上,基于主动外观模型检测算法,结合全局的纹理和几何信息,提取人脸特二维征点。针对基于表情编码系统建立的模型控制单元,对提取的二维特征点结合深度图信息,计算其变化趋势,传递给模型;结合之前的算法,在Unity 3D游戏引擎下实现了基于RealSense的彩色深度相机实时检测追踪人脸驱动的虚拟人脸表情显示系统。原型系统已在普通电脑平台上实验和测试。实验结果表明,该技术方案提高了系统的时间效率,同时增强了对复杂背景下的人脸动画的鲁棒性。人脸模型可以模仿表演者的基本表情面部表情,且面部动画每秒可以达到30帧的视频拍摄速度。相比于现有其他虚拟人脸表情显示技术,本系统成本更加低廉,且易于操作,可以适用于虚拟现实,游戏娱乐等领域。