面部动作追踪与动画驱动已经广泛的应用于影视、游戏、娱乐等行业中,主要依赖硬件设备捕捉并提取面部的动作,包括头部姿态、面部表情和眼球方向等,将这些运动参数映射到3D模型中,从而实现人脸动画的驱动。在影视行业中,对准确度的要求非常苛刻,依赖十分复杂的图像采集设备,例如多目或深度摄像头等,并且有需要人工操作的前后期处理过程;相反,应用于娱乐行业的方法,对实时性要求非常高,使用精简的方法仅提取极少的面部动作特征,虽然保证了实时性,但对动画细节的处理十分粗糙。针对以上问题,本文提出了一种基于运动捕捉的轻量级人脸动画实时驱动方法,使用单目摄像头同时提取头部姿态、面部表情与眼球朝向三个面部运动特征,并实时的驱动3D面部模型,完美的平衡模型的准确性、实时性、稳定性和模型的大小,能够在消费者级别的设备中实现实时的动画效果。首先,本文提出了一种基于注意力机制的多任务学习方法,同时对头部姿态、面部表情和眼球朝向三个特征进行学习,额外增加了共享层进行特征提取,每个子任务使用注意力机制提取当前任务关心的特征,并且提出了一种多任务权重动态分配方法,动态计算各个子任务损失值的权重,很好的平衡了特征提取的准确度和速度;其次,为了提升模型计算与动画驱动的速度,提出了一种新型的轻量级网络模块,有效降低了模型参数的数量,并且在驱动3D面部模型时,利用计算着色器加快Blendshape的计算速度;针对眼球追踪稳定性差的问题,提出了一种基于视频的眼球追踪矫正模型,有效的保证了相邻视频帧眼球朝向的稳定性。基于上述三个创新点,本文构建了一个轻量级的人脸动画实时驱动框架—RDLFA,该框架提供了基于运动捕捉的轻量级人脸动画实时驱动的完整解决方法,使用该框架本文设计并实现了人脸动画实时驱动系统。通过系统测试,该系统可以实时、准确、稳定的实现面部运动追踪与动画驱动,具有较好的消费者级别应用价值与娱乐色彩。