面部动作捕捉旨在通过计算机技术捕捉人脸的关键点运动(如嘴角、眼角、眉头等)、三维姿态与表情变化,进而生成三维人脸模型并驱动三维虚拟角色表演。近年来,随着计算机视觉与图形技术的发展,面部动作捕捉技术成为当前动画学科研究的一个重点,并广泛应用于智能人机交互、虚拟现实与增强现实等领域。基于单目视频的面部捕捉是面部捕捉领域非常有潜力的发展方向,对于大众用户也是一个更切合实际的解决方案。本课题继续深入研究基于单目视频的智能化面部动作捕捉技术,主要研究其中涉及的机器学习与计算机视觉方面的回归优化问题。基于单目视频的面部动作捕捉研究中的关键问题是人脸跟踪、人脸关键点定位、以及三维姿态与表情估计。围绕上述问题,针对当前方法在复杂场景下存在的问题与不足,本文深入研究抗遮挡的人脸跟踪、人脸关键点定位中的多姿态回归问题、部分遮挡与大幅光照污染下的鲁棒回归问题以及三维姿态、表情等多参数优化问题。本文的主要研究内容如下:1)为了克服人脸跟踪过程中目标遮挡、目标消失等严重影响跟踪效果的情况,本文在经典稀疏表示跟踪算法的基础上,提出加入拓展模板(固定模板和近况模板)的方法来提高跟踪精度和抗遮挡能力。在多个基准数据集的实验测试表明,加入拓展模板的稀疏表示跟踪算法,在保持原有算法优势的前提下,显著地提升了跟踪算法应对遮挡问题的能力,并增强了遮挡后重新捕获目标的能力。2)针对当前关键点定位方法无法有效处理大幅姿态变化以及在户外等无控制条件下容易失效的问题,本研究基于非线性优化理论,提出了符号相关监督下降回归方法。与以往方法在多姿态数据集上训练一个全局模型不同,本文在分析特征和形状与目标姿态之间内在相关性的基础上,将其投影到公共子空间中进行姿态分离,从而在姿态一致的样本子集上训练不同模型。在多姿态数据集上的实验表明,本文方法可以准确分离不同姿态的样本。与当前其他方法的对比实验表明,本文方法在保持同等的预测速度的情况下,能提高多姿态场景下的定位精度。3)在多姿态关键点定位中,部分遮挡与大幅光照问题等造成的人脸污染会导致明显的定位偏差,针对此类问题,本文提出了一种新的基于低秩-稀疏表示的鲁棒回归方法。与现有多数鲁棒回归方法不同,本文方法可同时进行污染人脸恢复和回归优化。相比当前适用于单姿态或单表情场景下的低秩约束鲁棒回归方法,本文中的低秩-稀疏表示约束更加符合多姿态、多表情场景下的污染人脸去噪和建模。本文基于线性化轮换方向法(LADM),给出了模型的迭代优化算法,并分析了算法的收敛性与计算复杂度。合成数据上的实验验证了本文方法的收敛性与多子空间回归能力。在多个公共数据集上的对比实验表明,在多姿态、多表情复杂场景下,本文方法提高了污染人脸回归精度,并降低了人脸恢复误差。对于多姿态下部分遮挡与大幅光照造成的污染人脸,关键点定位精度得到提高。4)针对现有三维姿态与表情回归方法不能很好处理大幅表情变化与平面外姿态变化的问题,本文提出了一种基于三维双线性模型的多参数监督坐标下降法。与直接学习全部参数与图像特征之间映射的方法不同,本文通过坐标下降的方式逐步分离学习每种参数映射。由于姿态、表情和人物系数等不同参数对二维关键点位移的贡献不同,各参数分离学习减轻了整体学习带来的交叉效应。在多个网络视频上的对比实验表明,本文方法的三维人脸重建精度可信度更高,二维关键点定位误差更小,相比于现有回归方法,可更好地估计平面外姿态变化和表情变化。最后本文将各部分研究内容集成为一个单目面部动作捕捉系统,实现了在多姿态与表情、部分遮挡以及光照变化等复杂条件下的稳定三维面部动作捕捉。