面部动态增强现实指的是在自然条件下以实时的面部表情注册及姿态估计为主要研究对象,以实现虚实面部信息叠加为目标的应用研究。在诸多该类型的应用研究中,如以用户脸部为主要增强对象的可移动式虚拟化妆销售平台、人脸修图、卡通化等诸多应用领域均对面部的表情定位及姿态估计有着较高的要求。在以面部动态为主要特征的增强现实应用研究当中,人脸特征点检测方法的研究是虚实人脸匹配及融合的基础与关键。近十几年来,在约束条件下的人脸特征点检测得到了广泛而深入的研究,取得了大量的成果。在这些成果当中,不难发现现有方法在自然条件下的检测率和定位精度,无法较好地满足针对面部区域为核心的增强现实应用中人脸定位以及虚实人脸融合的需求。在此背景下,本文开展了针对面部姿态较大、复杂面部表情等人脸定位难的情况下人脸特征点检测方面的研究,为基于面部动态增强现实系统在无约束条件下的应用提供了坚实的基础,进一步提升了自然条件下虚实人脸融合的呈现效果。在上述应用背景下的人脸特征点检测主要挑战来源于以下几点:人脸的外观以及局部纹理随着种族、性别和年龄而存在着较大的差异;人脸结构也由于人脸姿态以及表情的不同而表现出较明显的变化;自然环境下所采集到的部分人脸图像中存在着人脸被遮挡的情况,其所提特征训练后的人脸形状模型不稳定;在人脸特征点提取周围特征所造成的高维特征堆积的问题。本文针对上述四个难点,着重研究了基于稀疏编码的人脸形状建模、针对人脸姿态较大以及表情复杂等面部条件下人脸特征点的检测以及高维特征模型的压缩处理。本文的主要研究内容及创新点如下:1.提出了基于稀疏约束的人脸特征点检测方法。所提方法基于稀疏编码的思想,采用级联回归的学习框架,使用受稀疏约束的重构模型来迭代搜索人脸特征点位置。该方法首先通过大量图片数据来学习较稳定的稀疏特征字典,然后结合人脸局部纹理信息进行特征编码以进一步抽象特征,最后学习出从人脸特征编码到人脸形状坐标增量的回归函数。2.提出了一种基于递归形状重建的人脸特征点检测方法。考虑到许多人脸图像在自然条件下存在着人脸表情、姿态的变化,以及图像中人脸局部区域遮挡导致的人脸特征点检测难的问题,提出了一种鲁棒的人脸形状稀疏重建的方法。该方法不仅对人脸局部特征存在稀疏约束,并对整体人脸形状存在全局约束。该方法将人脸局部特征的学习与全局人脸形状的学习进行了有效地结合。为了使该方法达到较好的特征点检测效果,本文还在模型参数的学习中采用了多初始化与多参数相结合的策略,使之对自然条件下存在的较大人脸姿态及复杂面部表情具有较好的检测精度。3.提出了面向模型压缩的人脸特征点增强方法。在上述两个人脸特征点检测方法中,为了达到较好的检测效果,需从人脸图像中提取大量的特征,并对这些特征进行学习。同时在处理姿态变化和部分遮挡的情况下,需要保持适度的训练模型大小以及计算效率。针对上述需求,本文提出了一种面向模型压缩的人脸特征点增强方法。在该方法中,将数据库中预定义的特征点数量和位置进行选择性压缩,针对压缩后的人脸形状进行模型学习。通过不同数量人脸特征点所对应的稀疏系数之间进行回归近似,求解出相应的回归映射函数,并重建完整的人脸形状,实现人脸特征点增强的目的。4.完成了基于面部动态的数字化“川剧变脸”。将上述针对自然条件下进行的基于稀疏编码的人脸特征点检测方法与面向模型压缩的人脸特征点增强方法相结合,提出了基于面部动态的人脸特征点检测方法。该方法针对面部姿态较大、复杂面部表情以及存在的部分遮挡下的人脸特征点进行定位,旨在解决数字化“川剧变脸”中复杂面部环境下的虚实脸部融合问题。本文的研究以自然条件下人脸区域为主要研究对象,在一定程度上提高了面部增强现实应用中人脸特征点检测方法的鲁棒性、检测率和定位精度,对基于面部动态的相关增强现实应用研究有一定的推动作用。