人脸特征点可能包含眉毛、眼睛、鼻子、嘴巴、乃至人脸轮廓等部位。由于人脸特征点蕴含了人脸的语义信息,对人脸识别、表情分析、人脸姿态估计等都起着关键性作用而受到广大学者密切关注。近年来,人脸特征点定位在娱乐等行业也有着广泛的应用价值,如人脸动画、增强现实。目前,真实的非约束静态人脸特征点定位方法取得很大的成功,同时,已有研究者提出行之有效的人脸特征点跟踪算法,但在真实的非约束环境中,由于人脸会受到姿态、表情、光照和遮挡等刚性和非刚性因素的影响,准确地并长期跟踪人脸特征点仍具有很强的挑战性。所以,在真实的无约束环境下,鲁棒的长期人脸特征点跟踪仍然值得深入研究。本文主要的研究工作主要体现在以下几个方面:提出了一种人脸特征点跟踪系统,用于长期跟踪人脸特征点。该系统可以分解为人脸检测、跟踪和人脸特征点定位三大模块。由于不需要引入其他模块,从而简化了系统的复杂性。该系统的每个模块相对独立,具有高内聚低耦合特性,有利于系统升级。该系统虽然结构简单,但实验证明,该系统对真实的无约束环境的人脸特征点跟踪具有很好的鲁棒性和准确性。对提出的鲁棒的长期人脸特征点跟踪系统中的每个模块(人脸检测、跟踪、和人脸特征点定位)进行分析,并确立每个模块所采用的方法。人脸检测方法选用经典的Viola–Jones人脸检测和真实的无约束环境下的NPD人脸检测方法。跟踪方法采用长期目标跟踪框架TLD中的中值流法,而不是将整个TLD作为跟踪方法,大大降低了系统的复杂度。同时,中值流法可以扩展跟踪失败检测功能,有利于提高跟踪的鲁棒性。特征点定位方法则引入基于深度学习的CFAN方法,其可以利用大数据进行模型训练来提高特征点定位的准确性。为了实现长期人脸特征点跟踪引入跟踪校验思想。跟踪校验使用现有的人脸检测方法,而不是在线或额外训练分类器,降低了系统的复杂度。为了进一步提高人脸特征点跟踪速度,提出自适应跟踪校验方法。实验发现,自适应跟踪校验方法可以提高大规模人脸特征点跟踪的准确性。实验结果表明,提出的鲁棒的长期人脸特征点跟踪系统,在真实的无约束环境下的人脸特征点跟踪基准数据库中,比现有的Open Face人脸分析工具取得了更准确的人脸特征点跟踪结果。此外,提出的人脸特征点跟踪系统对模块使用的方法没有限制。实验表明,可通过对模块进行简单升级来提高人脸特征点跟踪准确性。