得益于计算机计算能力的提高以及大数据的支撑,深度学习展现出其强大的特征学习能力。作为深度学习与目标跟踪相结合的重要方向之一,人脸跟踪已经成为了行业研究热点。在视频序列中,基于检测方法的人脸跟踪算法会受到环境光线变化、人体姿态改变以及遮挡物等因素的干扰,影响跟踪效果,为了实现稳健且准确的人脸跟踪,通过深度学习提取相邻两帧图像特征并学习得到下一帧人脸窗口位置信息,并对人脸窗口进行特征点定位,从而完成对人脸的跟踪,因此本文主要从人脸检测、人脸跟踪以及特征点定位三个方面进行研究。人脸检测部分是人脸跟踪的初始化,提供跟踪目标位置信息,生成人脸初始化窗口。本文首先介绍了基于AdaBoost的Haar-like级联分类器用于人脸检测的算法原理,分析表明,该算法由人脸的灰度图像训练而成,对类似人脸结构特征的背景区域容易产生误检测。针对这一问题,本文在传统的人脸算法中引入了基于YCbCr颜色空间的肤色检测,通过对图像进行肤色提取以及腐蚀膨胀等一系列降噪操作,去掉非肤色区域,提高人脸检测的正确率,减少误检率。实验表明,本算法对一些非人脸的误检可以有效的避免,提高人脸检测的稳定性。其次通过人脸检测获取的人脸初始化窗口,在每帧中对人脸窗口进行跟踪。在视频序列中,对于环境明暗变化、人脸部分遮挡、人体姿态变换等因素带来的干扰,需要设计一种稳健的人脸跟踪算法。本文首先介绍了基于深度学习的GOTURN目标跟踪算法的流程及原理,实验表明,该算法在输出的人脸矩形框易出现尺度偏差。针对这一问题,本文提出了一种基于校正网络的GOTURN人脸跟踪算法,在初始化窗口提取特征的基础上加入一个校正网络对训练集中的人脸进行特征提取,加强算法对人脸尺度特征的学习,减少跟踪过程中对人脸尺度偏差。实验结果表明,优化的GOTURN算法对人脸跟踪的尺度偏差明显减小,提高了跟踪的准确性。最后通过人脸跟踪得到的人脸窗口,对其进行特征点定位。本文首先介绍了汤晓鸥课题组提出的基于级联卷积神经网络模型的人脸特征点定位算法,该算法运用深度学习对图像特征强大的表达能力,并使用级联结构使可以精确的定位人脸特征点。针对该模型参数过多,收敛缓慢等问题,本文借鉴汤晓鸥算法模型结构第一级并行结构,引用AlexNet模型,并在网络中引入批归一化层和图像颜色通道信息,加快算法收敛的同时提高了算法的准确性。实验表明,优化后的算法能够减小误差,同时减少了训练的迭代次数,进一步提高了模型的预测的准确性。