针对视频序列数据量大、复杂背景及目标人脸遮挡情况下实现实时性高、误检率低的强鲁棒性算法的需求,在人脸检测、人脸跟踪及直方图匹配三方面开展较深入研究的基础上,形成了完整的视频序列中人脸检测与跟踪算法。本文主要工作如下:肤色检测和基于类Haar特征的AdaBoost检测算法的研究。在颜色空间模型(YCbCr)上,运用肤色检测与分割去除背景区域,结合数学形态学方法对肤色检测后的二值化图像进行预处理,提高了AdaBoost人脸检测算法的人脸检测速度。利用改进后人脸检测算法的结果,进行全自动的CamShift跟踪算法研究,利用数学形态学运算对人脸目标的反向投影图进行处理,去除反向投影图中的小的明亮区域(盐噪声),增强系统稳定性,提高人脸提取的效率。针对视频序列帧图像中对人脸部分的严重遮挡导致的误跟踪,运用直方图匹配方法查找出发生严重误跟踪的视频帧图像,通过实验比较直方图匹配的几种方法,对比其优缺点选择直方图相交的方法以提高人脸跟踪的实时性和鲁棒性。