人脸检测与跟踪是计算机视觉方面的一个重要和前沿的研究课题。本文针对复杂背景条件下的非头肩人脸视频序列的检测和跟踪技术进行了深入的研究。根据非头肩人脸视频序列的特点，本文采用在目标跟踪的基础上进行人脸检测，从而实现人脸跟踪的解决方法，涉及到目标检测、人脸检测、目标跟踪等相关课题，经实验证明适用于非头肩人脸视频序列。具体内容为：采用背景提取和帧间差分相结合的算法检测出运动目标，然后使用Kalman预测和SSDA目标匹配算法在视频序列中完成实时目标跟踪。人脸检测在目标跟踪的基础上完成，在跟踪到的人体图像上首先采用人脸模板相似度匹配进行粗筛选，经过粗筛选的疑似人脸图像再经一阶Harr小波变换提取特征，最后通过支持向量机进行分类。本文实验程序采用Visual C++实现。